CodeBERT (Biểu diễn nhúng nhị phân trên máy tính cho văn bản) là một mô hình xử lý ngôn ngữ tự nhiên (NLP) mã nguồn mở được phát triển bởi Microsoft Research. Nó được thiết kế cho các nhiệm vụ hiểu ngôn ngữ tự nhiên (NLU) như phân tích tình cảm, phân loại văn bản, truy xuất đoạn văn và tạo văn bản, tất cả đều sử dụng văn bản làm đầu vào. CodeBERT dựa trên mô hình BERT sử dụng cách tiếp cận hai chiều để tạo ra các phần nhúng ngôn ngữ.
CodeBERT là một mô hình dựa trên Transformer và sử dụng Transformer hai chiều, nhiều lớp được đào tạo trước dựa trên BERT nghiên cứu cơ sở của Google. CodeBERT khác với BERT ở chỗ nó có thể thực hiện nhiều tác vụ bằng cách sử dụng một mạng duy nhất. CodeBERT cũng có thể nhận ra cả mối quan hệ lâu dài trong một câu cũng như cú pháp và có thể học từ ngữ pháp của một ngôn ngữ, cho phép nó hiểu được nhiều cấu trúc trong một câu.
CodeBERT gần đây đã cho thấy hiệu suất ấn tượng trên một loạt nhiệm vụ của NLU, chẳng hạn như phân tích cảm xúc, phân loại văn bản, truy xuất đoạn văn và tạo văn bản. Ví dụ: CodeBERT đã đạt được điểm gần như hoàn hảo trên bộ dữ liệu Suy luận ngôn ngữ tự nhiên Stanford (SNLI).
CodeBERT cũng có những lợi thế tiềm năng trong các nhiệm vụ khác, chẳng hạn như hệ thống trả lời câu hỏi và hội thoại. Là một phần của nhóm Nghiên cứu của Microsoft, CodeBERT đang được đánh giá với một số nhiệm vụ trong thế giới thực, chẳng hạn như bot dịch vụ khách hàng, hệ thống trả lời câu hỏi, v.v.
Tóm lại, CodeBERT là một mô hình xử lý ngôn ngữ tự nhiên (NLP) nguồn mở sử dụng cách tiếp cận hai chiều để tạo ra các phần nhúng ngôn ngữ. CodeBERT đã cho thấy hiệu suất tuyệt vời trên một loạt nhiệm vụ NLU và có các ứng dụng tiềm năng trong nhiều loại nhiệm vụ khác nhau.
