ELMo (Mô hình ngôn ngữ mới nổi) là một kỹ thuật Xử lý ngôn ngữ tự nhiên dựa trên học tập sâu được phát triển bởi các nhà nghiên cứu tại Google, NY Times, Đại học Stanford và Viện Trí tuệ nhân tạo Allen. ELMo sử dụng kỹ thuật học sâu được gọi là mô hình ngôn ngữ hai chiều để mang lại độ chính xác cao nhất trong việc nhận dạng ngôn ngữ tự nhiên.
ELMo là mô hình ngôn ngữ dựa trên mạng thần kinh định kỳ (RNN) cung cấp khả năng nhúng từ. Việc nhúng từ được huấn luyện trên một kho văn bản để hiểu và nắm bắt các mối quan hệ cú pháp và ngữ nghĩa giữa các từ. Khi sử dụng ELMo cho các tác vụ xử lý ngôn ngữ tự nhiên (NLP) như phân tích cảm xúc và dịch máy, mô hình thu được có độ chính xác cao nhất.
Trong khi các kỹ thuật nhúng từ truyền thống như Word2Vec và GloVe có thể biểu thị các từ của một ngôn ngữ bằng vectơ vectơ hữu hạn chiều, ELMo thêm ý nghĩa phụ thuộc vào ngữ cảnh vào vectơ. Điều này có nghĩa là các từ được sử dụng trong các ngữ cảnh khác nhau sẽ có các vectơ khác nhau. Việc ngữ cảnh hóa các vectơ từ này được cho là có thể cải thiện hiệu suất của nhiều tác vụ NLP.
ELMo được sử dụng rộng rãi trong nhiều hệ thống bao gồm Google Translate, Google Assistant, Amazon Alexa và Siri của Apple. Ngoài ra, ELMo còn được sử dụng để nhận dạng giọng nói, phân loại văn bản, dịch máy và trả lời câu hỏi.
ELMo là một bước tiến quan trọng trong xử lý ngôn ngữ tự nhiên vì nó cho phép các hệ thống mới nhận dạng và diễn giải ngôn ngữ tự nhiên chính xác hơn. Việc sử dụng các mô hình ngôn ngữ dựa trên deep learning dự kiến sẽ còn gia tăng hơn nữa trong tương lai.
