Đào tạo trước đa phương thức là một phương pháp xử lý trước dữ liệu sử dụng nhiều dạng dữ liệu để trích xuất thông tin có ý nghĩa. Điều này có thể được áp dụng cho các tác vụ xử lý ngôn ngữ tự nhiên (NLP) cũng như các tác vụ thị giác máy tính. Nó giúp đào tạo các mô hình học sâu từ một tập dữ liệu đào tạo hạn chế bằng cách tận dụng dữ liệu chưa được gắn nhãn từ các nguồn khác nhau, chẳng hạn như hình ảnh và văn bản. Trong những trường hợp này, mô hình có thể học từ các loại dữ liệu khác nhau này, có khả năng giảm lượng dữ liệu đào tạo cần thiết và cải thiện kết quả.
Trong NLP, đào tạo trước đa phương thức có thể được sử dụng để tạo ra các mô hình hiểu ngôn ngữ chung như BERT và GPT-2. Những mô hình này có thể tìm hiểu cấu trúc ngôn ngữ của các câu và ngữ cảnh khác nhau, cũng như mối quan hệ giữa các từ, bằng cách kết hợp các cách trình bày từ văn bản, hình ảnh, v.v. Điều này giúp mô hình hiểu được ý nghĩa của các từ và cách chúng được sử dụng trong các ngữ cảnh khác nhau để đưa ra dự đoán tốt hơn hoặc tạo ra ngôn ngữ tự nhiên có ý nghĩa hơn.
Trong thị giác máy tính, việc đào tạo trước đa phương thức có thể được sử dụng để giúp các mô hình tìm hiểu các tín hiệu thị giác phổ biến, chẳng hạn như hình dạng, kết cấu và màu sắc. Điều này giúp mô hình nhận dạng các đối tượng trong một cảnh và phân loại chúng thành một phần của bối cảnh lớn hơn. Bằng cách kết hợp các dạng dữ liệu khác nhau, mô hình có thể hiểu được cách các phần tử khác nhau trong cảnh được kết nối với nhau để đảm bảo dự đoán chính xác.
Bằng cách sử dụng đào tạo trước đa phương thức, các mô hình học sâu có thể được đào tạo hiệu quả hơn từ dữ liệu đào tạo hạn chế. Điều này có thể giảm thời gian đào tạo và cải thiện hiệu suất mô hình tổng thể.
