Model bahasa terlatih adalah algoritme canggih yang digunakan oleh berbagai aplikasi pemrosesan bahasa alami (NLP) yang memungkinkan mereka memahami bahasa alami. Mereka telah dilatih menggunakan kumpulan teks yang luas dalam bahasa yang mereka minati, seperti bahasa Inggris, sehingga mereka dapat membedakan struktur bahasa. Hal ini memungkinkan mereka mengenali kata, kalimat, dan frasa secara akurat, serta menafsirkan konteks kalimat.
Upaya pertama dalam menciptakan model bahasa terlatih dimulai pada tahun 1980an dan 1990an, dengan model bahasa statistik seperti model n-gram dan Markov menjadi model pertama yang digunakan dalam pemrosesan bahasa berbasis komputer.
Perkembangan sistem yang lebih cerdas, seperti jaringan saraf tiruan, di abad ke-21 telah memungkinkan terciptanya model bahasa terlatih yang lebih canggih. Model ini mampu beradaptasi dengan berbagai jenis masukan bahasa alami dan dapat dilatih dengan cepat dan akurat.
Model canggih ini sekarang digunakan dalam aplikasi seperti terjemahan mesin, peringkasan teks, dan agen percakapan. Mereka juga digunakan dalam penyempurnaan kueri mesin pencari dan klasifikasi konten web, yang merupakan komponen penting dari aplikasi web modern.
Model bahasa terlatih yang paling terkenal adalah BERT, GPT-2, dan yang terbaru, GPT-3 buatan Google. Model ini, yang diberi nama model bahasa Transformer, dianggap sebagai model bahasa terlatih paling canggih dan kuat yang tersedia saat ini.
Penggunaan model bahasa yang telah dilatih sebelumnya telah meningkatkan aksesibilitas dan kegunaan aplikasi pemrosesan bahasa alami secara signifikan di seluruh dunia. Hal ini memungkinkan organisasi kecil dan pengembang individu mendapatkan akses ke metode analisis bahasa yang sebelumnya hanya digunakan oleh perusahaan teknologi besar.
