Skor BLEU adalah metrik evaluasi untuk mengukur kualitas terjemahan mesin. Ini banyak digunakan dalam pemrosesan bahasa alami (NLP) untuk mengukur kualitas terjemahan yang dihasilkan mesin. Ini adalah metrik penghitungan keseluruhan, berdasarkan ketepatan terjemahan yang dihasilkan mesin.
BLEU (bi-Lingual Evaluation Understudy) adalah salah satu metrik yang paling banyak diterima dan digunakan untuk mengevaluasi kinerja sistem di bidang terjemahan mesin. Terjemahan mesin (MT) adalah proses menerjemahkan teks secara otomatis dari satu bahasa manusia ke bahasa lain. Skor BLEU adalah ukuran seberapa mirip keluaran sistem terjemahan mesin dengan terjemahan manusia untuk teks yang sama.
Skor BLEU dihitung dengan membandingkan terjemahan yang dihasilkan mesin dengan terjemahan yang ada dari penerjemah manusia yang ahli. Untuk setiap kalimat dalam dokumen pengujian (yang disebut segmen terjemahan), presisi dihitung dengan menghitung jumlah kata yang muncul dalam terjemahan mesin dan juga muncul dalam terjemahan manusia. Skor tersebut dihitung dengan mengambil rata-rata harmonik dari presisi untuk setiap segmen terjemahan.
Skor BLEU bukannya tanpa batasan. Salah satu batasannya adalah metode ini hanya mengevaluasi performa model pada tingkat leksikal. Artinya, meskipun model menghasilkan terjemahan dengan akurasi leksikal yang sempurna, hal ini tidak berarti akurasi semantik dan kelancaran keseluruhan. Keterbatasan kedua adalah ketergantungan pada satu set terjemahan manusia yang akan menimbulkan bias bila dibandingkan dengan terjemahan para ahli yang berbeda.
Tidak seperti metrik lain seperti BLEU, yaitu jarak Levenshtein, skor BLUE tidak mempertimbangkan arsitektur dan antarmuka server. Oleh karena itu, dianggap cocok untuk membandingkan model bahasa yang berbeda tanpa bias apa pun yang disebabkan oleh arsitektur server atau struktur antarmuka.
Skor BLEU telah menjadi dasar standar dalam evaluasi sistem terjemahan mesin dan digunakan secara luas ketika model terjemahan mesin baru dikembangkan. Keberhasilan BLEU dalam terjemahan mesin dan popularitasnya di NLP telah memperluas keberhasilannya ke tugas-tugas lain dalam Pembelajaran Mesin, seperti peringkasan, pembuatan teks gambar, dan pengenalan ucapan.
