O BLEU Score é uma métrica de avaliação para medir a qualidade da tradução automática. É amplamente utilizado em processamento de linguagem natural (PNL) para medir a qualidade de traduções geradas por máquina. É uma métrica de cálculo completa, baseada na precisão da tradução gerada pela máquina.
BLEU (Bi-Lingual Evaluation Understudy) é uma das métricas mais amplamente aceitas e utilizadas para avaliar o desempenho do sistema na área de tradução automática. A tradução automática (TA) é o processo de tradução automática de texto de uma língua humana para outra. A pontuação BLEU é uma medida de quão próximo o resultado de um sistema de tradução automática corresponde às traduções humanas para o mesmo texto.
A pontuação BLEU é calculada comparando a tradução gerada automaticamente com a tradução existente de um tradutor humano especialista. Para cada frase no documento de teste (o chamado segmento de tradução), a precisão é calculada contando o número de palavras que aparecem na tradução automática e que também aparecem na tradução humana. A pontuação é calculada tomando a média harmônica da precisão para cada segmento de tradução.
A pontuação BLEU apresenta algumas limitações. Uma limitação é que ele avalia apenas o desempenho de um modelo em nível lexical. Isto significa que mesmo que o modelo produza traduções com perfeita precisão lexical, isso não implica precisão semântica e fluência geral. Uma segunda limitação é a dependência de um único conjunto de traduções humanas, o que criaria preconceitos quando comparado com traduções de diferentes especialistas.
Ao contrário de outras métricas como BLEU, ou seja, distância de Levenshtein, a pontuação BLUE não considera a arquitetura e interface do servidor. Por isso, é considerado adequado para comparar diferentes modelos de linguagem sem qualquer preconceito provocado pela arquitetura do servidor ou estrutura da interface.
Desde então, a pontuação BLEU tornou-se uma referência padrão na avaliação de sistemas de tradução automática e é amplamente utilizada quando novos modelos de tradução automática são desenvolvidos. O sucesso do BLEU na tradução automática e sua popularidade na PNL ampliou seu sucesso para outras tarefas em aprendizado de máquina, como resumo, legendagem de imagens e reconhecimento de fala.
