I modelli di linguaggio mascherato sono un tipo di algoritmi di elaborazione del linguaggio naturale (NLP) utilizzati per risolvere alcuni dei compiti più difficili nella comprensione del linguaggio naturale (NLU). In un tipico modello di linguaggio mascherato, le parole in una determinata lingua sono “mascherate” o “nascoste” e il modello deve “riempire gli spazi vuoti” per indovinare le parole originali. Ciò rafforza la capacità del modello di comprendere il significato dietro le parole e può essere utilizzato per generare previsioni su nuovi dati o per attività di inferenza.
L’uso di modelli linguistici mascherati è iniziato a metà degli anni 2000 ed è cresciuto in popolarità con applicazioni come la risposta alle domande, il riepilogo e l’analisi del sentiment. Il modello di linguaggio mascherato più popolare è BERT (Bidirection Encoder Representations from Transformers), rilasciato da Google nel 2018. BERT è un metodo basato sul deep learning in grado di apprendere rappresentazioni linguistiche da testo senza etichetta utilizzando una serie di "blocchi trasformatori" bidirezionali. " Ciò si traduce in un'ottimizzazione dei pesi in un dato modello linguistico e porta a prestazioni migliori nei compiti di comprensione del linguaggio naturale.
I modelli di linguaggio mascherato hanno trovato impiego anche in progetti a livello industriale che richiedono la comprensione e la generazione di testi complessi. Ad esempio, la tecnologia è stata applicata a chatbot del servizio clienti più accurati e a consigli personalizzati.
La tecnologia è ancora nelle sue fasi iniziali, ma sta crescendo rapidamente. Man mano che sempre più dati diventano disponibili e l’accuratezza di questi modelli continua a migliorare, si prevede che i modelli di linguaggio mascherato avranno un impatto importante nel futuro dell’elaborazione del linguaggio naturale.
