La pré-formation multimodale est une méthode de prétraitement des données qui utilise plusieurs formes de données pour extraire des informations significatives. Cela peut être appliqué aux tâches de traitement du langage naturel (NLP) ainsi qu'aux tâches de vision par ordinateur. Il permet de former des modèles d'apprentissage profond à partir d'un ensemble de données de formation limité en exploitant des données non étiquetées provenant de différentes sources, telles que des images et du texte. Dans ces cas, les modèles peuvent apprendre de ces différents types de données, réduisant potentiellement la quantité de données de formation nécessaires et améliorant les résultats.
En PNL, la pré-formation multimodale peut être utilisée pour créer des modèles généraux de compréhension du langage tels que BERT et GPT-2. Ces modèles peuvent apprendre la structure linguistique de différentes phrases et contextes, ainsi que les relations entre les mots, en combinant des représentations à partir de texte, d'images, etc. Cela aide le modèle à comprendre la signification des mots et comment ils sont utilisés dans différents contextes afin de fournir une meilleure prédiction ou de générer un langage naturel plus significatif.
En vision par ordinateur, la pré-formation multimodale peut être utilisée pour aider les modèles à apprendre des repères visuels courants, tels que les formes, les textures et les couleurs. Cela aide le modèle à reconnaître les objets d'une scène et à les classer dans le cadre d'un contexte plus large. En combinant différentes formes de données, le modèle peut comprendre comment les différents éléments de la scène sont connectés les uns aux autres pour garantir une prédiction précise.
En utilisant la pré-formation multimodale, les modèles d'apprentissage profond peuvent être formés plus efficacement à partir de données de formation limitées. Cela peut à son tour réduire le temps de formation et améliorer les performances globales du modèle.
