ViT (Vision Transformer) est une nouvelle architecture de réseau neuronal artificiel développée pour les tâches de vision par ordinateur. L'architecture a été proposée par des chercheurs de Google Research en octobre 2020. Il s'agit d'une amélioration par rapport aux architectures existantes telles que les réseaux de neurones convolutifs (CNN) et d'autres modèles basés sur des transformateurs, et est capable de s'adapter efficacement à des tailles d'image haute résolution.
L'architecture se compose de deux composants : (1) le transformateur de vision (ViT) et (2) l'intégration de jetons. Le transformateur de vision utilise un mécanisme d'attention qui permet au réseau d'apprendre des représentations pour différentes parties d'une image, contrairement à un CNN qui utilise des filtres artisanaux et fixes. Le mécanisme d'attention permet également d'éliminer le besoin d'un grand nombre de paramètres, permettant à ViT de s'entraîner plus rapidement et plus efficacement qu'un CNN standard.
Le deuxième composant, l'intégration de jetons, est utilisé pour représenter les données d'image sous une forme condensée. Un « jeton » est un point de données dans une image. L'intégration de jetons est utilisée pour intégrer ces données dans un espace de dimension inférieure, permettant au ViT de gérer des images haute résolution.
ViT est capable d'atteindre une grande précision sur une gamme de tâches de vision, notamment la classification d'images, la détection d'objets et la segmentation d'instances. Il peut également être utilisé pour des tâches telles que le traitement du langage naturel, ce qui en fait un complément puissant à la fois à la vision par ordinateur et au traitement du langage naturel (NLP).
L'architecture ViT a révolutionné la vision par ordinateur et les tâches de PNL, permettant des temps de formation plus efficaces avec une plus grande précision. Il a été adopté par de nombreuses entreprises et organisations dans diverses applications. Quelques exemples incluent les GPU DeepRacer d'Amazon et RTX de NVIDIA.
