ViT (Vision Transformer) es una novedosa arquitectura de red neuronal artificial desarrollada para tareas de visión por computadora. La arquitectura fue propuesta por investigadores de Google Research en octubre de 2020. Es una mejora con respecto a las arquitecturas existentes, como las redes neuronales convolucionales (CNN) y otros modelos basados en transformadores, y es capaz de escalar de manera eficiente a tamaños de imágenes de alta resolución.
La arquitectura consta de dos componentes: (1) transformador de visión (ViT) y (2) incorporación de tokens. El transformador de visión utiliza un mecanismo de atención que permite a la red aprender representaciones de diferentes partes de una imagen, a diferencia de una CNN que utiliza filtros fijos hechos a mano. El mecanismo de atención también ayuda a eliminar la necesidad de una gran cantidad de parámetros, lo que permite a ViT entrenar más rápido y de manera más eficiente que una CNN estándar.
El segundo componente, la incrustación de tokens, se utiliza para representar los datos de la imagen en forma condensada. Un "token" es un punto de datos dentro de una imagen. La incrustación de tokens se utiliza para incrustar estos datos en un espacio de menor dimensión, lo que permite que ViT maneje imágenes de alta resolución.
ViT es capaz de lograr una alta precisión en una variedad de tareas de visión, incluida la clasificación de imágenes, la detección de objetos y la segmentación de instancias. También se puede utilizar para tareas como el procesamiento del lenguaje natural, lo que lo convierte en una poderosa adición tanto para la visión por computadora como para el procesamiento del lenguaje natural (PLN).
La arquitectura ViT ha revolucionado la visión por computadora y las tareas de PNL, permitiendo tiempos de entrenamiento más eficientes con mayor precisión. Ha sido adoptado por muchas empresas y organizaciones en una variedad de aplicaciones. Algunos ejemplos incluyen DeepRacer de Amazon y las GPU RTX de NVIDIA.
