ViT (Vision Transformer) ist eine neuartige künstliche neuronale Netzwerkarchitektur, die für Computer-Vision-Aufgaben entwickelt wurde. Die Architektur wurde im Oktober 2020 von Forschern bei Google Research vorgeschlagen. Sie stellt eine Verbesserung gegenüber bestehenden Architekturen wie Convolutional Neural Networks (CNNs) und anderen transformatorbasierten Modellen dar und ist in der Lage, effizient auf hochauflösende Bildgrößen zu skalieren.
Die Architektur besteht aus zwei Komponenten: (1) Vision Transformer (ViT) und (2) Token-Einbettung. Der Vision Transformer nutzt einen Aufmerksamkeitsmechanismus, der es dem Netzwerk ermöglicht, Darstellungen für verschiedene Teile eines Bildes zu lernen, im Gegensatz zu einem CNN, das handgefertigte, feste Filter verwendet. Der Aufmerksamkeitsmechanismus trägt auch dazu bei, dass keine große Anzahl von Parametern erforderlich ist, sodass ViT schneller und effizienter trainieren kann als ein Standard-CNN.
Die zweite Komponente, die Token-Einbettung, dient der Darstellung der Bilddaten in komprimierter Form. Ein „Token“ ist ein Datenpunkt innerhalb eines Bildes. Mithilfe der Token-Einbettung werden diese Daten in einen niedrigerdimensionalen Raum eingebettet, sodass das ViT hochauflösende Bilder verarbeiten kann.
ViT ist in der Lage, eine hohe Genauigkeit bei einer Reihe von Bildverarbeitungsaufgaben zu erreichen, einschließlich Bildklassifizierung, Objekterkennung und Instanzsegmentierung. Es kann auch für Aufgaben wie die Verarbeitung natürlicher Sprache verwendet werden und ist somit eine leistungsstarke Ergänzung sowohl für Computer Vision als auch für die Verarbeitung natürlicher Sprache (NLP).
Die ViT-Architektur hat Computer Vision und NLP-Aufgaben revolutioniert und ermöglicht effizientere Trainingszeiten mit höherer Genauigkeit. Es wurde von vielen Unternehmen und Organisationen in einer Vielzahl von Anwendungen übernommen. Einige Beispiele sind Amazons DeepRacer und NVIDIAs RTX-GPUs.
