ViT (Vision Transformer) adalah arsitektur jaringan saraf tiruan baru yang dikembangkan untuk tugas-tugas visi komputer. Arsitektur ini diusulkan oleh para peneliti di Google Research pada bulan Oktober 2020. Arsitektur ini merupakan peningkatan dari arsitektur yang sudah ada seperti jaringan saraf konvolusional (CNN) dan model berbasis transformator lainnya, serta mampu menskalakan secara efisien ke ukuran gambar resolusi tinggi.
Arsitekturnya terdiri dari dua komponen: (1) vision transformator (ViT) dan (2) penyematan token. Transformator visi menggunakan mekanisme perhatian yang memungkinkan jaringan mempelajari representasi berbagai bagian gambar, berbeda dengan CNN yang menggunakan filter buatan tangan yang bersifat tetap. Mekanisme perhatian juga membantu menghilangkan kebutuhan akan sejumlah besar parameter, memungkinkan ViT berlatih lebih cepat dan efisien dibandingkan CNN standar.
Komponen kedua, penyematan token, digunakan untuk merepresentasikan data gambar dalam bentuk yang ringkas. "Token" adalah titik data di dalam gambar. Penyematan token digunakan untuk menyematkan data ini ke dalam ruang berdimensi lebih rendah, memungkinkan ViT menangani gambar beresolusi tinggi.
ViT mampu mencapai akurasi tinggi pada berbagai tugas penglihatan, termasuk klasifikasi gambar, deteksi objek, dan segmentasi instance. Ini juga dapat digunakan untuk tugas-tugas seperti pemrosesan bahasa alami, menjadikannya tambahan yang kuat untuk visi komputer dan pemrosesan bahasa alami (NLP).
Arsitektur ViT telah merevolusi visi komputer dan tugas NLP, memungkinkan waktu pelatihan lebih efisien dengan akurasi lebih tinggi. Ini telah diadopsi oleh banyak perusahaan dan organisasi dalam berbagai aplikasi. Beberapa contohnya termasuk DeepRacer Amazon dan GPU RTX NVIDIA.
