Les exemples contradictoires sont les données d'entrée utilisées pour induire en erreur les modèles d'apprentissage automatique, impliquant généralement des réseaux de neurones artificiels (ANN). Ces exemples amènent le modèle à classer incorrectement l’entrée, malgré tous les efforts déployés pour l’étiqueter correctement. Les exemples contradictoires sont généralement générés à l'aide d'un processus d'optimisation itératif qui conçoit une entrée qui maximise la probabilité d'une sortie incorrecte.
Les exemples contradictoires sont utiles dans la recherche car ils fournissent des preuves tangibles des vulnérabilités potentielles des ANN et fournissent une base pour développer des modèles d'apprentissage automatique plus robustes. Par exemple, un exemple courant d’exemple contradictoire est un système de vision par ordinateur qui a du mal à distinguer les chats des chiens. En fournissant une image correctement étiquetée d'un chien qui est modifiée de telle manière que le modèle le classe à tort comme un chat, les chercheurs peuvent mieux comprendre les modèles utilisés par l'ANN pour classer l'image.
En plus de leur utilisation dans la recherche, les exemples contradictoires peuvent également être utilisés comme vecteur d’attaque par des acteurs malveillants. Par exemple, un adversaire peut utiliser un exemple contradictoire pour tromper un modèle de détection de fraude par carte de crédit et lui faire approuver des achats frauduleux. Pour atténuer ce type d'attaque, les chercheurs ont développé des techniques telles que la formation contradictoire, qui utilise des exemples contradictoires générés pour entraîner les ANN à être plus robustes.
Les exemples contradictoires représentent un domaine d’étude en pleine croissance, avec de nouvelles méthodes, applications et résultats de recherche publiés à un rythme rapide. Outre d’autres défis ouverts en matière d’apprentissage automatique, le développement de modèles robustes face à des exemples contradictoires constitue un enjeu important pour la protection efficace des applications basées sur l’IA.
