Exemplos adversários são dados de entrada usados para enganar modelos de aprendizado de máquina, geralmente envolvendo redes neurais artificiais (RNAs). Esses exemplos fazem com que o modelo classifique incorretamente a entrada, apesar de qualquer esforço para rotulá-la corretamente. Exemplos adversários são geralmente gerados usando um processo de otimização iterativo que projeta uma entrada que maximiza a probabilidade de saída incorreta.
Exemplos adversários são úteis em pesquisas, pois fornecem evidências tangíveis de vulnerabilidades potenciais em RNAs e fornecem uma base para o desenvolvimento de modelos de aprendizado de máquina mais robustos. Por exemplo, um exemplo comum de adversário é um sistema de visão computacional que tem dificuldade em distinguir gatos de cães. Ao fornecer uma imagem corretamente rotulada de um cachorro que é modificada de tal forma que o modelo o classifica erroneamente como um gato, os pesquisadores podem obter insights sobre quais padrões a RNA está usando para classificar a imagem.
Além de seu uso em pesquisas, exemplos adversários também podem ser usados como vetor de ataque por atores mal-intencionados. Por exemplo, um adversário pode usar um exemplo adversário para enganar um modelo de detecção de fraude de cartão de crédito e fazê-lo aprovar compras fraudulentas. Para mitigar esse tipo de ataque, os pesquisadores desenvolveram técnicas como o treinamento adversário, que utiliza exemplos adversários gerados para treinar as RNAs para serem mais robustas.
Exemplos adversários representam um campo de estudo crescente, com novos métodos, aplicações e resultados de pesquisas sendo publicados em ritmo acelerado. Juntamente com outros desafios abertos na aprendizagem automática, o desenvolvimento de modelos robustos contra exemplos adversários é uma questão importante para a proteção eficiente de aplicações baseadas em IA.
