Состязательными примерами являются входные данные, используемые для введения в заблуждение моделей машинного обучения, обычно с использованием искусственных нейронных сетей (ИНС). Эти примеры приводят к тому, что модель неправильно классифицирует входные данные, несмотря на любые попытки правильно их обозначить. Состязательные примеры обычно создаются с использованием итеративного процесса оптимизации, который разрабатывает входные данные, максимизирующие вероятность неправильного вывода.
Состязательные примеры полезны в исследованиях, поскольку они предоставляют ощутимые доказательства потенциальных уязвимостей ИНС и создают основу для разработки более надежных моделей машинного обучения. Например, типичным примером состязательного примера является система компьютерного зрения, которая не может отличить кошек от собак. Предоставляя правильно помеченное изображение собаки, модифицированное таким образом, что модель ошибочно классифицирует его как кошку, исследователи могут получить представление о том, какие шаблоны использует ИНС для классификации изображения.
Помимо использования в исследованиях, состязательные примеры также могут использоваться злоумышленниками в качестве вектора атаки. Например, злоумышленник может использовать состязательный пример, чтобы обмануть модель обнаружения мошенничества с кредитными картами и заставить ее одобрить мошеннические покупки. Чтобы смягчить этот тип атаки, исследователи разработали такие методы, как состязательное обучение, в котором используются сгенерированные состязательные примеры для обучения ИНС, чтобы они были более надежными.
Состязательные примеры представляют собой растущую область исследований, при этом новые методы, приложения и результаты исследований публикуются быстрыми темпами. Наряду с другими открытыми проблемами в машинном обучении, разработка надежных моделей против состязательных примеров является важной проблемой для эффективной защиты приложений на основе искусственного интеллекта.
