Attaques de pixels terroristes du futur

2022/09/01 López-Gazpio, Iñigo - Adimen artifizialeko ikertzaileaDeustuko Unibertsitatea. Iturria: Elhuyar aldizkaria

• Adimen artifiziala
• Etika
• Teknologia

Fondamentalement, l'agression en pixels consiste à inverser la formation habituelle des réseaux neuronaux. Dans des situations normales, pour former un système de réseaux neuronaux, on utilise une vaste gamme d'images qui enseignent le système et apprennent à interpréter ce qui se trouve dans l'image. Dans ce processus d'exploitation, les paramètres du système sont ajustés avec les prédictions erronées du réseau neuronal, qui permettent d'améliorer continuellement les résultats du système pendant la période de formation.

Bien qu'ils commettent au début de nombreuses erreurs, après avoir appris assez longtemps, les systèmes s'améliorent considérablement jusqu'à ce qu'ils soient complètement ajustés. Aujourd'hui, les systèmes de reconnaissance d'images donnent généralement de très bons résultats; dans de nombreux cas, ils sont capables de reconnaître presque 100% des images s'il n'y a pas d'objets étrangers entre eux [1]. Lorsque le réseau neuronal ne peut plus être ajusté, l'entraînement est interrompu, le système est évalué et conduit à la production. Ces systèmes intelligents, entièrement ajustés pour les voitures, font partie des systèmes de navigation de voitures autonomes, entre autres, pour configurer la voiture de manière à permettre la vision. La figure suivante permet d'analyser une image d'un système de reconnaissance pour une voiture autonome. Comme on le voit dans l'image, ces systèmes permettent à la voiture d'identifier les objets, les personnes, les animaux, etc. qui l'entourent.

En utilisant toutes ces informations de manière introductive, les voitures autonomes décident de faire la navigation de la meilleure manière et avec la plus grande sécurité possible: s'il y a des risques, ralentir ou arrêter la vitesse, accélérer si la route est libre et ne pas dépasser les limites de vitesse, déplacer si le rail droit est libre, ralentir et déplacer les cyclistes pour les avancer, etc.

Au contraire, si l'ajustement du réseau neuronal est mis des pieds vers le haut…

Il est possible de tromper les réseaux neuronaux en modifiant les images entrantes. C'est-à-dire, si vous inversez le processus d'entraînement du réseau neuronal en montrant au réseau une image fausse et un objectif, vous pouvez obtenir la perturbation à faire dans l'image originale pour vous faire croire que vous avez trompé le réseau et que vous avez effectivement montré une autre image. Ce genre de mesures qui peuvent être prises à l'intelligence artificielle est très dangereux, par exemple, parce que les signaux de sécurité pour ralentir ou arrêter la vitesse peuvent devenir des signaux d'accélération. La figure suivante montre un exemple simple d'attaque de pixel. Comme on peut le constater, si le bruit est ajouté à un signal d'interdiction de circulation, il devient un signal supplémentaire pour un système intelligent de reconnaissance d'objets, bien que l'homme ne puisse pas voir ce changement à l'œil nu.

Ce phénomène est appelé attaque de l'image opposée (adversaire attack en anglais) et constitue une ligne de recherche significative pour ceux qui étudient actuellement la sécurité de la voiture autonome. Cette technique de modélisation d'images et de fraude de systèmes ouvre une ligne intéressante de recherche sur la confiance et l'évaluation des systèmes intelligents.

Il peut donc être intéressant de rechercher le nombre de perturbations à ajouter aux images pour tromper un système intelligent. L'étude de recherche de Samsung réalisée par Kevin et ses collaborateurs est le plus terrifiant de toutes les recherches écrites dans ce domaine. Cet article souligne que le niveau de perturbation à ajouter pour tromper un réseau neuronal est très faible [3], ce qui pose un grave problème pour les futurs utilisateurs de voitures autonomes. Dans ce travail de recherche, les auteurs montrent qu'il suffit d'un petit changement dans un signal d'utilisation comme un graphiti pour configurer un système de voiture autonome qui fonctionne comme une véritable fraude. Il suffit d'utiliser une bande blanche et une bande noire pour convertir un signal stop en un signal de limitation. C'est terrible. On trouvera ci-après une description schématique du cas particulier auquel se réfèrent les auteurs de l'article.

Que pouvez-vous faire pour protéger les systèmes de réseaux neuronaux contre ces attaques ?

Les dernières recherches ont montré que les attaques basées sur des images adverses ne dépendent pas des systèmes de réseaux neuronaux, mais des ensembles de données utilisés pour les ajuster. Ils sont donc une caractéristique propre à l'ensemble de données. Cela signifie que les échantillons adaptés qui servent à tromper une architecture de réseau neuronal sont valables pour tromper une autre architecture, à condition qu'ils aient partagé un même ensemble de données de réglage à la date. La production de grands ensembles de données étant un processus coûteux et complexe, il est très courant que de nombreux systèmes de réseaux neuronaux soient adaptés aux mêmes ensembles de données. Cela implique que l'influence de la technique de l'image opposée peut être très grave et que les formes de protection de ce type d'images doivent être étudiées.

L'apprentissage contre est la méthode de protection la plus connue. C'est assez simple, bien que nous n'ayons pas toute la certitude de nous soutenir. Avec cette technique est construit un réseau neuronal robuste et antifraude, l'ensemble de données est complété par de nombreux exemples d'opposition. Cela permet au modèle d'abandonner les caractéristiques fragiles ou faibles du processus et d'apprendre à se fonder sur des traits plus solides pour effectuer des prévisions. Le succès de cette technique exige la création massive d'exemples pervers et contraires. Mais la différence est que dans la dodate d'un réseau neuronal, vous pouvez ralentir la phase de 3 à 30 fois parce que l'ensemble de données augmente massivement avec ce type d'images.

Actuellement, les chercheurs disposent d'outils pour compléter des ensembles de données avec des images malveillantes comme FoolBox. Avec cet outil, vous pouvez générer automatiquement des images malveillantes et notre système intelligent peut être conscient de l'existence de ce type de malveillantes. Il semble cependant que cela se transforme en une guerre entre agresseurs et défenseurs, qui conçoivent chacun une technologie plus récente pour dominer le contraire.

Tout cela est-il la faute de l'intelligence artificielle?

Comme nous l'avons vu, la technique des images adverses peut causer des problèmes très graves dans des situations où la sécurité est si importante, et trompe les derniers réseaux neuronaux. C'est parce que les réseaux neuronaux sont basés sur des caractéristiques faibles et ne comprennent pas ou étudient bien l'image. Mais le même problème nous touche les humains, parce que notre cerveau inutile nous fait des astuces similaires lorsque nous attaquons avec des images comme celles de l'illusion optique.

Si l'on regarde ce type d'illusions optiques, il semble au départ que les lignes ne sont pas parallèles, mais qu'en les regardant de près ces lignes sont parallèles les unes aux autres. Comme nous, les systèmes de réseaux neuronaux ont également besoin de ce point d'attention pour être conscients des astuces que les figures opposées veulent imposer. En fait, les images opposées et les attaques pixel ne sont que des images qui nous obligent à voir des choses qui n'existent pas vraiment.

Dans les années à venir, le développement des nouveaux systèmes de commercialisation et de commercialisation sera le jeu continu du chat et de la souris. En définitive, cela conduira à des modèles plus solides et plus fiables, constituant un pas important vers des applications critiques de sécurité comme les voitures autonomes. Cependant, il est préférable de ne pas s'éloigner trop des mains du volant au cas par cas.

Références