L'IA de Gemini piratée, une première

Pour trouver des failles, les «pirates» ne manquent pas d’imagination, comme cette simple invitation de calendrier, concoctée comme un cheval de Troie, leur a permis de tromper l’IA Gemini de Google pour prendre le contrôle d’une maison connectée. 

Pas étonnant qu’une pareille nouvelle fasse le tour des réseaux.

Les auteurs de la brèche ne sont pas des pirates à proprement parler, mais bien des experts ou chercheurs en informatique, donc personne n’a subi de vol de données ni de préjudice.

Une première en IA

Pour la première fois, ces chercheurs ont démontré comment l'IA pouvait être piratée pour semer le chaos dans le monde réel, selon les mots de Wired.

La cible, un nouvel appartement à Tel-Aviv où les lumières connectées à Internet s'éteignent, les volets intelligents qui couvrent les quatre fenêtres du salon et de la cuisine commencent à se relever simultanément. Et une chaudière connectée est mise en marche à distance. Les résidents de l'appartement n'ont déclenché aucune de ces actions. Ils n'ont pas programmé leurs appareils intelligents. En réalité, ils sont victimes d'une attaque.

À l’aide d’une simple invitation de calendrier piégée

Chaque action inattendue est orchestrée par trois chercheurs en sécurité qui démontrent un détournement sophistiqué de Gemini. Les attaques commencent toutes par une invitation de calendrier Google piégée, qui contient des instructions pour activer les produits domotiques à une date ultérieure. Lorsque les chercheurs demandent ensuite à Gemini de résumer les événements à venir dans leur agenda pour la semaine, ces instructions dormantes sont déclenchées et les produits s'activent.

Ces démonstrations contrôlées marquent, selon les chercheurs, la première fois qu'un piratage d'un système d'IA générative a des conséquences dans le monde physique, laissant entrevoir les ravages et les risques que pourraient causer des attaques contre les grands modèles linguistiques (GML), qui sont de plus en plus connectés et se transforment en agents capables d'accomplir des tâches pour les humains.

De sérieux enjeux de sécurité

« Les GML sont sur le point d'être intégrés dans des humanoïdes physiques, dans des voitures semi-autonomes et entièrement autonomes, et nous devons vraiment comprendre comment sécuriser les GML avant de les intégrer à ce type de machines, où, dans certains cas, les enjeux seront la sécurité et non la confidentialité », explique Ben Nassi, chercheur à l'université de Tel-Aviv.

Lors des démonstrations révélées cette semaine à la conférence sur la cybersécurité Black Hat à Las Vegas, les chercheurs ont montré comment Gemini pouvait être utilisé pour envoyer des liens vers des pourriels, générer du contenu vulgaire, ouvrir l'application Zoom et lancer un appel, voler des courriels et des détails de réunions à partir d'un navigateur Web, et télécharger un fichier à partir du navigateur Web d'un téléphone intelligent.

Cela démontre à quel point un système IA peut être instrumentalisé ou utilisé comme arme par des organisations, des pirates ou des États-voyous.

Les responsables chez Google ont pris très au sérieux les découvertes des chercheurs.