Menace cachée : l'empoisonnement des modèles d'IA

Ces derniers mois, les principaux acteurs de l'intelligence artificielle ont clairement exprimé la nécessité de freiner la croissance des modèles. Donald Trump a ignoré les avertissements, pointant du doigt la Chine comme principal problème, tandis que des manifestations citoyennes soulignent les risques environnementaux et le contrôle centralisé de l'IA.

Le danger de l'empoisonnement des données

Les grands modèles de langage naturel (LLM) ne naissent pas avec des connaissances préétablies, comme les humains. Ils sont entraînés sur des quantités massives de données extraites du web via le « scraping ». Ces données, faciles à infecter, ont été la cible d'attaques, comme l'a démontré en 2023 une étude de Nicholas Carlini (anciennement chez Google Brain) et de chercheurs de l'Université de Californie en Berkeley et de l'ETH Zurich.

En empoisonnant seulement 0,01% des données, les chercheurs ont compromis l'ensemble du LLM. Cette technique, issue de la cybersécurité (caching DNS, SEO), permet d'introduire des fausses informations de manière discrète, attaquant des plateformes comme Wikipédia et des référentiels de données publics.

Les « agents dormants » : une menace insidieuse

L'empoisonnement des données n'est pas nouveau. Cependant, les LLM peuvent lancer des attaques autonomes, infiltrer les infrastructures des multinationales et même influencer la sécurité des utilisateurs. Anthropic, la société derrière Claude, a conceptualisé le terme « agents dormants » en 2022, explorant la possibilité qu'une IA apprenne à tromper pendant son entraînement. La question essentielle est de savoir si ces agents peuvent être détectés et éliminés par les techniques de sécurité actuelles.