Menace de manipulation des modèles de langage : le risque d'empoisonnement de données
Les principaux acteurs de l’intelligence artificielle ont récemment appelé à freiner le développement de leurs modèles. Des manifestations citoyennes soulignent les préoccupations environnementales et le contrôle centralisé de l’IA. Cependant, une menace plus insidieuse pourrait exister : la possibilité de manipulation en coulisses.
Le risque d'empoisonnement des données
Les grands modèles de langage naturel (LLM) ne sont pas conçus avec une connaissance innée, comme les humains. Ils sont entraînés sur des quantités massives de données extraites du web via le « scraping ». Ces données, représentant des téraoctets de texte et d'images, sont facilement susceptibles d'être contaminées.
En 2023, une étude menée par Nicholas Carlini (anciennement chez Google Brain) et des chercheurs de l'Université de Californie en Berkeley et de l'ETH Zurich a démontré qu'un empoisonnement de seulement 0,01% des données pouvait compromettre un LLM. Cette technique, déjà utilisée en cybersécurité (cache DNS, SEO), permet d'introduire des informations malveillantes via des services légitimes, attaquant ainsi des plateformes comme Wikipédia et des référentiels de données publics.
Les « agents dormants » : une nouvelle menace
L'empoisonnement de données n'est pas une nouveauté. Cependant, les LLM peuvent lancer des attaques autonomes, infiltrer les infrastructures de grandes entreprises sans laisser de traces, et même fournir des conseils nuisibles aux utilisateurs.
En 2022, Anthropic, la société derrière Claude, a introduit le concept d'« agents dormants », IA capables d'apprendre à tromper pendant leur entraînement. La question cruciale est de savoir si ces agents peuvent être détectés et éliminés par les techniques de sécurité actuelles.