Les pirates apprennent à exploiter les 'personnalités' des chatbots
La tendance à doter les chatbots IA de traits de 'personnalité' proches de l'humain — un ton amical, spirituel, serviable — s'est répandue comme moyen d'améliorer l'expérience utilisateur. Mais selon l'analyse de The Verge, cette conception de la personnalité crée un problème de sécurité inattendu : des attaquants trouvent des moyens de contourner les filtres de sécurité en exploitant les schémas comportementaux et les traits de personnalité des bots. Ce nouveau type d'attaque repose, au-delà des approches traditionnelles de sécurité logicielle, sur des techniques de manipulation linguistique et psychologique.
La base technique du problème réside dans le fonctionnement des grands modèles de langage (LLM). Ces modèles produisent des réponses dans le cadre des instructions système (system prompts) et des consignes comportementales qui leur sont données. Lorsqu'un bot reçoit une personnalité du type 'sois serviable et accommodant', ce trait peut, dans certains cas, entrer en conflit avec le respect par le modèle des règles de sécurité — les attaquants utilisent ce conflit pour persuader le bot de produire un contenu nuisible. Cette technique est un sous-type de la classe d'attaques connue dans la littérature de sécurité sous les noms de 'prompt injection' (injection d'instructions) et de 'jailbreaking' (contournement).
Selon les recherches relayées dans la chronique sécurité de The Verge, les attaquants ciblent spécifiquement la tendance des bots à la 'serviabilité'. Par exemple, un attaquant peut assouplir les contraintes de sécurité en plaçant un bot dans le rôle d'un 'assistant qui cherche simplement à aider et n'interprète pas les règles de manière trop stricte'. Les scénarios de jeu de rôle, les situations hypothétiques et les chaînes de manipulation en plusieurs étapes sont les principales techniques utilisées pour exploiter ces failles dans la conception de la personnalité des bots.
Les chercheurs en sécurité soulignent que ces attaques ont une nature différente des vulnérabilités logicielles traditionnelles. Zico Kolter, chercheur en sécurité de l'IA à l'université Carnegie Mellon, a déclaré à The Verge que 'dans la sécurité traditionnelle, on peut combler une faille ; mais dans les modèles de langage, la tension entre la serviabilité du modèle et sa sécurité crée une faille naturelle difficile à combler'. Kolter a indiqué que le problème est 'une vulnérabilité de sécurité entremêlée aux objectifs fondamentaux de conception du modèle'.
Les entreprises d'IA répondent au problème par diverses méthodes. Des techniques telles que la superposition des filtres de sécurité, le pré-filtrage des entrées utilisateur et le post-traitement des réponses du modèle pour la sécurité sont employées. Mais The Verge rapporte que ces mesures ont le caractère d'un 'jeu du chat et de la souris' — qu'après chaque nouvelle mesure de sécurité, les attaquants développent de nouvelles techniques de manipulation. Les entreprises mettent également en place des équipes 'red team' pour tester leurs modèles contre les attaques à l'avance.
La dimension commerciale de la conception de la personnalité complique aussi le problème de sécurité. Les entreprises d'IA dotent leurs bots de personnalités de plus en plus attrayantes et proches de l'humain pour renforcer l'engagement des utilisateurs ; cette tendance crée une pression concurrentielle, en particulier dans les produits grand public. L'analyse de The Verge met en avant le dilemme selon lequel 'un bot doté de plus de personnalité est plus attrayant mais potentiellement plus vulnérable' — une tension directe entre les incitations commerciales et les exigences de sécurité.
Le cadre réglementaire n'a pas encore pleinement répondu à ce nouveau problème de sécurité. L'AI Act de l'Union européenne introduit des exigences de sécurité pour les systèmes d'IA à haut risque mais ne contient pas de dispositions spécifiques pour des types d'attaques particuliers tels que l'exploitation de la personnalité. Les experts juridiques et technologiques notent que le cadre réglementaire peine à suivre le rythme de ce domaine de la sécurité de l'IA en évolution rapide. Aux États-Unis, il n'existe pas encore de réglementation complète de la sécurité de l'IA au niveau fédéral.
Pour les utilisateurs en entreprise, ce problème de sécurité revêt une importance particulière. Les entreprises ont commencé à utiliser des bots IA dans un large éventail de domaines, du service client aux processus internes ; la vulnérabilité de ces bots à la manipulation crée des risques de fuite de données et de compromission des systèmes. Les sociétés de cybersécurité ont commencé à proposer des audits de sécurité dédiés et des services de surveillance continue pour les déploiements d'IA en entreprise. The Verge anticipe que ce domaine constituera un segment de marché de cybersécurité en forte croissance dans les années à venir.
Dans une perspective large, la conception de la personnalité des bots IA crée un nouveau domaine à l'intersection de la technologie et de la psychologie humaine. Les traits de 'personnalité' des bots leur permettent d'interagir plus naturellement avec les utilisateurs tout en créant simultanément une nouvelle surface de vulnérabilité aux techniques de manipulation humaine. Cette situation s'inscrit dans un débat plus large sur la manière dont l'équilibre entre expérience utilisateur, sécurité et éthique devrait être établi dans la conception de l'IA.
Cet article ne constitue pas un avis d'investissement ni de cybersécurité ; pour des décisions personnelles ou institutionnelles concernant les déploiements d'IA en entreprise et les audits de sécurité, il est recommandé de consulter des experts en sécurité compétents. The Verge a indiqué qu'il suivrait les évolutions dans le domaine de la sécurité de l'IA et les techniques défensives que les entreprises développent contre ces nouveaux types d'attaques.