Los hackers aprenden a explotar las 'personalidades' de los chatbots
La tendencia a dotar a los chatbots de IA de rasgos de 'personalidad' similares a los humanos — un tono amable, ingenioso, servicial — se ha extendido como forma de mejorar la experiencia del usuario. Pero según el análisis de The Verge, este diseño de personalidad crea un problema de seguridad inesperado: los atacantes encuentran formas de eludir los filtros de seguridad explotando los patrones de comportamiento y los rasgos de personalidad de los bots. Este nuevo tipo de ataque descansa, más allá de los enfoques tradicionales de seguridad de software, en técnicas de manipulación lingüística y psicológica.
La base técnica del problema reside en cómo funcionan los grandes modelos de lenguaje (LLM). Estos modelos producen respuestas dentro del marco de las instrucciones del sistema (system prompts) y las directrices de comportamiento que se les dan. Cuando a un bot se le da una personalidad del tipo 'sé servicial y complaciente', este rasgo puede, en algunos casos, entrar en conflicto con el cumplimiento por parte del modelo de las reglas de seguridad — los atacantes usan este conflicto para persuadir al bot de producir contenido perjudicial. Esta técnica es un subtipo de la clase de ataques conocida en la literatura de seguridad como 'prompt injection' (inyección de instrucciones) y 'jailbreaking' (elusión).
Según la investigación recogida en la columna de seguridad de The Verge, los atacantes apuntan específicamente a la tendencia de los bots hacia la 'utilidad'. Por ejemplo, un atacante puede relajar las restricciones de seguridad situando a un bot en el papel de 'un asistente que simplemente intenta ayudar y no interpreta las reglas de forma demasiado estricta'. Los escenarios de juego de rol, las situaciones hipotéticas y las cadenas de manipulación de varios pasos son las principales técnicas usadas para explotar estas brechas en el diseño de personalidad de los bots.
Los investigadores de seguridad subrayan que estos ataques tienen una naturaleza distinta de las vulnerabilidades tradicionales de software. Zico Kolter, investigador de seguridad de la IA en la Universidad Carnegie Mellon, dijo a The Verge que 'en la seguridad tradicional se puede cerrar una vulnerabilidad; pero en los modelos de lenguaje, la tensión entre la utilidad del modelo y su seguridad crea una brecha natural difícil de cerrar'. Kolter dijo que el problema es 'una vulnerabilidad de seguridad entrelazada con los objetivos fundamentales de diseño del modelo'.
Las empresas de IA responden al problema con diversos métodos. Se emplean técnicas como la superposición de filtros de seguridad, el filtrado previo de las entradas de los usuarios y el posprocesamiento de las respuestas del modelo en cuanto a seguridad. Pero The Verge informa de que estas medidas tienen el carácter de un 'juego del gato y el ratón' — que tras cada nueva medida de seguridad, los atacantes desarrollan nuevas técnicas de manipulación. Las empresas también establecen equipos 'red team' para probar sus modelos contra los ataques de antemano.
La dimensión comercial del diseño de personalidad también complica el problema de seguridad. Las empresas de IA dotan a sus bots de personalidades cada vez más atractivas y similares a las humanas para impulsar la participación de los usuarios; esta tendencia crea una presión competitiva, particularmente en los productos de consumo. El análisis de The Verge destaca el dilema de que 'un bot con más personalidad es más atractivo pero potencialmente más vulnerable' — una tensión directa entre los incentivos comerciales y los requisitos de seguridad.
El marco regulador aún no ha respondido plenamente a este nuevo problema de seguridad. La AI Act de la Unión Europea introduce requisitos de seguridad para los sistemas de IA de alto riesgo pero no contiene disposiciones específicas para tipos de ataque concretos como la 'explotación de la personalidad'. Los expertos jurídicos y tecnológicos señalan que el marco regulador tiene dificultades para seguir el ritmo de este campo de la seguridad de la IA en rápida evolución. En EE. UU. todavía no existe una regulación integral de la seguridad de la IA a nivel federal.
Para los usuarios empresariales, este problema de seguridad reviste una importancia particular. Las empresas han comenzado a usar bots de IA en un amplio abanico de ámbitos, desde la atención al cliente hasta los procesos internos; la vulnerabilidad de estos bots a la manipulación crea riesgos de fuga de datos y de violación de los sistemas. Las firmas de ciberseguridad han comenzado a ofrecer auditorías de seguridad específicas y servicios de monitorización continua para los despliegues de IA en empresas. The Verge anticipa que este ámbito constituirá un segmento de mercado de ciberseguridad de rápido crecimiento en los años venideros.
Desde una perspectiva amplia, el diseño de personalidad de los bots de IA está creando un nuevo campo en la intersección de la tecnología y la psicología humana. Los rasgos de 'personalidad' de los bots les permiten interactuar de forma más natural con los usuarios al tiempo que crean una nueva superficie de vulnerabilidad a las técnicas de manipulación humana. Esta situación forma parte de un debate más amplio sobre cómo debería establecerse el equilibrio entre experiencia de usuario, seguridad y ética en el diseño de la IA.
Este artículo no es un consejo de inversión ni de ciberseguridad; para decisiones personales o institucionales sobre despliegues de IA en empresas y auditorías de seguridad, se recomienda consultar a los expertos en seguridad pertinentes. The Verge dijo que seguirá los avances en el campo de la seguridad de la IA y las técnicas defensivas que las empresas desarrollan contra estos nuevos tipos de ataque.