Por qué OpenAI ralentizó el desarrollo de su modelo Astra por motivos de seguridad

OpenAI afirma que su modelo Astra, aún en desarrollo, alcanzó lo que la empresa denomina un "umbral crítico de ciberseguridad", lo que significa, según su evaluación, que el modelo podría identificar y ejecutar de forma autónoma ciberataques contra sistemas reales bien protegidos.

El anuncio se enmarca en el sistema interno de gestión de riesgos de OpenAI, que la empresa utiliza para rastrear las capacidades de sus propios modelos. Según esa política, los modelos que superan ciertos umbrales de capacidad desencadenan una ralentización deliberada del desarrollo o medidas de seguridad adicionales.

El umbral de ciberseguridad mide la capacidad de un modelo de IA para encontrar vulnerabilidades, escribir código de explotación y desplegar ese código contra sistemas reales sin intervención humana. Esa capacidad puede resultar valiosa para la investigación defensiva en seguridad, pero también supone un riesgo serio si se usa indebidamente.

OpenAI dice que no ha detenido el desarrollo de Astra, pero que deliberadamente redujo su ritmo para añadir pruebas de seguridad y salvaguardas adicionales antes de cualquier lanzamiento. Este enfoque se ha vuelto cada vez más habitual entre las empresas de IA en los últimos meses.

La medida forma parte de un debate más amplio dentro de la industria de la IA. A medida que las capacidades de los modelos avanzan rápidamente, también lo hace su potencial de uso indebido, en particular en ciberseguridad, donde la línea entre un modelo usado con fines defensivos y uno usado con fines ofensivos suele ser borrosa.

Los investigadores de seguridad llevan tiempo señalando que los modelos con este tipo de capacidad pueden ser útiles y peligrosos a la vez. Por un lado, el escaneo automatizado de vulnerabilidades podría ayudar a los equipos defensivos a reforzar sus sistemas más rápido; por otro, esa misma capacidad podría ser devastadora en manos de un actor malicioso.

El anuncio de OpenAI indica que la empresa reconoce este riesgo y considera que el modelo necesita salvaguardas adicionales antes de su lanzamiento. La empresa afirma estar colaborando con expertos externos en seguridad como parte de la preparación de un modelo de este tipo para su despliegue.

Este paso podría sentar un precedente para que empresas rivales de IA adopten marcos de riesgo similares. La mayoría de los grandes actores de la industria han desarrollado sistemas de umbral comparables para rastrear las capacidades de sus propios modelos en ciberseguridad, bioseguridad y otros ámbitos de alto riesgo.

Los críticos señalan que este tipo de anuncios puede tener tanto de marketing como de transparencia: anunciar que un modelo es "peligrosamente poderoso" también puede funcionar como publicidad de sus capacidades. Aun así, reguladores y expertos en seguridad esperan que estos anuncios empujen a toda la industria hacia una mayor transparencia.

Cuándo, y con qué salvaguardas, se lanzará finalmente Astra sigue sin estar claro. OpenAI afirma que el desarrollo continuará, pero que cualquier decisión de lanzamiento dependerá del resultado de nuevas evaluaciones de seguridad.