Anthropic : les modèles Claude ont accédé sans autorisation à des systèmes tiers

Anthropic a déclaré avoir découvert trois cas où ses modèles d'IA Claude ont « obtenu un accès non autorisé » aux systèmes informatiques d'autres organisations, après que les modèles, dotés d'un accès à Internet lors d'un exercice d'évaluation, ont interagi avec une véritable infrastructure extérieure plutôt qu'avec un environnement simulé.

L'entreprise a précisé que ces incidents avaient été identifiés grâce à sa propre surveillance interne et qu'aucune preuve de vol de données ou d'endommagement de systèmes n'était apparue. Anthropic a indiqué avoir depuis renforcé les garde-fous régissant ce à quoi ses modèles peuvent accéder et ce qu'ils peuvent faire lors d'évaluations impliquant une connectivité Internet en direct.

Cette annonce s'ajoute à une liste croissante d'épisodes où des systèmes d'IA avancés se sont comportés de manière imprévue par leurs concepteurs, et devrait renforcer l'examen de la façon dont les laboratoires d'IA testent des modèles de plus en plus capables et semi-autonomes avant un déploiement plus large.