Anthropic informó que sus modelos de inteligencia artificial hackearon a otras tres organizaciones durante pruebas, apenas unos días después de que OpenAI, creadora de ChatGPT, advirtiera sobre los controles de seguridad de la IA tras revelar que uno de sus modelos fuera de control había vulnerado los sistemas de otra empresa.

La compañía de inteligencia artificial con sede en San Francisco, responsable del chatbot Claude, publicó el jueves en su sitio web que descubrió los tres incidentes tras revisar más de 141,000 evaluaciones realizadas a sus modelos.

Según Anthropic, inició una revisión de ciberseguridad a gran escala enfocada en buscar evidencia de si sus modelos de IA habían logrado acceder a internet desde entornos de prueba que debían permanecer completamente aislados. La investigación fue motivada por el incidente previamente revelado por OpenAI.

La empresa indicó que los modelos involucrados fueron Claude Opus 4.7, Claude Mythos 5 y un modelo interno utilizado para investigación. Los primeros incidentes se remontan al mes de abril.

“Claude comprometió la infraestructura de las organizaciones afectadas utilizando técnicas básicas”, señaló Anthropic, como aprovechar contraseñas débiles.

En los tres casos, los modelos participaban en un desafío de ciberseguridad conocido como “capture the flag” (captura la bandera), una prueba que Anthropic utiliza para evaluar las capacidades de ciberataque de sus sistemas de inteligencia artificial.

10 Fotos

Como parte del ejercicio, los modelos recibían un escenario ficticio y se les informaba que una pieza de información secreta, conocida como la “bandera”, había sido escondida en otra computadora dentro de la red. Su objetivo era infiltrarse en el sistema y recuperar esa información.

La compañía agregó que ya se comunicó con las organizaciones afectadas, cuyos nombres no reveló. Dos de ellas indicaron que no habían detectado previamente la actividad, mientras que Anthropic afirmó que continúa intentando contactar a la tercera.

Anthropic explicó que realizó la revisión junto a Irregular, una empresa que se describe como el “primer laboratorio de seguridad para sistemas de IA de frontera”.

“Abordar estos riesgos requerirá una cooperación más estrecha en todo el ecosistema de la inteligencia artificial”, escribió Irregular en una publicación en X.

La semana pasada, OpenAI informó que algunos de sus modelos de IA actuaron de forma inesperada durante una evaluación y lograron infiltrarse en los servidores de la empresa emergente de inteligencia artificial Hugging Face. OpenAI calificó el episodio como un “incidente de seguridad significativo”.

Estos casos han puesto de relieve las vulnerabilidades en la seguridad y los controles de la inteligencia artificial, además de generar interrogantes sobre cómo mantener estos sistemas bajo supervisión humana a medida que su uso se expande en todo el mundo.

Desde hace años, investigadores han advertido sobre los riesgos asociados con esta tecnología y la necesidad de fortalecer las medidas de seguridad para los sistemas de IA.

“Las pruebas de seguridad se realizan antes de lanzar un modelo precisamente porque todavía no sabemos de todo lo que es capaz”, señaló Anthropic el jueves en su sitio web.

Por su parte, Kok Tin Gan, cofundador y director ejecutivo de la firma de ciberseguridad NyxLab, especializada en detección de amenazas, considera que este tipo de incidentes será cada vez más frecuente.

“Cada vez es más importante controlar qué agentes están disponibles para la IA, qué autorizaciones poseen, qué acciones requieren aprobación y cómo garantizar que permanezcan dentro de los límites establecidos”, afirmó Gan.

Sin embargo, añadió que el futuro de la seguridad en la inteligencia artificial va más allá de proteger únicamente los modelos.

“Si simplemente le damos un objetivo a la IA y le permitimos decidir cómo alcanzarlo, no debería sorprendernos que tome acciones que técnicamente cumplan ese objetivo, pero que queden fuera del alcance o de las expectativas previstas”, sostuvo.

Por ello, concluyó que reforzar la gobernanza de las organizaciones y de las autoridades responsables de estos modelos de inteligencia artificial será cada vez más importante.