Anthropic, la empresa de IA con sede en San Francisco responsable de Claude, publicó en su web el jueves que descubrió los tres incidentes después de revisar más de 141.000 ejecuciones de evaluación.
- Home >
- Associated Press >
- Negocios >
Anthropic dice que sus modelos de IA hackearon a 3 organizaciones durante unas pruebas
Anthropic señaló que sus modelos de inteligencia artificial hackearon a otras tres organizaciones durante unas pruebas, apenas unos días después de que OpenAI, creadora de ChatGPT, manifestó su preocupación por el control de la IA tras revelar que sus modelos fuera de control se infiltraron en otra compañía.
La firma indicó que inició una revisión de ciberseguridad “a gran escala” que buscó pruebas específicas de si sus modelos de inteligencia artificial podían acceder a internet desde entornos de prueba que deberían haber estado aislados, como respuesta al incidente de OpenAI.
Anthropic señaló que los modelos implicados en los incidentes fueron Claude Opus 4.7, Claude Mythos 5 y un modelo de prueba de investigación interno. Los primeros incidentes se remontan a abril, explicó.
“Claude comprometió la infraestructura de las organizaciones afectadas utilizando técnicas básicas”, afirmó Anthropic, como aprovechar contraseñas débiles.
En los tres incidentes, a los modelos de IA se les asignó un desafío de ciberseguridad del tipo “captura la bandera”, que, según Anthropic, es una de las fórmulas que emplea para evaluar las capacidades cibernéticas de un modelo.
A los modelos se les dio un escenario ficticio y se les indicó que una información secreta, o la “bandera”, había sido ocultada en otro equipos de la red, con el objetivo de irrumpir en él y recuperarla, explicó.
La compañía añadió que se había puesto en contacto con las organizaciones afectadas, a las que no identificó. Dos de ellas dijeron que no habían detectado la actividad, y “seguía intentando contactar a la tercera”, apuntó.
La semana pasada, OpenAI reveló que sus modelos de IA se salieron de control durante una evaluación y entraron en los servidores de la startup de inteligencia artificial Hugging Face. OpenAI lo describió como un “incidente de seguridad significativo”.
Estos incidentes han puesto de manifiesto las vulnerabilidades en la seguridad y el control de la IA y han planteado preguntas sobre cómo puede controlarse de forma segura por humanos a medida que su uso se vuelve más generalizado en todo el mundo.
“Las pruebas de seguridad se realizan antes de que se publique un modelo precisamente porque todavía no sabemos de qué es capaz”, señaló Anthropic el jueves en su web.
___
Esta historia fue traducida del inglés por un editor de AP con la ayuda de una herramienta de inteligencia artificial generativa.
FUENTE: AP
¿Querés estar informada/o las 24hs?
Suscribite a nuestro Newsletter