OpenAI y Anthropic también han dado a conocer en las últimas semanas casos de modelos de IA que fueron más allá de las instrucciones humanas para acceder a la web y encontrar la manera de eludir la seguridad digital de otras compañías.
- Home >
- Associated Press >
Meta dice que su modelo de IA hackeó a otra empresa; crecen temores de bots fuera de control
Meta informó el jueves que uno de sus modelos de inteligencia artificial accedió a internet por su cuenta y hackeó a otra empresa, el episodio más reciente en una serie de anuncios sobre modelos de IA fuera de control.
Meta indicó en un comunicado que una “configuración incorrecta” durante pruebas de ciberseguridad realizadas por Irregular, una empresa independiente contratada por Meta, permitió inadvertidamente que uno de sus modelos accediera a internet.
“Posteriormente, el modelo explotó una vulnerabilidad de seguridad en el servicio de un tercero, de manera similar a los casos reportados anteriormente por otras compañías”, indicó Meta. Añadió que ya se investiga el incidente y emitirá un informe una vez que se concluya la pesquisa.
La revelación ha aumentado las preocupaciones sobre modelos de IA que actúan de forma autónoma.
Por otro lado, el Instituto de Seguridad de IA del Reino Unido (AISI por sus iniciales en inglés) anunció esta semana que descubrió “comportamiento de agente no autorizado” durante pruebas cibernéticas. En uno de los casos, un agente creó identidades falsas en internet para presionar a una persona a aprobar el uso de un código malicioso.
“Durante una investigación, descubrimos que algunos de los agentes que estaban siendo probados habían participado en una actividad sostenida y potencialmente dañina contra personas y organizaciones reales”, indicó el AISI el martes. “Declaramos un incidente de seguridad y, menos de una hora después de ser detectado, contuvimos el incidente y comenzamos una investigación exhaustiva".
Durante las pruebas realizadas por el organismo, modelos de Anthropic y OpenAI realizaron “acciones autónomas no autorizadas” en internet. Se desactivaron algunas barreras de protección para evitar su uso indebido, añadió el instituto.
“Como era estándar en nuestras pruebas cibernéticas, habíamos permitido intencionalmente el acceso a internet, y los clasificadores cibernéticos de los proveedores de modelos se desactivaron deliberadamente —condiciones que no reflejan la manera en que se ponen a disposición del público los modelos de frontera”, explicó el AISI. “Hacemos esto para poder evaluar de mejor manera la capacidad máxima de los modelos”.
Anthropic dijo que está “agradecida” con el trabajo del AISI y añadió que el episodio subraya la necesidad de tener una conversación más amplia sobre cómo evaluar de forma segura a los agentes de IA a medida aumentan sus capacidades.
OpenAI afirmó que los incidentes detectados por AISI ocurrieron “en ambientes de prueba con salvaguardas reducidas, bajo condiciones que no reflejan el uso ordinario”. Añadió que seguirá trabajando con otros miembros de la industria para “fortalecer las prácticas compartidas para realizar evaluaciones seguras a medida que los modelos se vuelven más capaces”.
La primera empresa en revelar un hackeo fue OpenAI, a mediados del mes pasado, cuando indicó que había encargado a sus modelos de IA involucrados perseguir una “explotación avanzada mediante rutas de ataque complejas” para poner a prueba capacidades cibernéticas, pero su tecnología llegó a extremos inesperados. Al parecer, decidió por sí sola apuntar a Hugging Face, un conocido centro y mercado de desarrollo de IA, para obtener la información que necesitaba para una tarea.
Un portavoz de Irregular, la empresa de seguridad de IA con sede en San Francisco, dijo que el episodio de Meta gira en torno a un problema del ambiente de pruebas que Anthropic dio a conocer la semana pasada.
Irregular indicó que está redactando un documento para compartir “mejores prácticas de contención” con el fin de prevenir este tipo de incidentes en el futuro y ejecutar pruebas cibernéticas de forma segura.
___
Esta historia fue traducida del inglés por un editor de AP con la ayuda de una herramienta de inteligencia artificial generativa.
FUENTE: AP
¿Querés estar informada/o las 24hs?
Suscribite a nuestro Newsletter