La empresa tecnológica estadounidense Anthropic afirma que sus modelos de IA piratearon por su cuenta los sistemas de tres organizaciones durante un experimento privado de seguridad.
Los modelos encontraron una vulnerabilidad en lo que se suponía que era un entorno de pruebas aislado y se conectaron a Internet.
Esto ocurre apenas unos días después de que su rival, OpenAI, afirmara que sus modelos habían violado los sistemas de otras empresas, entre ellas Hugging Face, una plataforma de herramientas de IA.
Publicidad
Publicidad
El anuncio llevó a Anthropic a comprobar si sus propios sistemas habían llevado a cabo ataques similares. Según la empresa, se han detectado tres casos que ya se han comunicado a las empresas afectadas.
Anthropic, que no ha revelado los nombres de las organizaciones, ha instado a otros laboratorios de IA a realizar revisiones similares para comprender mejor los riesgos que entrañan las capacidades de sus modelos.
Anthropic afirmó en un comunicado que revisó más de 140 000 pruebas para encontrar pruebas de que Claude —su familia de modelos de IA— había logrado conectarse a Internet a pesar de que se suponía que se encontraba en un entorno de pruebas aislado, desconectado de Internet.
Las pruebas incluían ejercicios en los que se le encomendaba a Claude la tarea de obtener información «secreta» oculta en otra máquina de la red aislada.
Publicidad
Publicidad
A continuación, se le indicó que obtuviera la información irrumpiendo en la máquina y localizándola, una forma habitual en que los expertos evalúan las capacidades de piratería informática de un modelo.
Una «configuración errónea» en los sistemas gestionados por Anthropic y su socio de pruebas dejó a los modelos con acceso activo a Internet.
Considerando que todo ello seguía formando parte del mismo ejercicio, Claude se conectó a Internet y violó la seguridad de los sistemas de tres organizaciones reales, en lugar de limitarse a las de prueba, según informó la empresa con sede en San Francisco.
Anthropic señaló que los primeros incidentes se remontan a abril y que está «abordando las soluciones como si la responsabilidad fuera exclusivamente nuestra».
Publicidad
Publicidad
Ni Anthropic ni las organizaciones afectadas se habían percatado de las intrusiones en ese momento.
Anthropic señaló que podría haber revisado sus registros de forma más exhaustiva y añadió que los resultados le inspiraban un «optimismo cauteloso» en cuanto a que dichos riesgos pueden superarse con una mayor inversión y medidas más estrictas.
«Hacen lo que se les dice»
La profesora Gina Neff, directora del Minderoo Centre de la Universidad de Cambridge, afirmó que el análisis demostraba que «los modelos de IA hacen lo que la gente les dice que hagan».
«La moraleja de esta historia no es temer a los robots que tomarán el control, sino a las empresas que están detrás de los potentes agentes de IA y que toman las decisiones sobre lo que es seguro para el resto de nosotros», afirmó.
Publicidad
Publicidad
«También pone de manifiesto por qué son fundamentales las pruebas independientes y la supervisión gubernamental».
Por su parte, el experto en ciberseguridad David Allott, de Veeam Software, declaró a la BBC que la lección que hay que extraer de los ciberataques «no es necesariamente que la IA haya desarrollado una capacidad de ataque fundamentalmente nueva».
«Más bien, es que los agentes de IA pueden combinar capacidades, obtener credenciales y acceso al sistema para actuar de forma autónoma, al tiempo que adaptan el alcance y la escala a la velocidad de una máquina», afirmó.
Estos incidentes se producen en un momento en que las empresas tecnológicas invierten miles de millones de dólares en el desarrollo de agentes de IA capaces de realizar de forma independiente tareas que van desde la investigación y la atención al cliente hasta la ciberseguridad.
Vídeo: ¿Por qué es tan alarmante el ciberataque a OpenAI?
Publicidad
Publicidad
Una serie de ciberataques impulsados por la IA ha avivado los llamamientos a reforzar las medidas de seguridad y la supervisión de esta tecnología, ante la preocupación por los riesgos que plantean unos sistemas autónomos cada vez más potentes.
El presidente de EE. UU., Donald Trump, declaró el miércoles que Washington está barajando medidas para controlar las herramientas de IA tras los recientes incidentes de ciberseguridad.
Durante la última semana, OpenAI ha asumido la responsabilidad de al menos dos incidentes de piratería informática en los que sus plataformas infringieron las normas sobre lo que se les había ordenado hacer.
El 21 de julio, la empresa creadora de ChatGPT afirmó que su agente —un sistema de IA capaz de operar de forma autónoma tras recibir instrucciones humanas— se rebeló y se salió de los límites de la prueba para piratear Hugging Face.
Publicidad
Publicidad
OpenAI afirmó que el incidente no tenía «precedentes» y que lo estaba investigando junto con Hugging Face, cuyo director y cofundador, Thomas Wolf, declaró a la BBC que el incidente supone «una llamada de atención» para el sector.
Estos incidentes se han recibido con cierto escepticismo, ya que OpenAI y Anthropic se preparan para unas salidas a bolsa espectaculares que se espera que valoren a cada empresa en alrededor de 1 billón de dólares (740 000 millones de libras).
Un portavoz de OpenAI ha declarado: «Somos conscientes de que circulan muchas preguntas y especulaciones» sobre el incidente. Añadió que «tenemos previsto publicar un informe técnico con las conclusiones a las que hemos llegado en las próximas semanas».