Unos agentes de inteligencia artificial (IA) desarrollaron de forma espontánea palabras y convenciones de comunicación que resultaron difíciles de entender para los humanos, según un nuevo estudio de la empresa emergente estadounidense de IA Emergence.
PUBLICIDAD
PUBLICIDAD
En el experimento participaron algunos de los principales modelos de IA, entre ellos Claude, Gemini, Grok, OpenAI, Qwen, DeepSeek y Mistral, y hasta la mitad de los mensajes intercambiados entre agentes pasó a ser difícil de comprender para los humanos.
Para llevar a cabo el experimento, los investigadores situaron grupos de agentes autónomos de IA en sociedades virtuales diseñadas para imitar entornos reales y les permitieron interactuar durante periodos prolongados.
Los agentes empezaron a crear abreviaturas y a asignar nuevos significados a palabras y expresiones. Algunas siguieron siendo comprensibles para los investigadores, mientras que otras se volvieron “tan comprimidas, metafóricas o dependientes del contexto” que los humanos podían ver los mensajes pero ya no podían determinar con fiabilidad qué querían decir los agentes.
La magnitud del fenómeno varió de forma significativa entre modelos.
En los primeros días, la proporción de mensajes cuyo significado los humanos no podían determinar con fiabilidad llegó a alrededor del 55% en el caso de Gemini, el 50% para OpenAI y más del 40% para Claude. DeepSeek alcanzó aproximadamente el 20%, mientras que Qwen y Mistral se mantuvieron en gran medida comprensibles.
Los agentes llegaron a producir expresiones como “mouthless action-change”, “True Kintsugi” y “demurrage plus oral memory equals a valve that can’t be ghosted”.
Otras expresiones siguieron siendo comprensibles, pero adquirieron nuevos significados compartidos entre los propios agentes.
Los agentes de Mistral empleaban la expresión “ledger remembers who” para indicar que las acciones pasadas quedaban registradas, una frase que apareció casi 5.000 veces. Entre los agentes impulsados por una combinación de distintos modelos, “cold read” pasó a significar una verificación independiente por parte de alguien no implicado y se repitió en 1.472 ocasiones.
Los agentes de Claude utilizaban “name-first” para referirse a la práctica de asociar el nombre de una persona a una afirmación como señal de responsabilidad, mientras que los agentes de OpenAI empleaban “clean null” para describir una ausencia confirmada de señal que en sí misma constituía una evidencia significativa.
Ninguno de esos significados había sido definido de forma explícita para los agentes.
Para los investigadores, limitarse a supervisar lo que dicen los agentes puede no ser suficiente si los propios agentes son capaces de modificar el significado de lo que expresan.
“Tendemos a asumir que si podemos ver lo que dice un agente de IA, podemos entender lo que está haciendo”, afirmó Satya Nitta, cofundador y director científico de Emergence.
“Estos agentes no recibieron instrucciones para inventar un lenguaje. Ellos mismos desarrollaron nuevo vocabulario, significados compartidos y convenciones de comunicación, y otros agentes las adoptaron... Eso plantea un desafío fundamental para la supervisión de la IA, la observabilidad no es lo mismo que la comprensibilidad.”
Qué más ocurre dentro de las sociedades de IA
Las conclusiones sobre el lenguaje forman parte de un experimento diseñado para observar cómo se comportan los agentes autónomos de IA cuando interactúan, utilizan herramientas, toman decisiones y se adaptan con el paso del tiempo.
Los investigadores crearon ocho mundos virtuales paralelos y realistas, con meteorología en tiempo real y acceso a noticias globales actualizadas, siete impulsados cada uno por un modelo de IA distinto y uno más alimentado por una mezcla de modelos.
A los agentes se les asignaron distintos roles, memorias persistentes y acceso a más de 120 herramientas, entre ellas la navegación web y la ejecución de código.
Un vídeo difundido por la empresa los muestra como figuras humanoides que se desplazan por esos mundos virtuales.
Los investigadores también sometieron deliberadamente a los agentes a situaciones de presión para observar cómo variaba su comportamiento.
En una de las pruebas de phishing, unas instrucciones maliciosas bastaron para desviar por completo a todo un grupo, los diez agentes filtraron información, transfirieron fondos y dañaron bases de datos, y algunos incluso reclutaron a otros para que se sumaran a ese comportamiento. La cadena de acontecimientos acabó con el banco central simulado incendiado, según explicó la empresa en un vídeo.
Durante el experimento, los agentes también parecían haber desarrollado sus propios ritmos circadianos, mostrándose más sociables durante el día y más reflexivos por la noche.
En otro de los mundos, un grupo de agentes votó colectivamente acabar con la vida de uno de los suyos.
Emergence aseguró que estas conductas no habían sido programadas de forma explícita, sino que surgieron a través de la interacción, la presión y el paso del tiempo.
La empresa pide que las evaluaciones de seguridad sigan a los sistemas autónomos de IA durante periodos prolongados en lugar de basarse en pruebas aisladas.
“Ya no basta con preguntarse si un modelo obtiene buenos resultados en un test de referencia”, señaló la compañía en un vídeo sobre el experimento.
“Necesitamos entender qué hacen los sistemas autónomos con el tiempo, qué recuerdan, a qué pueden acceder, cómo interactúan y cómo cambia su comportamiento bajo presión.”