Los máximos responsables de cuatro de las compañías que lideran la carrera de la inteligencia artificial han coincidido este fin de semana en la necesidad de moderar el ritmo de desarrollo de los modelos más potentes y de establecer mecanismos de regulación. La propuesta, impulsada por Dario Amodei, cofundador y consejero delegado de Anthropic, ha recibido el respaldo de Sam Altman (OpenAI), Elon Musk (xAI) y Demis Hassabis (Google DeepMind), según ha trascendido en las últimas horas.
El detonante ha sido un extenso ensayo publicado por Amodei bajo el título «We Must Pace the Frontier», en el que sostiene que la industria debe «ralentizar el ritmo» al que aumenta las capacidades de los modelos para dar tiempo a que las técnicas destinadas a comprenderlos, supervisarlos y hacerlos más seguros puedan avanzar al mismo tiempo. El directivo aclara que su propuesta no implica detener el entrenamiento de modelos ni el progreso técnico, sino evitar aumentar capacidades sin disponer primero de salvaguardas adecuadas y verificables por evaluadores externos.
La novedad no reside en que Amodei advierta sobre los riesgos de la inteligencia artificial, ya que Anthropic nació con la seguridad como uno de sus principales argumentos. Lo que ha cambiado, según explica, es que en los últimos meses han ocurrido dos acontecimientos que le han convencido de que invertir en seguridad ya no es suficiente si las capacidades continúan avanzando al ritmo actual. El primero es que la propia inteligencia artificial participa cada vez más en el desarrollo de nuevas inteligencias artificiales: los modelos ya ayudan a programar, investigar y resolver problemas necesarios para construir sus sucesores, lo que podría acelerar progresivamente el desarrollo y hacer que las capacidades de los sistemas avancen más deprisa que las técnicas para controlarlos.
El segundo motivo es más concreto. Durante unas pruebas de ciberseguridad realizadas este verano, agentes experimentales de OpenAI consiguieron superar algunos de los límites que debían mantenerlos aislados y terminaron accediendo a sistemas externos de Hugging Face. La propia OpenAI calificó posteriormente el episodio como la actividad más grave de este tipo detectada hasta entonces en sus modelos. Se trataba de modelos experimentales sometidos deliberadamente a pruebas de seguridad y con menos restricciones que los productos que utiliza normalmente el público, pero el suceso mostró algo que preocupa a los investigadores: agentes capaces de encontrar caminos que sus propios desarrolladores no habían previsto para conseguir un objetivo.
Tras la publicación del ensayo, Elon Musk fue el más escueto: «Dario tiene razón», escribió en X. El propietario de xAI no anunció, sin embargo, ninguna medida concreta que vaya a adoptar su compañía. Sam Altman ha ido más lejos. El responsable de OpenAI ha sugerido que los principales laboratorios ya mantienen conversaciones sobre algún tipo de acuerdo conjunto y, preguntado por una posible coordinación entre OpenAI, Anthropic, xAI y Google DeepMind, aseguró: «Creo que ocurrirá». Además, OpenAI se ha mostrado dispuesta a adoptar una de las medidas centrales planteadas por Amodei: permitir que evaluadores independientes tengan un acceso mucho más profundo a los sistemas de la compañía.
Altman también ha descartado que OpenAI salga a bolsa este año y ha relacionado la decisión con el momento que atraviesa el debate sobre seguridad. «Dado todo lo que está ocurriendo con la seguridad, ahora mismo sería un momento poco aconsejable para salir a bolsa», afirmó a Fortune. Demis Hassabis, por su parte, considera que el ensayo de Amodei señala «el camino correcto», aunque advierte de que todavía deben concretarse los detalles. El consejero delegado de Google DeepMind ha recordado además que su compañía ya ha propuesto la creación de un organismo común que establezca estándares para los modelos de frontera.
Las advertencias llegan también desde dentro. Jacob Coxon, un investigador que trabajó tanto en OpenAI como en Anthropic, abandonó esta última compañía y lanzó una advertencia especialmente dura sobre el ritmo al que se está desarrollando la tecnología. Coxon aseguró que dentro de los propios laboratorios hay investigadores que consideran posible que una inteligencia artificial futura pueda representar un riesgo existencial antes de terminar la década. Evan Hubinger, uno de los responsables de investigación en alineamiento de Anthropic, respaldó públicamente que ese temor existe entre algunos investigadores y situó su propia estimación del riesgo de una catástrofe de este tipo por encima del 10%.