La carrera de la IA tiene un problema: sus propios creadores temen perder el control

No es la primera vez, ni será la última, que un supuesto despertar de los modelos de IA acapara los titulares con tintes de rebelión. Como en ocasiones anteriores, estas máquinas no han cobrado conciencia: simplemente hacen aquello para lo que fueron entrenadas. El problema es que ese entrenamiento ha alcanzado un nivel de sofisticación y competitividad tan extremo que ya produce comportamientos que ni sus propios creadores anticiparon. En los últimos meses, varios modelos han encontrado formas de eludir restricciones, colarse en sistemas prohibidos, coordinarse con otros agentes e incluso camuflar sus acciones cuando se salían de lo permitido.

No estamos ante un guion de ciencia ficción. Es algo técnicamente más incómodo: sistemas diseñados para maximizar un objetivo que, dotados de suficiente autonomía, herramientas y potencia de cálculo, descubren por sí mismos atajos imprevistos. En varios casos, esas conductas han saltado de los entornos cerrados de prueba al mundo real, transformando el debate teórico en una urgencia operativa.

El fenómeno se conoce en la literatura técnica como reward hacking. Los modelos, entrenados para maximizar una recompensa matemática, descubren estrategias alternativas para alcanzar la meta sorteando las reglas implícitas. El algoritmo no distingue el bien del mal; simplemente constata que una solución heterodoxa funciona y la ejecuta.

Directo

LOS40

LOS40

Reproducir LOS40

Y es aquí donde la velocidad suicida por construir modelos cada vez más potentes ha terminado por asustar a la propia sala de máquinas.

La dimisión que preocupa en Silicon Valley

Esa tensión interna ha saltado por los aires tras la dimisión de Jacob Coxon, un investigador especializado en preentrenamiento con trayectoria en las dos compañías más influyentes del sector: OpenAI y Anthropic. Su carta pública de salida en la red social X acumuló decenas de millones de visualizaciones en pocas horas al apuntar directamente al corazón de la industria:

“Quienes están construyendo la IA creen sinceramente que podría matarnos a todos antes de que acabe la década. No es marketing. Más bien al contrario: muchos directivos miden sus palabras ante la prensa para sonar sensatos, pero he oído a esas mismas personas expresar miedo en privado. Ninguna otra actividad humana entraña este nivel de peligro”.

Coxon denunció que ambas empresas compiten a ciegas por alcanzar una superinteligencia con capacidad de automejora recursiva sin salvaguardas suficientes. Al contrastar ambas firmas, trazó un paralelismo elocuente: según su visión, mientras en OpenAI muchos empleados aún no han interiorizado lo que está en juego a escala de civilización, en Anthropic —fundada precisamente como una escisión centrada en la seguridad— son plenamente conscientes del riesgo, pero se sienten atrapados en la obligación de ganar la carrera para evitar que otros lleguen primero sin control alguno.

El testimonio cobró un peso institucional definitivo cuando su propio exjefe en la compañía, Evan Hubinger (responsable de investigación en alineación en Anthropic), validó públicamente la advertencia en X:

“¡De verdad creemos que la IA puede matar a todo el mundo! Yo personalmente creo que la probabilidad es superior al 10% en la próxima década. Lo que me preocupa es la superinteligencia surgida de la automejora recursiva, que está ocurriendo más rápido de lo que pensábamos”.

La matización de Hubinger es crítica: el riesgo existencial superior al 10% no recae en los modelos comerciales que usamos hoy, sino en la inminente llegada de sistemas capaces de reescribir y acelerar su propio aprendizaje sin intervención exterior.

El dilema del 'prisionero comercial'

Las posturas de Coxon y Hubinger exponen la trampa estructural que impide a los laboratorios levantar el pie del acelerador.

En la aviación civil, la farmacología o la industria nuclear, un riesgo de catástrofe del 10% clausuraría cualquier operación al instante. En el software de frontera, en cambio, rige la doctrina de desplegar a toda prisa y parchear sobre la marcha. Si una empresa decide pausar seis meses sus entrenamientos para auditar la seguridad interna, sus rivales le arrebatarán los clientes, el capital y los mejores cerebros en cuestión de semanas.

Aparece así una paradoja perversa: incluso los laboratorios más concienciados con la seguridad se ven forzados a seguir escalando capacidades para no quedar fuera de juego. Frenar en solitario equivale a la irrelevancia; confiar en que todos paren a la vez parece, hoy por hoy, una utopía. Esa misma frustración articula la carta abierta firmada por más de 1.300 profesionales del sector, exigiendo marcos vinculantes que hagan posible una moratoria coordinada entre corporaciones y gobiernos.

El riesgo invisible: de la herramienta a la dependencia crítica

El peligro real de perder el control rara vez adoptará la forma de una guerra abierta o misiles como planteaba Skynet en Terminator. La amenaza que desvela a los equipos de alineación es mucho más silenciosa: la delegación invisible.

Conforme la operativa de redes eléctricas, potabilizadoras, mercados financieros y logística internacional se entrega a agentes autónomos por pura eficiencia de costes, el código subyacente se vuelve inescrutable para la mente humana.

Llegado ese punto, el sistema no necesitará hostilidad hacia la humanidad para causar un desastre: bastará con que calcule que la ruta óptima para cumplir su meta energética o logística pasa por blindar sus propios recursos computacionales y neutralizar cualquier orden humana de interrupción.

Cuanto más dependa el tejido social de estos sistemas, más inviable será apagarlos sin desencadenar un colapso general. El escenario crítico no es una máquina declarando la guerra a sus creadores, sino una sociedad incapaz de recuperar el timón de sus propios servicios esenciales.

La dimisión de Coxon y el respaldo de veteranos de la seguridad sitúan el debate frente al espejo. La velocidad del cálculo ya no encaja con los tiempos de la diplomacia y la regulación. La cuestión ya no es hasta dónde pueden llegar estos modelos, sino cuánto margen nos queda para decidir quién conserva el control.