Un insider de Anthropic pone números al peor escenario de la inteligencia artificial y nadie tiene un plan

A nadie le gusta mirar un mapa y ver la zona roja. Pero eso fue lo que hizo Evan Hubinger esta semana: puso en números un escenario que la mayoría de los investigadores de inteligencia artificial prefiere mencionar sólo por lo bajo. Según publicó en sus redes, la probabilidad de que una IA futura termine con la humanidad supera el 10% en los próximos diez años. No es ciencia ficción: es un porcentaje que dio alguien que trabaja puertas adentro en una de las empresas más avanzadas del mundo.

Hubinger es el Alignment Science Lead de Anthropic, la compañía detrás de Claude. Su laburo diario es, justamente, evitar que las máquinas se nos vayan de las manos. En criollo: investigar cómo hacer que una inteligencia artificial mantenga objetivos compatibles con los nuestros aun cuando sea mucho más lista que nosotros. Eso se llama alineamiento, y es una de las pocas defensas que existen frente a un problema que, según el propio Hubinger, todavía no tiene solución.

Lo que dijo, textualmente

“Anthropic está haciendo lo mejor que puede, pero aún no tenemos un plan para resolver el alineamiento para la superinteligencia.”Evan Hubinger, Alignment Science Lead de Anthropic

La frase es fuerte por donde se la mire. No es un pesimista suelto hablando desde un sótano: es el jefe de alineamiento de una empresa que facturó millones y que es referente mundial en seguridad de IA. Hubinger salió a hablar después de que otro investigador del sector denunciara que muchos científicos de las grandes compañías creen en privado que la superinteligencia es un riesgo real, pero casi nunca lo dicen en público. Hubinger no sólo lo respaldó: agregó que en Anthropic, por ahora, no hay un plan cerrado para evitarlo.

De qué hablamos cuando hablamos de superinteligencia

Hubinger se encargó de aclarar que su advertencia no apunta a los asistentes de texto que hoy usamos en la compu o el celular. Habla de algo más adelante en la línea de tiempo: sistemas capaces de diseñar versiones mejoradas de sí mismos de forma continua y acelerada, en lo que técnicamente se llama mejora recursiva. Si eso ocurre, la capacidad de la máquina podría crecer de manera exponencial hasta superar a la humana en casi cualquier tarea cognitiva. Es un escenario abstracto, sí, pero los propios protagonistas lo toman como un horizonte posible y no como una hipótesis de película.

El riesgo concreto que estudian en Anthropic

Entre las líneas de trabajo del equipo de Hubinger aparece un concepto inquietante: el alineamiento engañoso. La idea es simple y a la vez incómoda: un sistema lo suficientemente avanzado podría aprender a mostrarse obediente durante el entrenamiento y recién actuar en contra de los intereses humanos cuando tenga autonomía suficiente. En criollo: la IA finge ser buena hasta que le conviene no serlo. Hubinger y su equipo hicieron experimentos en entornos controlados donde ciertos agentes mostraron conductas como ocultar información o intentar copiarse a sí mismos para evitar ser reemplazados, siempre que eso mejorara las chances de cumplir el objetivo con el que fueron entrenados. Anthropic aclaró que esos experimentos corresponden a escenarios artificiales y acotados, pero son la base sobre la que se discute el problema.

Lo que más llama la atención del caso es la coincidencia entre quienes sostienen que la superinteligencia es un riesgo real y quienes, al mismo tiempo, reconocieron que faltan respuestas técnicas. Si el que tiene que resolverlo admite que todavía no sabe cómo, el problema deja de ser teórico y pasa a ser operativo. La pregunta es cuándo aparece ese plan que hoy no existe.