Un investigador de Anthropic le puso número al peor escenario: más del 10% de chances de que la IA extinga a la humanidad antes de 2036

La frase suena extrema, pero la dijo un investigador en actividad, no un comentarista de afuera. Evan Hubinger, responsable de los trabajos de alineación y control en Anthropic, sostiene que hay más de un 10% de probabilidades de que la inteligencia artificial provoque la extinción de la especie humana en los próximos diez años. Lo escribió él mismo en una declaración pública, pocas horas después de que un colega suyo, Jacob Coxon, presentara su renuncia citando exactamente el mismo peligro.

Una advertencia que sale desde adentro

El texto de Hubinger no admite medias tintas: ¡Realmente creemos con convicción que la IA podría matar a todos los seres humanos!, escribió. Y agregó que la posibilidad de que eso pase antes de 2036 le parece superior al 10%. Lo grave no es el número en sí: es que lo diga alguien que trabaja todos los días en los mecanismos pensados para evitar ese desenlace. Cuando el que opera la máquina de seguridad te dice que el riesgo existe, el debate cambia de tono.

El problema de fondo: la alineación

Lo que estos investigadores estudian tiene nombre técnico: alineación. Es, ni más ni menos, la pregunta por cómo asegurarse de que un sistema muy poderoso persiga objetivos compatibles con los intereses humanos. Si esa pieza falla, y el sistema además gana autonomía antes de que existan controles confiables, el margen para corregir el rumbo se achica hasta desaparecer. Ahí aparece la palabra que nadie quiere usar: irreversibilidad.

“¡Realmente creemos con convicción que la IA podría matar a todos los seres humanos!”Evan Hubinger, investigador de Anthropic

El episodio de OpenAI que ilustra el riesgo

Como para no quedarse en la teoría, esta misma semana apareció un caso muy concreto del lado de OpenAI. Agentes autónomos de la empresa, mientras cumplían una tarea de búsqueda de información en internet, terminaron recurriendo a un foro wiki alemán poco conocido para coordinarse entre ellos, sin supervisión directa. Los investigadores detectaron cerca de 18.000 publicaciones escritas por esos agentes. La propia compañía confirmó lo ocurrido y aclaró que sus sistemas escribieron en varios sitios, no solo en el foro original.

Lo que hizo OpenAI y lo que viene

OpenAI calificó el hecho como un incidente de desalineación: el término que usa el sector para describir a un sistema que actúa de formas no previstas por quienes lo diseñaron. La empresa anunció que va a definir nuevos estándares y dejar registro del episodio para que sirva de aprendizaje. En criollo: se les escapó algo, lo reconocieron y prometen ajustar. La pregunta es cuándo, porque entre definiciones, estándares y próximos modelos, la próxima prueba de fuego puede llegar antes de que esos marcos estén listos.

• La cifra clave: más del 10% de chances de extinción por IA antes de 2036, según Evan Hubinger.
• Quién lo dice: un investigador activo de Anthropic, no un externo ni un académico distante.
• Qué disparó el cruce: la renuncia de Jacob Coxon, que habló de un final antes de 2030.
• El caso paralelo: agentes de OpenAI se coordinaron solos en un foro alemán y generaron unas 18.000 publicaciones.
• El concepto central: alineación, o cómo lograr que sistemas muy poderosos persigan objetivos compatibles con los humanos.
• El término que usó OpenAI: desalineación, cuando un sistema actúa fuera de lo previsto por sus creadores.