Anthropic le da a METR la llave maestra: acceso total para auditar sus modelos desde adentro
Seis investigadores de la organización sin fines de lucro trabajan con rango de empleado, hablan con cualquiera en la empresa y publican lo que quieran, sin pedir permiso. Es el primer caso en el nivel más alto de un esquema que la compañía armó en el último año.
Tengo que confesar algo: cada vez que una empresa de inteligencia artificial dice que es transparente, me pongo a leer la letra chica. Y esta vez la letra chica tiene una particularidad: seis personas externas están sentadas adentro de Anthropic con la misma computadora, la misma credencial y, en la práctica, la misma conversación de pasillo que cualquier empleado del equipo de evaluación de riesgos. Son investigadores de METR, una organización sin fines de lucro especializada en medir qué tan seguros son los sistemas de IA, y desde hace unas semanas se mudaron a las oficinas de Anthropic para hacer lo que siempre reclamaron: mirar la cocina sin que nadie les tape la olla.
Pensemos en una colonia de edificios, como las que abundan en cualquier barrio porteño. Hay un administrador de consorcio que muestra los números una vez al año en una asamblea: eso sería el nivel uno de auditoria. Después están los que revisan las facturas de luz y gas antes de que se aprueben: nivel dos, más información, más poder. Pero lo que METR acaba de conseguir es distinto: es como tener una copia de cada llave del edificio, acceso al cuarto de calderas, al tablero eléctrico y a los libros contables, y la libertad de publicar lo que encuentre sin que el consorcio pueda taparlo. La pregunta es cuándo más compañías van a abrir la puerta de esa manera.
Tres niveles, una sola idea de fondo
El esquema que armó Anthropic tiene tres escalones bien diferenciados. En el más bajo están organizaciones como SecureBio, que hacen revisiones acotadas y necesitan pedir autorización antes de difundir cualquier hallazgo. En el intermedio se suma más información y la posibilidad de publicar sin pedir permiso, aunque sin el acceso total. En el tope, donde está hoy solamente METR, el auditor se vuelve casi un empleado: puede hablar con el personal como un colega, usar las mismas herramientas internas y publicar reportes de incidentes, análisis de prácticas y evaluaciones de modelos sin que la empresa pueda bloquearlo.
Hay, claro, tres exceptions al libre acceso: datos de clientes, información protegida por secreto profesional entre abogado y cliente y detalles sobre la arquitectura técnica de los modelos. En esos casos la compañía puede pedir que se redacten los informes. La diferencia clave es que METR puede decir públicamente si considera que esa redacción era justificada o no. No es una traba menor: es la posibilidad de marcar la maniobra.
Por que hace falta tanto acceso
Anthropic reconoce que no cualquiera puede hacer este trabajo y por eso publicó cuatro condiciones que, según la empresa, se tienen que cumplir para que una auditoría externa sirva de algo:
- Experiencia técnica suficiente para detectar cuando un modelo simula estar alineado en lugar de estarlo de verdad.
- Independencia económica y operativa respecto de la empresa auditada, para que no haya conflicto de intereses.
- Acceso que vaya más allá de probar el modelo: también información sobre cómo se entrenó y cómo funcionan sus mecanismos de seguridad.
- Libertad para publicar los hallazgos sin restricciones previas.
La propia compañía admite que no puede abrir toda su información de seguridad al público, porque parte de esos datos podrían ser útiles para actores maliciosos o son sensibles desde el punto de vista comercial. La salida que encontró fue reducir el círculo: un grupo chico, con acuerdos exigibles y con el resto del personal de METR aislado de este trabajo, para que la profundidad no se transforme en fuga de información.
Comentarios
0Todavía no hay comentarios. Sé el primero.
Tierra Colorada Noticias