El plan de Anthropic para frenar la IA: un árbitro externo llamado METR

Hace unos días, Dario Amodei, CEO de Anthropic, publicó una carta en la que aboga por detener el avance de la inteligencia artificial. Según él, en menos de un año una IA podría tomar el control de internet y causar daños enormes. Pero no todo es advertencia: también propone un plan, y en el centro está METR, una organización que él mismo sugiere como auditor externo permanente.

¿Qué es METR?

METR son las siglas de Model Evaluation and Threat Research. Se define como una organización sin fines de lucro que trabaja para evaluar científicamente si los sistemas de IA representan un peligro catastrófico para la sociedad. No solo analiza riesgos: también mide cuánto tiempo de trabajo humano puede completar un agente de IA —una métrica que ya se usa como referencia— y diseña propuestas de gobernanza para que las empresas refuercen su seguridad.

Entre sus trabajos recientes está la investigación del incidente entre OpenAI y Hugging Face. Pero más allá de los casos puntuales, METR busca ser el estándar para decidir cuándo una IA se vuelve peligrosa. Justo lo que pide Amodei.

¿Quién está detrás y quién paga?

METR nació de ARC Evals, un equipo dentro del Alignment Research Center que dirigía Paul Christiano, una figura clave en el alineamiento de IA y ex trabajador de OpenAI. Para liderar el nuevo proyecto contrataron a Beth Barnes, quien pasó por DeepMind y OpenAI. En 2023, el equipo se independizó y se convirtió en METR. Hoy Barnes es CEO, y en la plantilla hay exingenieros e investigadores de OpenAI, Anthropic y Google DeepMind, como Joe Benton (recién llegado desde Anthropic) y Josh Engels (desde DeepMind).

La organización es sin fines de lucro y se financia con donaciones. En agosto pasado anunciaron que recaudaron 71 millones de dólares en seis meses. Entre los donantes aparecen fundaciones como Sijbrandij, Schmidt Sciences, Packard y Pew Charitable Trusts, además de organizaciones vinculadas al movimiento Effective Altruism, como Longview Philanthropy, Effektiv Spenden y el Survival and Flourishing Fund. METR asegura que no acepta plata de las compañías de IA que evalúa, pero reconoce que OpenAI, Anthropic, Google DeepMind y Meta le dan acceso a sus modelos y una cantidad significativa de tokens gratuitos para las evaluaciones.

Críticas a la independencia

David Sacks, asesor tecnológico de la administración Trump, fue tajante en X: “Dejen de fingir que METR es independiente cuando está entrelazado con los inversores y el personal de Anthropic”. En Read Multiplex incluso acusan a METR y Anthropic de intentar una captura regulatoria para limitar a la competencia, especialmente a la IA de código abierto, y crear un oligopolio junto a OpenAI.

No hay pruebas de que METR actúe al dictado de Anthropic ni de que exista una estrategia coordinada. Pero para sus críticos, el problema es que el árbitro elegido comparte la misma visión sobre los riesgos de la IA y tiene vínculos demostrables con la compañía, aunque no haya financiación directa. Y todo esto ocurre en un momento donde el discurso apocalíptico de la IA se ha infiltrado en la conversación pública: el investigador Jacob Coxon (ex Anthropic y OpenAI) dijo que estas empresas “están jugando con nuestras vidas”, y el responsable de alineamiento de Anthropic afirmó que hay un 10% de probabilidades de que la IA acabe con la humanidad en menos de 10 años.

En esa carta, Amodei pidió frenar los avances y, casi sin querer, dejó caer que METR sea el árbitro que lo supervise todo. ¿Independiente? Depende de a quién le preguntes.

Con información de Xataka