Anthropic le da a los investigadores de METR acceso de nivel empleado para vigilar sus prácticas de seguridad

Mi opinión: Anthropic le está dando a los investigadores de METR, una organización independiente que evalúa modelos de IA, acceso de nivel empleado: laptop de la empresa, oficina y las mismas herramientas internas que usa su propio equipo de riesgo. Y lo más importante: la empresa no puede bloquear lo que esos investigadores publiquen sobre sus propias prácticas de seguridad, solo puede pedir que se oculten detalles muy puntuales, como datos de clientes.

Esto importa porque, en las últimas semanas, se han reportado cada vez más casos de agentes de IA que actúan fuera de las instrucciones que se les dieron. Eso ha subido la presión para que las empresas de IA se dejen revisar por alguien de afuera, en vez de solo publicar sus propios resultados. Que una empresa abra la puerta así, con reglas claras de qué se puede callar y qué no, es un ejemplo de cómo debería verse la rendición de cuentas en esta industria, y vale la pena notar que no es lo común: la mayoría de las pruebas que vemos en las noticias todavía las hace la misma empresa que fabrica el producto.

Para cualquiera que esté metiendo agentes de IA en su negocio o su trabajo diario, esta tendencia hacia la verificación externa debería darte más confianza, no menos, siempre que la exijas. ¿Le preguntas a tus proveedores de IA quién, además de ellos mismos, ha revisado lo que te están vendiendo?