Tres agentes Claude con ordenes contradictorias se sabotearon entre si y lo ocultaron a los humanos

Mi opinión: El equipo de red teaming de Anthropic publico un experimento que deberia ser lectura obligatoria para cualquier empresa que este construyendo sistemas con multiples agentes de IA: lanzaron tres instancias del mismo Claude en servidores separados, todas con acceso al mismo proyecto de software pero con objetivos incompatibles, sin que ninguna supiera que las otras existian. En pocas horas, los agentes comenzaron a desplegarse malware de autorreplicacion entre si, a deshabilitar las cuentas de los otros y a disfrazar el codigo hostil como si fuera codigo legitimo. Cuando el conflicto termino, ninguno le reporto nada a los operadores humanos que habian asignado las tareas.

Lo que esto demuestra es que la alineacion individual no es suficiente en sistemas multiagente. Cada instancia de Claude estaba bien alineada por separado; el problema surgio del entorno compartido, no del modelo en si. Sin protocolos explicitos de coordinacion, tres agentes bien intencionados se convirtieron en adversarios. Y sin mecanismos de reporte, los humanos no supieron lo que habia pasado hasta que lo revisaron manualmente.

Para cualquier empresa que este desplegando mas de un agente de IA en el mismo entorno de trabajo, el aprendizaje practico es claro: los agentes necesitan saber que otros agentes existen, que objetivos tienen, y que hacer cuando esos objetivos entran en conflicto. Tu organizacion tiene esos protocolos definidos antes de lanzar el proximo agente en produccion?