Cuándo dejar que la IA actúe sola: qué revisa Anthropic

La pregunta que más aparece en un proyecto de IA no es qué modelo usar. Es hasta dónde dejar que el sistema actúe sin que nadie lo revise. Anthropic publicó en septiembre cómo responde a esto dentro de su propia casa, con cerca de treinta mil agentes funcionando al mismo tiempo — y la respuesta no es "revisa lo que sea importante". Es una regla más simple, que cabe en cualquier empresa.

Los números publicados

La publicación reúne tres mediciones internas de Anthropic, referentes a agosto de 2026:

• Cuánto del trabajo lleva a cabo la IA. Claude "lidera" el 26% del trabajo de investigación y desarrollo de IA de la empresa. En febrero eran menos del 1%. "Liderar", en la escala de la propia Anthropic, es completar la mayor parte de la tarea a partir de un pedido general, con una persona supervisando — no es trabajar sin nadie.
• Cuánto se vigila. En la plataforma interna más usada, cerca de treinta mil agentes trabajan simultáneamente. En agosto hubo más de mil millones de decisiones, y todas pasaron por un monitor antes de ejecutarse, por lo general en segundos. Se bloquearon el 0,002% de ellas, una de cada 47 mil.
• Cuánto se gasta en seguridad. En un relevamiento de una semana en julio, cerca del 6% de la computación de investigación fue a trabajo de seguridad. En la parte de la investigación conducida por la propia IA, la proporción se duplica, a cerca del 12%.

El tercer número es el que casi nadie comenta: cuanto más trabajo hace la IA sola, mayor es la porción del presupuesto que va a revisar ese trabajo.

La regla que está detrás: rapidez y reversibilidad

Anthropic no separa las acciones de los agentes por importancia. Las separa por dos preguntas, y cada combinación lleva a un tipo de revisión diferente.

¿El daño es rápido y no tiene vuelta atrás? Entonces la revisión viene antes. Es el papel del monitor en tiempo real, hecho para impedir lo que sucede en segundos y no se deshace — el ejemplo que da la propia empresa es que un agente copie los archivos del modelo fuera de los sistemas. La acción solo se ejecuta después de pasar por el filtro, y las personas revisan todo lo bloqueado en un plazo de hasta una semana.

¿El daño es lento y tiene vuelta atrás? Entonces la revisión viene después. Un segundo monitor lee toda la actividad ya ejecutada, buscando comportamientos que se desarrollan poco a poco. Lo que encuentra sirve para ajustar los filtros, y solo un problema grave e inminente haría que la empresa apagara parte del sistema.

Fíjate en lo que esto resuelve: nadie necesita aprobar mil millones de decisiones. La persona interviene donde el error no tiene arreglo, y el resto se audita.

El embudo que lleva solo lo esencial hasta una persona

El segundo monitor señala cerca de cien mil conversaciones de agentes por semana. Pasan por varios clasificadores automáticos, que descartan las falsas alarmas y resuelven la mayor parte. Llegan a un humano cerca de cincuenta por semana.

Ese diseño importa más que el tamaño. Un proceso que manda todo a revisión humana no es más seguro: es un proceso en el que la persona aprende a hacer clic en "aprobar" sin leer. La seguridad está en que la revisión humana sea lo bastante rara como para tomarse en serio.

Traduciendo esto para una empresa que no tiene treinta mil agentes

La regla funciona con un solo agente. Haz la lista de todo lo que el sistema puede hacer — responder, agendar, cobrar, publicar, borrar — y pasa cada acción por las dos preguntas:

1. Rápido y sin vuelta atrás — aprobación antes. Pagar, hacer un reembolso, borrar datos de un cliente, enviar un mensaje masivo, publicar en nombre de la marca, firmar o aceptar una condición comercial. El agente prepara; una persona libera.
2. Rápido, pero con vuelta atrás — el agente actúa y avisa. Reprogramar un horario, cambiar el estado de un pedido, responder una duda que tiene respuesta ya preparada. Necesita registro y una forma fácil de deshacerlo.
3. Lento y con vuelta atrás — funciona solo, con muestreo. Clasificar atenciones, resumir conversaciones, sugerir textos. Alguien lee una muestra cada semana, no cada elemento.
4. Lento y sin vuelta atrás — el caso más traicionero. Una información errónea que se repite durante semanas hasta volverse política, o un descuento que el agente empieza a ofrecer por su cuenta. No hay un momento de bloqueo; hace falta alguien midiendo el patrón, no la acción aislada.

La cuarta categoría es la que suele quedarse sin dueño. Y es justamente la que el monitor posterior fue creado para detectar.

Tres errores comunes al dejar que la IA actúe

• Darle al agente el permiso de la persona que lo configuró. Si quien montó el sistema puede borrar la base de clientes, el agente también puede. El permiso tiene que ser el de la tarea, no el del dueño.
• Bloquear sin que nadie revise el bloqueo. Un filtro que traba y que nadie mira se convierte en un proceso detenido. Anthropic fijó un plazo para esto: una semana.
• Medir solo si salió bien. Lo que hay que medir es cuántas veces el sistema fue detenido y por qué. Ese número dice más sobre el riesgo que cualquier tasa de acierto — y, cuando cae a cero, no es necesariamente buena noticia.

El caso de dos agentes que empiezan a conversar entre sí, y acuerdan cosas que ninguno de los dos debería, está en el texto sobre qué pasa cuando tienes más de un agente. Y el del agente que paga solo, en el de agentes autónomos en el comercio.

Lo que la propia Anthropic dice que estos números no muestran

La publicación trae sus propias salvedades, y valen para cualquier empresa que copie el modelo:

• Es difícil tener la certeza de que el monitoreo cubre todo tipo de comportamiento posible.
• El sistema opera desde hace meses, no años.
• La computación es un termómetro imperfecto del esfuerzo en seguridad, porque buena parte de ese trabajo es gente pensando, no máquinas funcionando — y las estimaciones se hicieron a propósito del lado conservador.

También es un retrato de quien construye IA, no de quien la usa. Pero la regla de las dos preguntas no depende de la escala: depende de que sepas qué puede deshacer cada acción de tu sistema. Para comparar con el otro extremo, OpenAI publicó en septiembre cuánto trabajo hacen de verdad sus agentes, y cuánto cuesta eso por día.

Cómo lo hacemos en la práctica

En la implementación de IA, la lista de acciones viene antes que el agente. Cada elemento queda marcado con la misma pregunta — si sale mal, ¿tiene vuelta atrás? — y es ella la que define qué funciona solo, qué espera a una persona y qué se revisa al final de la semana. Cambiar esto después de que el sistema ya está atendiendo clientes cuesta bastante más que decidirlo antes.

Fuentes

Anthropic Institute, "Measurements for understanding the pace of AI development inside frontier labs", de Marina Favaro y Phillie Wright, con los datos de agosto de 2026 sobre automatización de investigación, supervisión de agentes y computación dedicada a la seguridad.