AgentOps
Cuando los agentes actúen, ¿quién observará a los agentes?
Durante mucho tiempo, observar un sistema significó seguir señales relativamente conocidas. Disponibilidad, latencia, errores, consumo de recursos, logs, métricas y trazas ayudan a los equipos a entender si una aplicación está funcionando, dónde hay una degradación y qué ocurrió antes de una falla.
Los agentes de inteligencia artificial añaden una dificultad distinta a este problema. No solo procesan una entrada y devuelven una salida previsible. Pueden interpretar una situación, consultar diferentes fuentes, elegir herramientas, ejecutar una secuencia variable de pasos, interactuar con otros agentes y, según la autonomía recibida, realizar acciones sobre sistemas reales.
En este entorno, saber que el agente está disponible es apenas el comienzo.
Puede estar respondiendo dentro del tiempo esperado y sin ningún error de infraestructura, pero eligiendo una herramienta inadecuada, repitiendo llamadas innecesarias, siguiendo un camino distinto del esperado o produciendo resultados que empiezan a perder calidad. Cuando varios agentes participan en un mismo proceso, la dificultad aumenta porque una decisión tomada en un punto puede alterar el comportamiento de otros componentes más adelante.
Por eso la observabilidad comienza a asumir un papel distinto en el recorrido de la IA agéntica. No se trata solo de saber si el agente está funcionando, sino de poder comprender qué hizo, por qué recorrió determinado camino y qué ocurrió como consecuencia.
Una traza deja de mostrar solo sistemas y pasa a mostrar decisiones
En aplicaciones tradicionales, el tracing se utiliza para reconstruir el camino recorrido por una solicitud entre distintos componentes. Esa capacidad sigue siendo necesaria en sistemas agénticos, pero lo que hay que reconstruir cambia.
Una sola interacción puede involucrar varias llamadas a un modelo, consultas a fuentes externas, recuperación de contexto, uso de herramientas, intentos adicionales y comunicación con otros agentes. La respuesta final es apenas el último punto de esa trayectoria.
El trabajo que viene desarrollando OpenTelemetry (OTel) ayuda a mostrar cómo empieza a estructurarse esta nueva capa. OpenTelemetry es un proyecto open source de la Cloud Native Computing Foundation (CNCF) que establece estándares y herramientas para generar, recolectar y exportar telemetría, como trazas, métricas y logs, permitiendo observar sistemas de forma consistente independientemente de las tecnologías utilizadas [1].
Las convenciones semánticas para IA generativa permiten registrar información como el modelo utilizado, el consumo de tokens y las operaciones relacionadas con agentes y herramientas. En una ejecución instrumentada, la traza puede representar la invocación del agente y, debajo de ella, las llamadas al modelo y a las herramientas utilizadas durante el proceso [1][2].
Esto cambia bastante la capacidad de investigación.
Si un agente tardó demasiado en concluir una tarea, podemos necesitar descubrir si el problema ocurrió en una llamada al modelo, en una API externa o porque entró en una secuencia innecesaria de intentos. Si tomó una decisión inadecuada, quizás sea necesario reconstruir qué información recibió, qué herramientas estaban disponibles y qué camino recorrió hasta llegar a esa acción.
Observar un agente no es solo saber si respondió. Es poder reconstruir el camino que transformó contexto en decisión y decisión en acción.
Este tipo de visibilidad se vuelve aún más importante porque los agentes no se comportan exactamente como software determinístico. Microsoft llama la atención sobre esta diferencia al observar que el mismo prompt puede llevar a rutas distintas de herramientas a medida que cambian modelos, prompts y otras condiciones. Por eso, su enfoque de observabilidad para agentes combina tracing, evaluación, monitoreo y optimización, acompañando desde llamadas a modelos y herramientas hasta interacciones entre agentes [3].
La consecuencia es que trazas, métricas y logs siguen siendo fundamentales, pero pasan a contar solo una parte de la historia.
Un agente puede estar funcionando y aun así estar equivocado
Esta quizás sea una de las diferencias más importantes entre observar aplicaciones tradicionales y observar sistemas basados en agentes.
Una API que responde correctamente dentro de sus parámetros técnicos normalmente ofrece señales relativamente objetivas de funcionamiento. Para un agente, la salud técnica y la calidad del comportamiento no son necesariamente lo mismo.
Puede permanecer disponible, presentar buena latencia y consumir recursos dentro de lo esperado mientras se deteriora su capacidad de completar determinada tarea. Puede seleccionar herramientas incorrectas con mayor frecuencia, producir respuestas aparentemente plausibles que no resuelven el problema o empezar a utilizar caminos más caros para llegar al mismo resultado.
Por eso, observabilidad y evaluación comienzan a acercarse.
OpenTelemetry destaca que, debido a la naturaleza no determinística de los agentes, la telemetría no sirve solo para diagnóstico. También puede alimentar mecanismos de evaluación y mejora continua [1]. Microsoft sigue una dirección similar al combinar las trazas de las ejecuciones con evaluaciones de calidad, seguridad y conclusión de las tareas [3].
En sistemas agénticos, estar disponible no significa necesariamente estar comportándose correctamente.
Esta diferencia tiene implicaciones prácticas importantes. Una operación madura necesitará seguir señales técnicas, pero también criterios ligados al resultado. ¿El agente concluyó la tarea? ¿Utilizó las herramientas adecuadas? ¿Respetó las políticas definidas? ¿La acción produjo el efecto esperado? ¿Hubo necesidad de intervención humana? ¿El comportamiento está cambiando con el tiempo?
No todas estas preguntas serán respondidas por métricas tradicionales.
Tampoco habrá una única métrica universal para todos los agentes. Un agente de atención tendrá criterios de calidad distintos de los de un agente que investiga incidentes, así como un agente que solo recomienda una acción podrá evaluarse de manera distinta a uno autorizado para ejecutarla.
La observabilidad deberá, por lo tanto, llevar también el contexto de lo que ese agente debía hacer.
Cuando varios agentes trabajan juntos, el problema deja de ser individual
La dificultad crece nuevamente cuando pasamos de un agente a sistemas multiagente.
Imagine que un primer agente recibe un evento, otro reúne información adicional, un tercero evalúa posibles causas y un cuarto ejecuta o recomienda una acción. Si el resultado final es incorrecto, ¿en qué punto ocurrió el problema?
Quizás ningún agente haya fallado de forma aislada.
El primero puede haber interpretado correctamente el evento, pero transmitido contexto incompleto. El segundo puede haber encontrado información válida, pero insuficiente. El tercero puede haber tomado una decisión razonable con base en lo que recibió, mientras que el cuarto ejecutó exactamente la acción solicitada. Cada componente, observado por separado, puede parecer correcto aunque el resultado del sistema sea incorrecto.
Esta característica llevó a investigadores de IBM a argumentar que los sistemas agénticos pueden presentar comportamientos que no se comprenden solo analizando los agentes individualmente. En un trabajo presentado en AAAI 2026, conferencia internacional promovida por la Association for the Advancement of Artificial Intelligence y una de las principales referencias académicas del área de inteligencia artificial, los autores defienden la importancia de capas de observabilidad capaces de acompañar tanto las interacciones entre agentes como las relaciones entre agentes y el entorno en que actúan [4].
Cuanto más distribuida esté la inteligencia entre agentes, más importante será observar las relaciones entre ellos, y no solo cada agente por separado.
Este cambio recuerda un problema conocido en sistemas distribuidos. Durante muchos años, monitorear individualmente servidores o aplicaciones dejó de ser suficiente porque el comportamiento relevante surgía de las dependencias entre componentes. Fue necesario desarrollar mejores formas de reconstruir transacciones, relaciones y causas a través del entorno.
Con los agentes, algo semejante puede ocurrir, pero ahora existe una capa adicional: además de las dependencias técnicas, necesitamos comprender transferencias de contexto, decisiones, delegaciones y acciones.
No basta saber que el agente A llamó al agente B. En determinadas situaciones, será necesario entender qué se transfirió entre ellos y cómo eso influyó en lo que ocurrió después.
La observabilidad también será una forma de gobernanza
Cuando los agentes solo recomiendan acciones, una decisión inadecuada puede percibirse antes de producir consecuencias. A medida que reciben permiso para ejecutar tareas, el intervalo entre decisión e impacto disminuye.
Un agente puede abrir un ticket, consultar datos corporativos, modificar una configuración, iniciar un workflow, activar otro sistema o solicitar la actuación de otro agente. Cuanto mayor la autonomía, mayor la importancia de mantener un registro que permita reconstruir lo ocurrido.
Ese registro no sirve solo para troubleshooting. Pasa a formar parte de la propia gobernanza.
Será necesario saber qué agente realizó determinada acción, bajo qué versión, con qué permisos, utilizando qué información y herramientas y, cuando corresponda, quién autorizó la ejecución. Dependiendo del proceso, también será importante registrar cuándo hubo intervención humana o cuándo el agente decidió transferir la situación a una persona.
IBM describe la observabilidad de IA como la capacidad de comprender modelos y sistemas basados en IA a partir de telemetría específica, incluyendo elementos como uso de tokens, calidad de las respuestas y model drift [5]. En entornos agénticos, esa visibilidad se amplía a las interacciones de los agentes con APIs, servicios y otros componentes del proceso.
A medida que los agentes ganan autonomía, la observabilidad deja de ser solo una herramienta de diagnóstico y pasa a ser también un mecanismo de control y rendición de cuentas.
Esto no significa registrar indiscriminadamente todo lo que pasa por un agente. Los prompts, las respuestas, los argumentos de herramientas y los datos utilizados durante una ejecución pueden contener información sensible. La propia documentación de OpenTelemetry prevé que determinados contenidos se registren solo cuando esa captura esté habilitada [2].
La observabilidad también debe ser gobernada.
La organización tendrá que decidir qué registrar, por cuánto tiempo almacenarlo, quién puede consultarlo y cómo proteger esa telemetría. El objetivo no es crear una reproducción irrestricta de todo lo que los agentes vieron, sino garantizar evidencias suficientes para comprender y gobernar su comportamiento.
Observar agentes será parte de la infraestructura de la confianza
En los artículos anteriores de esta serie, discutimos el paso de los agentes a producción.
La necesidad de AgentOps también quedó clara en ese recorrido.
Vimos además el rediseño de los procesos para que personas, sistemas, automatizaciones y agentes puedan trabajar juntos.
La observabilidad conecta estos temas.
No es posible operar adecuadamente aquello que no logramos comprender. También es difícil aumentar la autonomía de un agente cuando no tenemos condiciones de reconstruir su comportamiento después de que ocurre algo inesperado.
Por eso, la observabilidad de agentes no debería surgir solo como reacción a los primeros incidentes. Debe formar parte de la arquitectura desde el momento en que estos sistemas empiezan a participar en procesos relevantes.
Esto incluye instrumentación, trazas, métricas y logs, pero también evaluación de calidad, seguimiento de las acciones, identificación de los agentes, relaciones entre componentes y capacidad de conectar lo que el agente hizo con lo que ocurrió en el entorno.
La discusión no elimina la observabilidad que ya conocemos. Al contrario, la vuelve aún más necesaria.
Un agente no actúa en el vacío. Depende de modelos, APIs, bases de datos, aplicaciones, redes, servicios e información producida por otros sistemas. Cuando una acción falla, puede ser necesario entender simultáneamente el comportamiento del agente y el estado del entorno en el que operaba.
La confianza para ampliar la autonomía de los agentes dependerá, en buena medida, de nuestra capacidad de ver lo que están haciendo cuando nadie los está mirando directamente.
Quizás este sea uno de los cambios más relevantes que la IA agéntica trae a la observabilidad. Hasta ahora, observábamos principalmente sistemas para ayudar a las personas a decidir. En un entorno con agentes, tendremos que observar también las inteligencias que empiezan a participar en esas decisiones.
De la visión a la práctica: ARGUS
Cuando los agentes de IA pasan a ejecutar actividades relevantes para la operación, observarlos exige comprender más que su funcionamiento interno. Es necesario seguir las herramientas que utilizaron, las decisiones que tomaron, los errores encontrados, los recursos consumidos y los resultados producidos.
Esta es una de las dimensiones de la propuesta de AgentOps de ARGUS, que busca ofrecer visibilidad y mecanismos de gobernanza sobre la actuación de los agentes. Pero existe una segunda dimensión igualmente importante: comprender el entorno en que ocurrieron esas acciones.
Con sus capacidades de AIOps, ARGUS correlaciona información proveniente de infraestructura, aplicaciones, servicios y herramientas operacionales. La conexión entre estas dos perspectivas permite relacionar el comportamiento de los agentes con el contexto de la operación, ofreciendo una base más completa para investigación, supervisión y auditoría.
La diferencia es relevante: identificar que un agente ejecutó determinada acción no significa, necesariamente, comprender por qué ocurrió o cuáles fueron sus consecuencias. Para eso, necesitamos observar tanto al agente como a la operación en la que actúa.
Conozca ARGUS y vea cómo funciona en la práctica.
Sobre el autor
Paulo Florêncio de Menezes es emprendedor, socio y cofundador de empresas como Target Solutions, BiPTT y ARGUS.
Es graduado en Procesamiento de Datos por la Universidad Federal de Amazonas (UFAM), tiene MBA en Gestión Empresarial por la Fundación Dom Cabral (FDC) y Máster Profesional en Economía por la Fundación Getulio Vargas (FGV).
En su investigación de máster desarrolló el IBEOP-IA (Índice Brasileño de Exposición Ocupacional Potencial a la Inteligencia Artificial), investigando la exposición potencial de las ocupaciones brasileñas a las capacidades de la IA mediante la combinación de datos ocupacionales, patentes de inteligencia artificial y técnicas de procesamiento de lenguaje natural.
Referencias
[1] OpenTelemetry. AI Agent Observability – Evolving Standards and Best Practices. 2025.
[2] OpenTelemetry. Inside the LLM Call: GenAI Observability with OpenTelemetry. 2026.
[3] Microsoft. From observability to ROI for AI agents on any framework. Microsoft Build 2026.
[4] IBM Research. Formalizing Observability in Agentic AI Systems. AAAI 2026.
[5] IBM. What is AI Observability? 2026.