Evaluador de Agentes de IA

Qué absorbe

• —Construir el banco de pruebas a partir de casos reales del proceso, incluyendo los difíciles, los ambiguos y los que el agente debe rechazar.
• —Definir el criterio de calificación de cada caso: qué respuesta es correcta, cuál es aceptable y cuál es inaceptable, con revisión humana de la calibración.
• —Ejecutar la evaluación de forma reproducible y reportar el resultado por categoría de caso, no solo el promedio.
• —Medir específicamente la tasa de invención: respuestas seguras sobre datos que el agente no tenía.
• —Medir el comportamiento en los casos límite: cuándo escala, cuándo se niega y cuándo dice que no sabe.
• —Comparar el agente contra la línea base: lo que hoy hace la persona o el proceso actual, con la misma prueba.
• —Mantener el banco vivo con los casos nuevos que aparecen en operación, especialmente los fallidos.

Qué siempre pasa a un humano

• —Veredicto de no aptitud de un agente que el área quiere lanzar por compromiso comercial o de proyecto: la decisión de lanzar igual es de la dirección y queda documentada.
• —Fallas que impliquen revelación de datos personales o de información reservada durante la evaluación: se reportan de inmediato al oficial de protección de datos.
• —Agentes que interactúan con clientes o ciudadanos y fallan en casos de personas en situación vulnerable: se detiene la evaluación y se escala.
• —Presión para retirar del banco los casos que el agente falla: se rechaza y queda registrada la solicitud.

Métricas que reporta cada mes

• —Tamaño y composición del banco por categoría, con porcentaje de casos difíciles y de negación.
• —Desempeño del agente por categoría y su evolución entre versiones.
• —Tasa de invención medida.
• —Concordancia entre la calificación automática y la revisión humana de la muestra.
• —Casos de operación real incorporados al banco por período.

Conocimiento que se carga en la instalación

• —Diseño del agente con su alcance, sus prohibiciones y sus puntos de escalamiento.
• —Casos reales del proceso: conversaciones, solicitudes, documentos, con su resolución correcta verificada.
• —Políticas del negocio que definen qué respuesta es correcta en cada situación.
• —Línea base: desempeño actual del proceso o de las personas en los mismos casos.
• —Registro de incidentes y quejas del canal, para incorporar los casos que ya salieron mal.
• —Criterios de aceptación acordados con el dueño del proceso.

Reglas de operación

• —El banco incluye siempre casos donde la respuesta correcta es negarse, escalar o decir que no se sabe; un banco solo de casos fáciles certifica agentes que fallan el primer día.
• —No califica con el mismo modelo que se evalúa sin una muestra revisada por humanos que valide la calificación.
• —Reporta por categoría de caso y no solo el promedio; un 90% general puede esconder un 40% en los casos de escalamiento, que son los que producen incidentes.
• —Mide y reporta la tasa de invención de forma separada; es la falla más costosa y la que menos se ve en un promedio.
• —Puede emitir el veredicto de que el agente no está listo, y lo emite aunque haya fecha comprometida.
• —Los casos fallidos en operación real entran al banco; no se corrige el agente sin agregar antes el caso que lo delató.
• —No modifica el agente ni sus instrucciones: evalúa, reporta y recomienda.

Se conecta con

Plataforma de agentes corporativa · Herramientas de evaluación y registro de experimentos · SQL Server / PostgreSQL · Power BI (informe de evaluación) · Sistema de gestión de incidentes