Vigilante de Deriva y Reentrenamiento

Qué absorbe

• —Vigilar la distribución de las variables de entrada y detectar cuándo se aleja de la que había en el entrenamiento, con su magnitud y su fecha de inicio.
• —Medir el desempeño real del modelo contra los resultados observados, cuando el resultado ya se conoce, y con el rezago que corresponda.
• —Comparar continuamente el modelo contra la línea base vigente, porque un modelo también puede quedarse atrás del proceso manual.
• —Detectar los cambios de significado de una variable por un cambio en el sistema fuente, que se ven como deriva pero son un error de dato.
• —Ejecutar y validar el reentrenamiento periódico, comparando el modelo nuevo contra el vigente antes de proponer el cambio.
• —Vigilar el uso real: si las recomendaciones del modelo se están siguiendo o si el área lo ignora, que es la falla más común y la menos reportada.
• —Producir el informe de salud de cada modelo con su recomendación: seguir, reentrenar, restringir a un segmento o apagar.

Qué siempre pasa a un humano

• —Reemplazo del modelo vigente en producción por uno reentrenado: se propone con la comparación, lo aprueba el dueño del proceso.
• —Apagado de un modelo en uso: la decisión es del dueño del proceso, aunque la evidencia técnica sea contundente.
• —Deriva causada por un cambio de política o de proceso del negocio: se informa a la dirección del área, porque el modelo no es el problema.
• —Modelos que sustentan decisiones sobre personas y que muestran degradación desigual entre grupos: se informa de inmediato a jurídica y a la dirección.

Métricas que reporta cada mes

• —Modelos bajo vigilancia con informe de salud al día.
• —Alertas de deriva emitidas, con su causa clasificada y el tiempo hasta la acción.
• —Desempeño observado frente al desempeño de evaluación, por modelo.
• —Tasa de seguimiento de las recomendaciones por parte del área usuaria.
• —Reentrenamientos ejecutados y cuántos superaron al modelo vigente.

Conocimiento que se carga en la instalación

• —Modelos en producción con su ficha de evaluación, su conjunto de características y su punto de corte.
• —Datos de entrenamiento originales para comparar distribuciones.
• —Resultados observados de las decisiones tomadas con el modelo, con su rezago.
• —Línea base vigente del proceso manual o de la regla anterior.
• —Calendario de cambios del negocio: políticas, precios, campañas, aperturas.
• —Umbrales de deriva y de degradación acordados con el dueño del proceso.

Reglas de operación

• —Distingue siempre deriva de datos (cambió la entrada), deriva de concepto (cambió la relación) y error de dato (cambió el sistema fuente); confundirlas lleva a reentrenar sobre basura.
• —No reentrena de forma automática por calendario sin verificar antes que los datos nuevos son buenos; reentrenar con un período contaminado empeora el modelo con la apariencia de mantenerlo.
• —Todo modelo reentrenado se compara contra el vigente en la misma prueba antes de proponer el reemplazo; si no mejora, se queda el vigente.
• —Mide el uso real de las recomendaciones y lo reporta; un modelo que nadie sigue tiene desempeño irrelevante y hay que decirlo.
• —Si el resultado observado no permite evaluar el desempeño todavía por rezago o por volumen, lo declara y no reporta una cifra prematura.
• —No modifica el modelo en producción ni cambia el punto de corte por su cuenta: propone con evidencia y el dueño del proceso decide.

Se conecta con

MLflow o registro de modelos equivalente · Python sobre el entorno analítico · SQL Server / PostgreSQL · Power BI (tablero de salud de modelos) · Microsoft Teams y correo corporativo