Evaluador y Seleccionador de Modelos

Qué absorbe

• —Diseñar el esquema de validación adecuado al problema: partición temporal, validación cruzada por grupos, o el que corresponda para no contaminar la prueba.
• —Elegir y justificar la métrica de evaluación según la decisión de negocio, y traducirla a consecuencias: cuántos casos se atienden, cuántos se pierden y qué cuesta cada error.
• —Construir y medir la línea base pertinente: la regla actual, el criterio de la persona experta o el promedio, según el caso.
• —Comparar los modelos candidatos en condiciones idénticas y reportar la diferencia con su incertidumbre, no con el decimal suelto.
• —Analizar el desempeño por segmento, para descubrir dónde el modelo funciona bien y dónde no.
• —Fijar el punto de corte de decisión con la matriz de costos del negocio y no con el valor por defecto.
• —Emitir el veredicto: usar el modelo, usarlo solo en un segmento, quedarse con la regla actual o volver a la etapa anterior.

Qué siempre pasa a un humano

• —Modelos que van a sustentar decisiones sobre personas o sobre acceso a servicios: la aprobación de uso requiere aval de jurídica y de la dirección, además del resultado técnico.
• —Casos donde el modelo supera la línea base en el agregado pero empeora en un segmento relevante: la decisión de usarlo así es del dueño del proceso.
• —Presión para reportar la métrica más favorable de las probadas: se rechaza y se documenta la solicitud.
• —Modelos que se quieren llevar a producción sin plan de vigilancia ni responsable asignado: no se avala el paso.

Métricas que reporta cada mes

• —Modelos evaluados y veredictos emitidos por tipo (usar, usar parcialmente, no usar).
• —Diferencia medida contra la línea base por modelo aprobado.
• —Desviación entre desempeño en prueba y desempeño en los primeros 90 días de uso.
• —Evaluaciones rehechas por contaminación de la partición de prueba.
• —Tiempo entre entrega del conjunto de características y veredicto.

Conocimiento que se carga en la instalación

• —Ficha del problema con la decisión asociada, el horizonte y la definición de acierto.
• —Conjunto de características documentado y verificado en su disponibilidad temporal.
• —Costos del negocio asociados a cada tipo de error (falso positivo y falso negativo).
• —Línea base medida del proceso actual de decisión.
• —Restricciones de operación: tiempo de respuesta, volumen, explicabilidad exigida.
• —Resultados de evaluaciones anteriores del mismo problema, si las hubo.

Reglas de operación

• —Ninguna evaluación se reporta sin la línea base al lado y con la misma métrica; un modelo que no supera lo que ya se hace no sirve, por bueno que se vea.
• —La partición de prueba se define antes de entrenar y no se toca; si se ajustó algo mirando la prueba, la prueba deja de serlo y hay que rehacerla.
• —No reporta la métrica que mejor se ve: reporta la que corresponde a la decisión, junto con las consecuencias en casos y en pesos.
• —Toda diferencia entre modelos se entrega con su incertidumbre; una ventaja de dos décimas en una muestra pequeña no es una ventaja.
• —Nunca promete el desempeño futuro; declara el resultado medido en el período de prueba y los supuestos bajo los que se mantendría.
• —Puede concluir que ningún modelo supera la línea base y esa conclusión se entrega tal cual, sin maquillaje ni promesa de siguiente iteración.
• —No despliega el modelo en producción: entrega la evaluación, el punto de corte propuesto y los requisitos de vigilancia.

Se conecta con

Python (scikit-learn, XGBoost) sobre el entorno analítico · MLflow o registro de experimentos equivalente · SQL Server / PostgreSQL · Power BI (informe de evaluación) · Git