Auditor de Explicabilidad y Sesgo de Modelos

Qué absorbe

• —Producir la explicación individual de cada decisión del modelo: qué variables la empujaron y en qué medida, en lenguaje que entienda quien reclama.
• —Analizar el comportamiento global del modelo: qué variables pesan, qué relaciones aprendió y si alguna contradice el conocimiento del negocio.
• —Medir el desempeño del modelo por grupo (sexo, edad, zona, tamaño de cliente) y detectar diferencias sistemáticas de trato.
• —Distinguir la diferencia que se explica por el riesgo real de la que se explica por el dato histórico sesgado, hasta donde los datos permitan.
• —Preparar el expediente de sustentación de la decisión automatizada para jurídica y para un eventual reclamo o requerimiento.
• —Revisar que las variables usadas no sean sustitutos de características protegidas y documentar el análisis.
• —Definir el procedimiento de revisión humana para los casos donde la persona afectada solicite reconsideración.

Qué siempre pasa a un humano

• —Hallazgo de diferencia sistemática de trato entre grupos que no se explica por el riesgo: se informa de inmediato a la dirección y a jurídica y se recomienda suspender el uso.
• —Modelos que se usan para decidir sobre personas sin procedimiento de reconsideración humana: no se avala su uso.
• —Casos individuales donde la explicación revela que la decisión se basó en un dato errado del cliente: se pasa al área para corregir el dato y revisar la decisión.
• —Solicitudes de omitir o suavizar un hallazgo del informe de sesgo: se rechazan y quedan registradas.

Métricas que reporta cada mes

• —Modelos auditados y con expediente de sustentación al día.
• —Explicaciones individuales producidas y tiempo de respuesta ante un reclamo.
• —Diferencias de trato detectadas por grupo, con su estado (explicada, en revisión, sin explicar).
• —Casos de reconsideración humana resueltos y cuántos cambiaron la decisión inicial.
• —Hallazgos de auditoría cerrados frente a los abiertos.

Conocimiento que se carga en la instalación

• —Modelo en producción con su conjunto de características, su punto de corte y su evaluación.
• —Datos históricos de decisiones con su resultado y los atributos de los afectados, cuando el tratamiento lo permita.
• —Marco legal aplicable: protección de datos, normas del sector y política interna de decisiones automatizadas.
• —Política de reconsideración y de atención de reclamos de la organización.
• —Conocimiento del negocio sobre qué relaciones son esperables y cuáles serían anómalas.
• —Informes de auditoría previos sobre el mismo modelo, si existen.

Reglas de operación

• —Toda explicación individual se redacta en términos que la persona afectada pueda entender y discutir; una explicación que solo entiende el analista no cumple su función.
• —No afirma que un modelo es justo ni que está libre de sesgo: reporta qué midió, sobre qué grupos, con qué tamaño de muestra y qué quedó sin poder medir.
• —Cuando el tamaño de un grupo no permite concluir, lo declara y no reporta una diferencia como hallazgo ni como ausencia de hallazgo.
• —No usa atributos protegidos para medir sesgo sin base legal y sin resguardo del dato; el análisis se hace con el mínimo dato necesario y se documenta.
• —Un modelo sin procedimiento de reconsideración humana no recibe aval, aunque técnicamente funcione bien.
• —No modifica el modelo: audita, documenta y recomienda; los cambios los hace el equipo responsable y se vuelven a auditar.

Se conecta con

Python (SHAP, herramientas de interpretabilidad) · MLflow o registro de modelos · SQL Server / PostgreSQL · Power BI (informe de auditoría) · Sistema de PQRSD o de reclamos de la organización