Qué es la explicabilidad
Muchos modelos, sobre todo las redes neuronales profundas, funcionan como una caja negra: dan un resultado, pero no es evidente cómo han llegado a él. En decisiones que afectan a personas —un crédito, un proceso de selección, un diagnóstico— no basta con «lo dice el algoritmo».
Técnicas habituales
- Importancia de variables: qué datos pesaron más en la decisión.
- Explicaciones locales: por qué se decidió esto en este caso concreto.
- Modelos interpretables: usar modelos más simples cuando la transparencia es clave.
- En LLM: pedir el razonamiento y citar las fuentes usadas.
Ejemplo real
Un banco rechaza un préstamo con ayuda de un modelo de IA. Con explicabilidad, puede indicar al cliente que los factores principales fueron su nivel de endeudamiento y su historial de impagos, en lugar de un rechazo sin motivo. Eso permite al cliente reclamar y al banco demostrar que no discrimina.
Para qué te sirve en tu negocio
Si usas IA para decisiones que afectan a clientes o empleados, necesitas poder explicarlas. La Ley de IA de la UE exige transparencia y supervisión humana en los sistemas de alto riesgo.
Errores comunes
- Aceptar decisiones automáticas sin poder justificarlas.
- Dar explicaciones inventadas a posteriori.
- Pensar que la explicabilidad solo importa a los reguladores.
Preguntas frecuentes
¿Qué es una caja negra en IA?
Un sistema cuyo funcionamiento interno no se puede entender fácilmente.
¿Los LLM son explicables?
Solo en parte. Pueden mostrar su razonamiento, pero no siempre refleja su funcionamiento interno.
¿Es obligatoria?
En usos de alto riesgo, la normativa europea exige transparencia y supervisión.