Cómo medir un sistema de IA (y por qué las métricas no te dicen qué falla)

"¿Qué tan bien funciona?" parece una pregunta fácil, y con un sistema de IA casi nunca lo es. Una demo puede impresionar con diez preguntas bien escogidas y fallar con la pregunta once, la que hace un usuario real un martes por la mañana.

Medir bien un sistema de IA es lo que separa un piloto de algo que tu empresa puede usar con confianza. Y medir bien tiene dos partes: saber cuánto falla y saber por qué.

Empieza por definir qué es "funcionar"

Antes de escoger métricas, define el éxito en términos de negocio. Para un asistente que responde preguntas sobre políticas internas, funcionar puede significar "responde correctamente, cita el documento de donde sacó la respuesta y dice 'no sé' cuando la información no existe".

Esa definición determina qué mides. Si no la escribes, terminas midiendo lo que es fácil de medir en lugar de lo que importa.

Arma un conjunto de evaluación

Un conjunto de evaluación es una lista de casos con la respuesta esperada para cada uno. Es la herramienta más importante para medir un sistema de IA, y debe construirse con quienes conocen el trabajo.

Un buen conjunto de evaluación:

• Sale de casos reales: preguntas que la gente hace de verdad, documentos que de verdad llegan.
• Incluye casos difíciles: preguntas ambiguas, documentos mal escaneados, información que no existe, excepciones.
• Tiene respuestas validadas por expertos: alguien del área confirma qué es una respuesta correcta.
• Crece con el tiempo: cada error que aparece en producción se convierte en un nuevo caso.

Con ese conjunto puedes comparar versiones: si cambias el modelo, las instrucciones o la forma de buscar información, sabes si el sistema mejoró o empeoró.

Qué medir según el tipo de sistema

Tipo de sistema	Qué medir
Clasificación (asignar categorías, detectar riesgo)	Cuántas veces acierta, y por separado: cuántos casos marca por error (falsos positivos) y cuántos se le escapan (falsos negativos)
Extracción (leer facturas, formularios)	Porcentaje de campos extraídos correctamente, por tipo de campo
Respuestas sobre documentos	Si la respuesta es correcta, si se basa en las fuentes, si cita bien y si reconoce cuando no sabe
Agentes que ejecutan acciones	Si completa la tarea, en cuántos pasos y cuántas veces necesita intervención humana

A eso súmale métricas de operación, que importan tanto como la calidad: el tiempo de respuesta, el costo por consulta y cuántos casos termina resolviendo una persona.

Para las respuestas en texto libre se usan con frecuencia otros modelos de IA como evaluadores, porque revisar miles de respuestas a mano no escala. Funciona, siempre que verifiques una muestra a mano para confirmar que el evaluador califica como lo haría un experto.

Lo que una métrica no te dice

Supón que tu sistema responde bien en el 80 % de los casos del conjunto de evaluación. Ese número te dice dónde estás, pero no qué hacer para mejorar. El 20 % restante puede deberse a causas completamente distintas:

• Los datos de entrada: el documento estaba mal escaneado o la información estaba desactualizada.
• La búsqueda: la respuesta existía, pero el sistema no encontró el documento correcto.
• Las instrucciones: el sistema encontró la información, pero no siguió el formato o las reglas esperadas.
• El modelo: tenía todo lo necesario y aun así razonó mal.
• La pregunta: era ambigua y había más de una respuesta razonable.

Cada causa tiene un arreglo distinto. Cambiar a un modelo más potente no arregla una búsqueda que trae el documento equivocado; reescribir las instrucciones no arregla datos desactualizados.

Análisis de errores: leer los fallos uno por uno

La forma de encontrar las causas es poco glamorosa y muy efectiva: tomar los casos que fallaron y revisarlos uno por uno.

1. Reúne los fallos del conjunto de evaluación y de producción.
2. Lee cada caso completo: la entrada, lo que el sistema buscó, lo que encontró y lo que respondió.
3. Anota la causa de cada fallo con categorías como las de arriba.
4. Cuenta: cuántos fallos tiene cada causa.
5. Arregla la causa más frecuente primero, vuelve a medir y repite.

Después de revisar unas decenas de casos, casi siempre aparece un patrón. Y con frecuencia la mayoría de los errores se concentra en una o dos causas, lo que convierte un problema difuso ("el sistema falla a veces") en una tarea concreta.

Medir no termina en el lanzamiento

Un sistema de IA que funciona hoy puede empeorar sin que nadie toque el código: cambian los documentos, aparecen nuevos tipos de preguntas o el proveedor actualiza el modelo. Por eso la evaluación debe repetirse con cada cambio y el sistema debe monitorearse en producción, con una forma sencilla para que los usuarios reporten respuestas malas.

En resumen

Para medir un sistema de IA, define primero qué es funcionar, construye un conjunto de evaluación con casos reales y escoge métricas según el tipo de sistema. Luego no te quedes en el número: lee los errores, clasifica sus causas y arregla la más frecuente. Las métricas te dicen si vas mejorando; el análisis de errores te dice qué hacer para mejorar.