Auditoría AI KAIRI
Auditoría independiente de Indicadores Clave de Riesgo de Inteligencia Artificial
La Auditoría KAIRI (Key Artificial Intelligence Risk Indicators) es una revisión independiente destinada a evaluar si una organización dispone de un sistema eficaz, medible, trazable y auditable para controlar los principales riesgos derivados del diseño, desarrollo, integración, despliegue y utilización de sistemas de inteligencia artificial.
La auditoría no pretende sustituir una validación matemática o técnica específica del modelo, sino determinar si la organización ha establecido un sistema de control del riesgo de IA que permita detectar desviaciones antes de que se materialicen en incidentes, incumplimientos o daños.
La auditoría busca obtener evidencia suficiente para responder, entre otras, a las siguientes cuestiones:
- ¿Conoce la organización todos los sistemas de IA que utiliza, desarrolla o comercializa?
- ¿Están clasificados por nivel de riesgo?
- ¿Existe un propietario nominal para cada sistema?
- ¿Se han identificado los riesgos relevantes asociados a cada sistema?
- ¿Existen indicadores KAIRI vinculados a dichos riesgos?
- ¿Los indicadores tienen métricas objetivas y reproducibles?
- ¿Los umbrales están justificados?
- ¿Existe un sistema de alertas y escalado?
- ¿Las alertas generan acciones reales?
- ¿Existe segregación entre desarrollo, validación y aprobación?
- ¿Se realizan pruebas de precisión?
- ¿Se realizan pruebas de robustez?
- ¿Se realizan pruebas de equidad?
- ¿Se evalúa la explicabilidad?
- ¿Existe trazabilidad suficiente para reconstruir una decisión?
- ¿Los modelos y conjuntos de datos están correctamente versionados?
- ¿Se gestionan formalmente las excepciones?
- ¿Existe evidencia de las decisiones adoptadas?
- ¿Los indicadores se revisan y recalibran?
- ¿Existe gobierno efectivo sobre el riesgo de IA?
Alcance del servicio de asesoramiento/auditoría
La Auditoría KAIRI podrá realizarse sobre:
Modalidad A — Sistema individual
Auditoría de un sistema, aplicación, modelo o funcionalidad concreta de inteligencia artificial.
Ejemplos:
- sistema predictivo;
- sistema de clasificación;
- scoring;
- recomendador;
- chatbot;
- RAG;
- agente de IA;
- aplicación basada en un LLM;
- sistema generativo;
- solución que incorpore modelos de terceros.
Modalidad B — Cartera de sistemas de IA
Auditoría del conjunto de sistemas de inteligencia artificial utilizados o desarrollados por una organización.
Además del análisis individual, se evaluarán riesgos transversales como:
- concentración tecnológica;
- dependencia de proveedores;
- concentración de conocimiento;
- reutilización de modelos;
- gobierno corporativo;
- gestión centralizada de indicadores;
- gestión de excepciones;
- Comité de IA.
Modalidad C — Auditoría KAIRI corporativa
Evaluación completa del sistema de gobierno y control de riesgos de IA de la organización.
Esta modalidad permite determinar el nivel de madurez KAIRI alcanzado por la empresa.
¿En qué consiste nuestro servicio?
Fase 1 — Inventario y clasificación
Identificación de los sistemas de IA existentes y conciliación del inventario declarado con otras fuentes de evidencia.
Cada sistema deberá disponer, como mínimo, de:
- identificación;
- finalidad;
- propietario;
- responsable técnico;
- modelo utilizado;
- proveedor;
- versión;
- datos utilizados;
- entorno;
- usuarios;
- criticidad;
- clasificación de riesgo;
- papel de la organización respecto del sistema.
Fase 2 — Identificación de riesgos
Se revisará el registro de riesgos asociado a cada sistema de IA.
El auditor verificará especialmente que los indicadores no hayan sido seleccionados simplemente porque una herramienta permite obtenerlos fácilmente.
Cada KAIRI deberá responder a un riesgo identificable.
Fase 3 — Evaluación de los indicadores
Se determinarán los indicadores aplicables dentro del catálogo KAIRI.
La auditoría podrá analizar hasta 44 indicadores, distribuidos entre las dimensiones:
S — Sostenibilidad y robustez
Evaluación de deriva, robustez, estabilidad, dependencia tecnológica, sostenibilidad operativa y capacidad de recuperación.
A — Precisión
Evaluación del rendimiento, degradación, calibración, errores y comportamiento del sistema sobre distintas poblaciones o tipos de entrada.
F — Equidad
Evaluación de diferencias entre grupos, impacto dispar, concentración de errores y dependencia de atributos sensibles o variables indirectas.
E — Explicabilidad
Evaluación de la capacidad de comprender, justificar y reconstruir las decisiones y resultados producidos por el sistema.
Ofrecemos
Resultados clave:
Para cada indicador seleccionado se comprobará que existe una ficha suficientemente documentada.
Como mínimo se revisará:
- código del indicador;
- riesgo asociado;
- definición;
- fórmula o método de cálculo;
- fuente del dato;
- frecuencia;
- umbrales;
- prueba estadística, cuando proceda;
- propietario;
- acción ante ruptura;
- evidencia conservada.
El auditor verificará además que el indicador sea:
Vinculado a riesgo · Medible · Anticipativo · Defendible · Asignado · Accionable · Resistente a manipulación.
