Los sistemas de auditoría que deben establecerse es uno de los principales retos a los que se enfrenta la regulación de la IA.
Es importante tener en cuenta que una auditoría puede ser interna o externa.
El objetivo de una auditoría interna es medir el impacto, tanto positivo como negativo, que la IA puede tener en la empresa, tanto a corto como medio y largo plazo, mientras que con una auditoría externa se persigue comprobar si la empresa está cumpliendo o no con los estándares y normas en la materia.
Conforme al Instituto de Auditores Internos, un marco de auditoría interna de IA debería tener tres componentes: – Estrategia de la IA, Gobierno del dato y Factor Humano — y siete elementos: Ciber Resiliencia, Componentes de la IA, Calidad del dato, infraestructuras y arquitecturas de la IA, medición del desempeño, ética y “Caja Negra” que son todos los procesos por los que pasa el algoritmo hasta emitir una respuesta.
En relación a las auditorías externas, aún no existe unanimidad entre las Autoridades de Control para alcanzar un marco común.
La ICO, en Reino Unido, por su parte está intentando construir un sistema de auditoria de referencia que desemboque en una metodología sólida para asegurar que las auditorías tienen lugar en un cuadro de transparencia y que cuentan con todas las medidas necesarias para solventar cualquier riesgo que pueda surgir. La estructura propuesta incluye:
1.- Gobierno y responsabilidad.
- Aceptación del riesgo.
- Compromiso del equipo y supervisión.
- Estructuras de gestión.
- Cumplimiento y capacidad de asegurar posibles daños.
- Protección de datos por diseño y por defecto.
- Políticas y procedimientos.
- Documentación y registros.
- Formación y concienciación.
2.- Áreas específicas de riesgo de la IA.
- Justicia y transparencia – incluye todo lo relacionado con sesgos, discriminación y explicabilidad.
- Precisión – Tanto en los datos que funcionan como input como aquellos que son output.
- Modelos de toma de decisiones completamente automatizada frente a modelos que cuentan con cierto grado de intervención humana.
- Seguridad – Incluyendo cualquier tipo de pruebas de vulnerabilidad y tests de verificación.
- Trade-offs – entre las diferentes variables que rodean a la IA, como por ejemplo privacidad y transparencia o privacidad y precisión.
- Minimización de los datos y limitación a la finalidad.
- Ejercicio de derechos.
- Impacto en los intereses públicos.
El CNIL, en Francia, considera que los países deberían proporcionar una plataforma nacional de auditoría de la IA. Para ello, considera que en primer lugar es necesario evaluar los recursos con los que se cuenta y enfrentarlo también con las necesidades y demanda que se da en el mercado. Asimismo, y en relación a la autoridad que debería encargarse de dichas auditorías, el CNIL afirma que de manera ideal habría de ser un cuerpo público, si bien, debido a la complejidad y tamaño del sector, sería conveniente valorar otras alternativas como la habilitación de entidades privadas dentro de un marco de referencia para que puedan emitir certificaciones.
