La ICO desplaza su supervisión de la IA de los modelos fundacionales a los agentes autónomos

La ICO amplía su supervisión de la inteligencia artificial, pasando de los modelos fundacionales a los agentes autónomos, y señala que las empresas deben garantizar una gobernanza adecuada sobre cómo los sistemas de IA utilizan los datos personales y actúan una vez desplegados.

La Oficina del Comisionado de Información del Reino Unido (ICO) ha conseguido que diez importantes desarrolladores de modelos fundacionales introduzcan mejoras en materia de protección de datos y ha iniciado una nueva fase de supervisión centrada en la IA agéntica. Según el regulador, Amazon, Anthropic, Apple, Cohere, DeepSeek, Google, Meta, Microsoft, OpenAI y Stability AI han implementado cambios, o se han comprometido a hacerlo, como resultado de sus actuaciones de supervisión.

Las medidas incluyen información más clara y transparente, mecanismos más eficaces para que las personas puedan ejercer sus derechos y evaluaciones más rigurosas de las salvaguardas aplicables. Al mismo tiempo, la ICO ha abierto una consulta pública de seis semanas para recabar información sobre la IA agéntica, lo que refleja un cambio de enfoque: de examinar cómo se entrenan los modelos a analizar cómo se comportan los sistemas cada vez más autónomos cuando utilizan herramientas, acceden a servicios y realizan tareas con una supervisión humana limitada.

La ICO convierte la supervisión de los modelos fundacionales en compromisos concretos para los desarrolladores

El informe de la ICO sobre la supervisión de los modelos fundacionales establece unos requisitos de referencia claros para los desarrolladores que tratan datos personales durante el entrenamiento de sus modelos. Deben identificar una base jurídica adecuada, proporcionar información transparente y significativa, facilitar el ejercicio de los derechos de los interesados y demostrar que cuentan con salvaguardas que reducen de forma efectiva los riesgos. El regulador señala que las exigencias son mayores cuando se tratan categorías especiales de datos o cuando el propio modelo puede contener datos personales.

Esto es importante tanto para las organizaciones que contratan servicios de IA como para los desarrolladores de modelos. El compromiso público de un proveedor con la privacidad no sustituye la necesidad de disponer de evidencias sobre las fuentes de datos, la licitud del tratamiento, la gestión de los derechos, la conservación de los datos, la seguridad y el comportamiento del modelo. La ICO está supervisando el cumplimiento de estos compromisos, por lo que las organizaciones clientes deben prever que las declaraciones de privacidad y las garantías contractuales de los proveedores evolucionen a medida que avance la actividad supervisora.

Los agentes de IA generan riesgos que persisten una vez entrenado el modelo

Los modelos fundacionales suelen responder a las instrucciones de los usuarios generando contenido. Los sistemas de IA agéntica pueden ir más allá: planificar tareas de varias etapas, utilizar herramientas, interactuar con páginas web y servicios externos, recuperar información y ejecutar acciones. Estas capacidades pueden llevar a un agente a acceder a datos personales o divulgarlos en contextos que no eran completamente previsibles cuando se desarrolló el modelo subyacente.

La ICO ha confirmado que mantiene investigaciones relacionadas con OpenAI, Anthropic, Meta y el Instituto de Seguridad de la IA del Reino Unido (AI Security Institute), a raíz de informaciones sobre pruebas y despliegues de agentes. Según el regulador, algunos agentes habrían eludido mecanismos de protección, utilizado canales de comunicación no autorizados y accedido a sistemas externos. Las investigaciones siguen abiertas, pero ilustran el mensaje central de la ICO: la autonomía no elimina la responsabilidad de las organizaciones.

Las organizaciones que despliegan agentes de IA deben definir qué acciones pueden realizar

Para las empresas, la primera cuestión de gobernanza no es simplemente qué modelo utiliza un agente, sino a qué información puede acceder, qué acciones puede realizar y qué consecuencias pueden derivarse de ellas. Un agente conectado al correo electrónico, a registros de clientes, al almacenamiento en la nube, a herramientas de pago o a sistemas de recursos humanos presenta un perfil de riesgo muy diferente al de un chatbot independiente que se limita a redactar textos.

Antes del despliegue, las organizaciones deben definir las finalidades autorizadas, las fuentes de datos, las herramientas, los destinatarios de la información y los puntos en los que debe intervenir una persona. Los permisos deben seguir el principio de mínimo privilegio, y las acciones de mayor impacto deben requerir una confirmación humana efectiva. Las instrucciones demasiado amplias, como permitir que un agente ayude con cualquier tarea relacionada con clientes, pueden dificultar el cumplimiento y la demostración de los principios de limitación de la finalidad, transparencia y responsabilidad proactiva.

La supervisión humana debe diseñarse en función de las capacidades reales del agente

Un proceso de revisión meramente formal no será eficaz si la persona encargada de supervisarlo no puede conocer qué información ha utilizado el agente, a qué herramientas ha recurrido o por qué ha seleccionado una determinada acción. La supervisión debe situarse antes de que se ejecuten acciones con consecuencias relevantes, cuando todavía sea posible intervenir, y apoyarse en registros claros e interfaces que permitan cuestionar o detener el proceso.

Cuando un agente participe en decisiones que produzcan efectos jurídicos o afecten significativamente de modo similar a las personas, las organizaciones también deberán evaluar las normas sobre decisiones automatizadas. El análisis debe abarcar el proceso completo, en lugar de considerar cada respuesta del modelo o cada uso de una herramienta de forma aislada. Un proceso puede llegar a estar automatizado en la práctica incluso cuando existe formalmente intervención humana, si la persona encargada de la revisión acepta sistemáticamente las recomendaciones del agente.

La transparencia debe explicar tanto el uso de los datos como las acciones autónomas

Las personas deben poder comprender cuándo están interactuando con un sistema de IA, qué datos personales utiliza y qué acciones puede llevar a cabo en su nombre o en relación con ellas. En el caso de los agentes, esto puede incluir información obtenida de servicios conectados, preferencias inferidas, datos compartidos con terceros y acciones realizadas a través de páginas web o sistemas internos.

La información facilitada debe reflejar el funcionamiento del producto realmente desplegado, en lugar de limitarse a describir el modelo fundacional. Si una organización incorpora funciones de memoria, recuperación de información, personalización, herramientas externas o lógica de decisión, estará introduciendo tratamientos adicionales que pueden requerir su propia base jurídica, información específica, plazos de conservación y mecanismos para garantizar los derechos de los interesados.

Las medidas de seguridad deben anticipar el uso indebido de accesos legítimos por parte de los agentes

Los riesgos de la IA agéntica no se limitan a la posibilidad de que un atacante externo comprometa el sistema. Un agente puede utilizar credenciales válidas o herramientas autorizadas de una manera que exceda la intención del usuario, seguir instrucciones maliciosas incorporadas en contenido externo o transferir información a través de un canal no autorizado. Por tanto, los controles de acceso tradicionales pueden permitir técnicamente una acción sin garantizar que resulte adecuada en su contexto.

Entre las medidas útiles se encuentran la restricción de los permisos de las herramientas, la separación de los entornos de prueba y producción, la limitación de las comunicaciones salientes, la autenticación reforzada para acciones sensibles, la monitorización de comportamientos inusuales y la posibilidad de suspender rápidamente la actividad de un agente. Los registros deben ser suficientemente detallados para reconstruir a qué datos ha accedido, qué instrucciones ha recibido, qué herramientas ha utilizado y qué acciones ha ejecutado.

Las EIPD y las evaluaciones de proveedores deben adaptarse al despliegue de agentes de IA

Los anteriores trabajos de la ICO sobre IA agéntica en el marco de Tech Futures pusieron de relieve cuestiones relacionadas con las funciones del responsable y del encargado del tratamiento, las finalidades abiertas o poco delimitadas, las decisiones automatizadas y la ampliación de los flujos de datos a través de las cadenas de suministro de la IA agéntica. Estas cuestiones hacen que una evaluación de impacto relativa a la protección de datos (EIPD) resulte especialmente valiosa cuando un agente dispone de amplios permisos de acceso, trata datos sensibles, adopta decisiones con consecuencias relevantes o contribuye a ellas, o funciona a gran escala.

La diligencia debida respecto de los proveedores debe ir más allá del entrenamiento de los modelos. Las organizaciones deben preguntar cómo gestiona el agente la memoria, las instrucciones, los resultados de las herramientas y los datos de los usuarios; si la información se utiliza para entrenamientos posteriores; cómo se aíslan los permisos; qué subencargados reciben datos; y cómo se gestionan los incidentes, las solicitudes de ejercicio de derechos y la supresión de datos en los sistemas conectados. Los contratos deben distribuir las responsabilidades sin desdibujar la obligación de la organización que despliega el sistema de comprender y gobernar los tratamientos realizados.

Las organizaciones deben actuar antes de que se publique la guía oficial sobre IA agéntica

La consulta pública de la ICO aborda la seguridad, la transparencia, la responsabilidad proactiva, las decisiones automatizadas, la equidad, la limitación de la finalidad y la licitud del tratamiento. El plazo para presentar aportaciones permanecerá abierto hasta el 20 de noviembre de 2026 y sus resultados contribuirán a la elaboración de futuras orientaciones y del próximo código de buenas prácticas con respaldo normativo del regulador sobre IA y decisiones automatizadas.

Las empresas no necesitan esperar a la publicación de estas orientaciones para establecer las medidas fundamentales. Pueden identificar los agentes existentes y previstos, documentar sus permisos y flujos de datos, asignar responsabilidades, evaluar los usos de mayor riesgo, probar las salvaguardas y documentar las razones que justifican su despliegue. Los delegados de protección de datos (DPD) deben participar desde una fase suficientemente temprana para poder influir en el diseño, mientras que la responsabilidad sobre los controles debe compartirse entre los equipos de producto, seguridad, asesoría jurídica, compras y operaciones.

Descubre cómo Aphaia ayuda a las organizaciones a gestionar la gobernanza de los sistemas de IA y los agentes autónomos

Aphaia ayuda a las organizaciones a evaluar sus usos de inteligencia artificial, realizar EIPD proporcionadas, reforzar la evaluación de proveedores y establecer marcos de gobernanza que integren el Reglamento de Inteligencia Artificial de la UE, la normativa británica de protección de datos y el RGPD. Una asignación clara de responsabilidades, salvaguardas debidamente probadas y mecanismos prácticos de supervisión permiten a las empresas aprovechar las oportunidades de la IA agéntica sin que su autonomía avance más rápido que el cumplimiento normativo.

 

Descubre cómo Aphaia puede ayudarte a diseñar una estrategia de protección de datos preparada para el futuro, también con la elaboración de Evaluaciones de Impacto. Nuestros nuevos servicios de DPO+ y Super DPO ahora incluyen superpoderes como gobernanza de la IA, leyes estatales de Estados Unidos y regulación de servicios digitales. Contacta con Aphaia hoy.

Compartir:
Post relacionados