La vertiginosa evolución de la inteligencia artificial (IA), especialmente de los modelos de propósito general más avanzados, ha colocado a legisladores, empresas y juristas ante un paradigma sin precedentes. En una publicación anterior nos centramos en el capítulo dedicado a los derechos de autor, en este artículo nos fijamos en el capítulo dedicado a la seguridad. En primer lugar, recordar que la adhesión al Código no constituye una prueba concluyente de cumplimiento, es evidente que se posicionará como el estándar de facto de diligencia debida en el sector.
El Eje Central: El “Framework” de Seguridad y Protección
El pilar sobre el que descansa todo el Código es el Compromiso 1: la obligación de los signatarios de adoptar, implementar y mantener actualizado un “Framework” (Marco de Referencia) de Seguridad y Protección de última generación. Esta referencia abierta pretende que el Código no se quede como un documento estático, sino que se concibe como un sistema de gestión dinámico que debe implementarse de forma continua a lo largo de todo el ciclo de vida del modelo de IA.
El proceso de adopción de este Marco se estructura en tres fases claras:
- Creación: Se debe diseñar un Marco que describa los procesos y medidas para la gestión de riesgos sistémicos. Este debe estar finalizado, a más tardar, cuatro semanas después de notificar a la Comisión y dos semanas antes de la comercialización del modelo.
- Implementación: El Marco debe aplicarse de forma continua, realizando evaluaciones constantes y completando un proceso exhaustivo de evaluación y mitigación de riesgos antes de la elaboración de cada informe sobre el modelo.
- Actualización: El Marco debe actualizarse siempre que sea necesario para mantenerlo a la vanguardia. Se exige una evaluación formal del Marco (“Framework assessment”) al menos cada 12 meses o cuando existan motivos razonables para creer que su adecuación se ha visto comprometida.
La Gestión del Riesgo Sistémico: Un Proceso Cíclico y Exhaustivo
El Código establece un meticuloso proceso para la gestión de los “riesgos sistémicos”, definidos por el AI Act como aquellos específicos de las capacidades de alto impacto de los modelos de IA, con efectos negativos significativos y que pueden propagarse a gran escala. Este proceso, que debe repetirse antes de la puesta en el mercado y ante actualizaciones relevantes, consta de cuatro fases interconectadas:
- Identificación del Riesgo Sistémico (Compromiso 2): Los desarrolladores deben seguir un proceso estructurado para identificar los riesgos que emanan del modelo. Esto no solo implica recurrir a las categorías de riesgos listadas en el Apéndice 1 (riesgos para la salud pública, la seguridad, los derechos fundamentales, etc.), sino también considerar los “riesgos sistémicos especificados”, que incluyen amenazas tan graves como el desarrollo de armas químicas, biológicas, radiológicas y nucleares (CBRN), la pérdida de control sobre el modelo, los ciberataques a gran escala o la manipulación perjudicial de comportamientos humanos.
- Análisis del Riesgo Sistémico (Compromiso 3): Una vez identificado un riesgo, debe ser analizado en profundidad. Esto exige una combinación de técnicas que van desde la recopilación de información independiente del modelo (revisiones de literatura, análisis de mercado, etc.) hasta la realización de “evaluaciones del modelo” (
model evaluations) con un alto rigor científico y técnico. Este análisis debe incluir un monitoreo continuo tras la comercialización (post-market monitoring). - Determinación de la Aceptación del Riesgo (Compromiso 4): Quizás el punto más delicado. Los signatarios deben definir y justificar sus propios criterios para determinar si un riesgo es “aceptable”. Esto se hará, generalmente, definiendo “niveles de riesgo sistémico” (systemic risk tiers) medibles y basados en las capacidades del modelo. La decisión de proceder con el desarrollo o comercialización del modelo dependerá de que todos los riesgos se consideren aceptables. Si no lo son, se deberán implementar mitigaciones y reevaluar el riesgo antes de continuar.
- Mitigación del Riesgo (Compromisos 5 y 6): Si un riesgo no es aceptable, deben implementarse medidas de mitigación adecuadas. El Código distingue entre:
- Mitigaciones de Seguridad (Safety): Medidas como el filtrado de datos de entrenamiento, el ajuste fino del comportamiento del modelo o la limitación gradual del acceso.
- Mitigaciones de Protección (Security): Medidas de ciberseguridad para proteger los modelos y la infraestructura física contra accesos no autorizados o robo, especialmente de los parámetros (model weights) no publicados.
Gobernanza del Riesgo: Un Asunto del Consejo de Administración
El Compromiso 8 traslada la gestión del riesgo desde el plano puramente técnico al centro de la gobernanza corporativa. El Código exige una definición clara de responsabilidades a todos los niveles de la organización, distinguiendo cuatro funciones clave:
- Supervisión del riesgo: A cargo de un comité específico del órgano de dirección (por ejemplo, un comité de riesgos) o un órgano independiente similar.
- Propiedad del riesgo: Responsabilidad de la gestión, asignada a miembros del órgano de dirección en su función ejecutiva.
- Soporte y monitorización del riesgo: Asignada a directivos que no tengan responsabilidades directas en las áreas de negocio que generan el riesgo (como investigación o desarrollo de producto), para garantizar su independencia.
- Garantía del riesgo (Assurance): La función de auditoría interna y externa, que reporta al órgano de supervisión sobre la adecuación de todo el sistema1.
Además, se exige la asignación de recursos suficientes (humanos, financieros y computacionales) y la promoción de una “cultura de riesgo saludable” , que incluye desde la comunicación clara por parte de la dirección hasta la protección de los empleados que informen sobre riesgos (whistleblowers).
El Deber de Informar: “Model Reports” e Incidentes Graves
La transparencia hacia el regulador es otro pilar fundamental. El Compromiso 7 obliga a la creación de un detallado “Informe del Modelo sobre Seguridad y Protección” (Model Report) que debe presentarse a la Oficina de IA antes de la comercialización y mantenerse actualizado. Este informe debe contener desde la descripción de la arquitectura del modelo hasta una justificación detallada de por qué sus riesgos se consideran aceptables.
Por su parte, el Compromiso 9 establece un estricto régimen de notificación de “incidentes graves”. Los plazos son extraordinariamente cortos y demuestran la seriedad con la que se tratan estos eventos:
- No más de 2 días para incidentes que causen una interrupción grave de infraestructuras críticas.
- No más de 5 días para brechas de ciberseguridad graves, incluyendo la exfiltración de los pesos del modelo.
- No más de 15 días para daños graves a la salud, derechos fundamentales, propiedad o medio ambiente.
Conclusión: Hacia una Nueva Diligencia Debida
El Código de Prácticas no es un mero listado de buenas intenciones; es un manual operativo detallado y exigente para la gestión de los riesgos más extremos de la IA. No basta con una verificación puntual del producto; es imperativo auditar, diseñar e implementar sistemas de gobernanza interna complejos y dinámicos que evalúen de forma continuada los riesgos; un modelo que nos recuerda al existente en materia de tratamiento de datos personales.
Podemos decir que la carga de la prueba se invierte: los desarrolladores deben poder acreditar que han identificado, analizado, evaluado y mitigado los riesgos de sus creaciones más potentes. El no poder demostrar esta diligencia, preferiblemente a través de la adhesión a este Código, podría tener consecuencias reputacionales y legales importantes. Nos encontramos, por tanto, ante la consolidación de una nueva forma de compliance tecnológico, una que es continua, iterativa y que sitúa la responsabilidad en lo más alto de la estructura corporativa.
SUBSTACK