Cuando el bot dice «lo siento»: responsabilidad por errores de agentes autónomos de IA

En noviembre de 2022, Jake Moffatt visitó la web de Air Canada buscando un vuelo urgente a Toronto tras el fallecimiento de su abuela. El chatbot de atención al cliente le informó de que podía solicitar la tarifa de duelo dentro de los noventa días siguientes a la emisión del billete. Confiando en esa indicación, Moffatt adquirió los vuelos a precio completo y, semanas después, reclamó el reembolso parcial prometido. Air Canada rechazó la solicitud: su política real, disponible en otra sección de la web, excluía expresamente las solicitudes posteriores al viaje. La compañía admitió que el chatbot había proporcionado «palabras engañosas», pero sostuvo ante el Civil Resolution Tribunal de Columbia Británica un argumento que merece reproducirse: el chatbot constituía una «entidad legal separada» responsable de sus propios actos.

El tribunal calificó esta defensa de «extraordinaria» en su resolución de febrero de 2024 (Moffatt v. Air Canada, 2024 BCCRT 149) y condenó a la aerolínea a indemnizar al consumidor con 812 dólares canadienses. El razonamiento fue directo: un chatbot forma parte del sitio web de la empresa, y esta responde de toda la información que allí se ofrece, provenga de una página estática o de un sistema interactivo.

Este caso —el primero en sentar responsabilidad por información errónea de un chatbot— ilustra un problema que escala rápidamente. Moffatt perdió unos cientos de dólares; otras situaciones implican consecuencias patrimoniales de mayor calado. Los agentes de IA ya reservan viajes, envían correos electrónicos, modifican código informático, gestionan carteras de inversión y ejecutan contratos de forma cada vez más autónoma. La pregunta que late bajo todos estos despliegues es la misma: cuando el sistema comete un error con repercusiones económicas para un tercero, ¿quién responde?

La cadena de valor de un agente de IA: múltiples actores, responsabilidad difusa

A diferencia de un producto físico con un fabricante identificable, un agente de inteligencia artificial atraviesa una cadena de valor en la que intervienen actores muy diversos. El desarrollador del modelo fundacional —pongamos Anthropic, OpenAI o Mistral— entrena el sistema con enormes corpus de datos y lo comercializa mediante una interfaz de programación. Un integrador —una empresa de software, un bufete de abogados, una aerolínea— adapta ese modelo a su contexto de negocio: lo afina con instrucciones específicas, lo conecta a bases de datos propias y define los límites de su autonomía. Un usuario final —el consumidor que interactúa con el chatbot, el profesional que delega tareas— proporciona las instrucciones concretas y confía, en mayor o menor medida, en las respuestas obtenidas.

La dificultad estriba en que el fallo puede originarse en cualquier eslabón de esta cadena o en la interacción entre varios de ellos. El modelo fundacional puede generar «alucinaciones» —información falsa presentada con apariencia de certeza— por deficiencias en su entrenamiento. El integrador puede haber configurado el sistema de forma negligente, omitiendo salvaguardas o ampliando su autonomía más allá de lo razonable. El usuario puede formular instrucciones ambiguas o confiar ciegamente en respuestas que requerían verificación humana. Y en muchos casos, resulta técnicamente imposible determinar en cuál de estos puntos se produjo la desviación.

Esta opacidad se agrava con los llamados sistemas de «caja negra»: modelos cuyo proceso de razonamiento interno no puede explicarse con precisión ni siquiera por sus creadores. Cuando el perjudicado necesita probar la culpa de un demandado concreto y el nexo causal entre esa culpa y su daño, se enfrenta a una asimetría informativa extrema. No dispone de acceso al código fuente, a los datos de entrenamiento ni a los registros de funcionamiento del sistema -recordemos el caso del algoritmo BOSCO y la negativa inicial de la administración a proporcional acceso al mismo-. Y aunque los obtuviera, probablemente carecería de los conocimientos técnicos para interpretarlos.

El Reglamento de Inteligencia Artificial: obligaciones de prevención, no de reparación

El Reglamento (UE) 2024/1689, conocido como AI Act, constituye la primera regulación integral sobre inteligencia artificial a escala mundial. Publicado en el Diario Oficial el 12 de julio de 2024, entró en vigor el 1 de agosto de ese año con un calendario de aplicación escalonado: las prohibiciones de prácticas inaceptables rigen desde febrero de 2025; las obligaciones para modelos de IA de uso general, desde agosto de 2025; y el grueso de las exigencias para sistemas de alto riesgo se aplicará a partir de agosto de 2027.

El Reglamento adopta un enfoque basado en riesgos. Clasifica los sistemas de IA en cuatro categorías: riesgo inaceptable (prohibidos), alto riesgo (sujetos a requisitos estrictos), riesgo limitado (obligaciones de transparencia) y riesgo mínimo (sin exigencias específicas). Para los sistemas de alto riesgo —que incluyen los empleados en infraestructuras críticas, educación, empleo, servicios financieros o administración de justicia— impone obligaciones de gestión de riesgos durante todo el ciclo de vida, calidad y gobernanza de datos, documentación técnica, supervisión humana, transparencia y ciberseguridad.

Ahora bien, conviene subrayar lo que el Reglamento de IA no hace: no establece un régimen de responsabilidad civil. Sus normas persiguen prevenir daños mediante la imposición de obligaciones ex ante a proveedores y responsables del despliegue, pero no regulan la indemnización de las víctimas cuando, pese a esas cautelas, el daño se materializa. El propio Reglamento lo explicita en su considerando 15: debe interpretarse «sin perjuicio de las disposiciones relativas a la responsabilidad» contenidas en otras normas de la Unión. Es decir, el AI Act configura un marco de seguridad de producto, no un sistema de reparación de daños.

Este diseño plantea un problema adicional para los perjudicados: muchos agentes de IA conversacionales de propósito general —los que reservan vuelos, redactan correos o asisten a profesionales— no encajan cómodamente en las categorías de alto riesgo del Reglamento. Su uso es transversal y sus aplicaciones concretas dependen de las instrucciones del usuario, lo que dificulta su clasificación ex ante. Aunque el Reglamento prevé obligaciones de transparencia para sistemas que interactúan con personas (el usuario debe saber que está hablando con una máquina), estas exigencias no se traducen automáticamente en un fundamento para reclamar daños cuando el sistema falla.

La nueva Directiva de productos defectuosos: el software como producto

La Directiva (UE) 2024/2853, de 23 de octubre de 2024, sobre responsabilidad por los daños causados por productos defectuosos, deroga la veterana Directiva 85/374/CEE que llevaba casi cuatro décadas en vigor. Los Estados miembros deben transponerla antes del 9 de diciembre de 2026, fecha en que comenzará a aplicarse a los productos introducidos en el mercado o puestos en servicio a partir de entonces.

La novedad más relevante para la materia reside en la ampliación del concepto de «producto». Frente a la norma anterior, limitada esencialmente a bienes muebles tangibles, la nueva Directiva incluye expresamente el software, los programas informáticos, los sistemas operativos, las aplicaciones de inteligencia artificial y los archivos de fabricación digital. También abarca los «servicios conexos», definidos como aquellos servicios digitales integrados en un producto o interconectados con él de tal manera que su ausencia impediría al producto realizar una o varias de sus funciones.

Un producto se considera defectuoso cuando no ofrece la seguridad que cabría legítimamente esperar. Para evaluar esa expectativa, la Directiva enumera múltiples factores: la presentación del producto, las instrucciones de uso, los requisitos normativos aplicables, el uso razonablemente previsible, el efecto en el producto de cualquier capacidad de seguir aprendiendo tras su despliegue y, significativamente, «las necesidades específicas del grupo de usuarios finales» al que se destina el producto. Esta última referencia permite argumentar que un chatbot de atención al cliente debe evaluarse según las expectativas razonables de un consumidor medio, no de un experto en aprendizaje automático.

El régimen de responsabilidad que establece la Directiva es objetivo: no exige probar la culpa del fabricante, sino únicamente el defecto del producto, el daño sufrido y el nexo causal entre ambos. Sin embargo, esta objetividad tiene dos limitaciones importantes para los perjudicados por errores de agentes de IA.

La primera se refiere al ámbito subjetivo. La Directiva 2024/2853 protege únicamente a las personas físicas. Las personas jurídicas —empresas que sufren pérdidas patrimoniales por la actuación de un agente de IA— quedan fuera de su ámbito de aplicación y deben recurrir a las normas generales de responsabilidad contractual o extracontractual de cada Estado miembro.

La segunda atañe a los daños cubiertos. La Directiva indemniza la muerte, las lesiones corporales (incluidos los daños psicológicos reconocidos médicamente) y los daños materiales a bienes de uso privado. Pero excluye los daños puramente económicos que no deriven de una lesión personal o material previa. Si un agente de IA proporciona información errónea que conduce a una inversión ruinosa, el perjudicado difícilmente podrá encauzar su reclamación por esta vía.

La Directiva de responsabilidad en materia de IA: una pieza que nunca encajó

En septiembre de 2022, la Comisión Europea presentó una propuesta de Directiva relativa a la adaptación de las normas de responsabilidad civil extracontractual a la inteligencia artificial. La iniciativa pretendía complementar el AI Act y la Directiva de productos defectuosos, abordando específicamente las reclamaciones basadas en culpa contra proveedores y operadores de sistemas de IA.

La propuesta contenía dos mecanismos de facilitación probatoria. El primero permitía a los tribunales ordenar la divulgación de documentación técnica sobre sistemas de IA de alto riesgo cuando el demandante alegara dificultades excesivas para acceder a ella. El segundo establecía una presunción de causalidad: si el demandante demostraba que el demandado había incumplido un deber de diligencia previsto en el Derecho de la Unión o nacional, y que existía un vínculo razonablemente probable entre ese incumplimiento y el daño, correspondía al demandado desvirtuar la presunción.

La tramitación de la propuesta nunca fue fluida. El Parlamento Europeo sugirió ampliar su ámbito a sistemas de IA de «alto impacto» más allá de las categorías de alto riesgo del AI Act, e incluso transitar hacia un régimen de responsabilidad objetiva en lugar de mantener la culpa como criterio de imputación. Varios Estados miembros expresaron dudas sobre la necesidad de la norma, argumentando que sus ordenamientos nacionales ya disponían de mecanismos suficientes. La industria tecnológica, por su parte, presionó enérgicamente contra cualquier régimen que pudiera frenar la innovación o incrementar sus costes operativos.

El 11 de febrero de 2025, apenas un día después de la AI Action Summit de París en la que el vicepresidente estadounidense JD Vance criticó la regulación digital europea, la Comisión incluyó la propuesta en el listado de retiradas de su Programa de Trabajo para 2025. La justificación oficial fue escueta: «no hay acuerdo previsible; la Comisión evaluará si debe presentarse otra propuesta o elegirse un enfoque diferente». La retirada formal se produjo en octubre de 2025.

El eurodiputado Axel Voss, ponente del expediente, calificó la decisión de «capitulación ante los lobbies de las grandes tecnológicas» y advirtió de que dejaría a consumidores y empresas europeas en una posición de «incertidumbre jurídica y desequilibrio de poder». La Comisaria Henna Virkkunen defendió la retirada ante el Comité de Asuntos Jurídicos del Parlamento argumentando que la Directiva habría generado reglas fragmentadas entre Estados miembros y que convenía esperar a la plena implementación del AI Act antes de legislar sobre responsabilidad.

El régimen español: entre el artículo 1902 del Código Civil y la transposición pendiente

En ausencia de normativa específica sobre responsabilidad civil por IA, el ordenamiento español ofrece dos vías principales para canalizar las reclamaciones de los perjudicados.

La primera es el régimen especial de responsabilidad por productos defectuosos contenido en el Libro III del Real Decreto Legislativo 1/2007 (Texto Refundido de la Ley General para la Defensa de los Consumidores y Usuarios). Este régimen, que transpone la Directiva 85/374/CEE, establece una responsabilidad objetiva del productor por los daños causados por productos defectuosos. Sin embargo, su concepto de «producto» se circunscribe a los bienes muebles, incluyendo expresamente el gas y la electricidad, pero sin mención específica al software. La doctrina ha debatido durante años si los programas informáticos encajan en esta definición; la jurisprudencia española no ha zanjado la cuestión de forma concluyente. Esta incertidumbre desaparecerá cuando España transponga la Directiva 2024/2853, que incluye inequívocamente el software y la IA en el concepto de producto.

Además, el régimen del TRLCU protege exclusivamente los daños personales y los daños materiales a bienes de uso privado superiores a 500 euros. Los daños causados entre empresas, los daños a profesionales y los daños puramente patrimoniales quedan fuera de su ámbito.

La segunda vía es la responsabilidad extracontractual del artículo 1902 del Código Civil: «El que por acción u omisión causa daño a otro, interviniendo culpa o negligencia, está obligado a reparar el daño causado». Este precepto, complementado por el artículo 1903 (responsabilidad por hechos ajenos), exige al demandante probar la acción u omisión culposa del demandado, el daño sufrido y el nexo causal entre ambos.

Aplicar este régimen a los errores de agentes de IA plantea dificultades considerables. La culpa del operador o del proveedor debe medirse según un estándar de diligencia que la ley no define específicamente para sistemas de IA. ¿Qué nivel de supervisión humana es exigible? ¿Qué controles de calidad sobre los datos de entrenamiento constituyen el estándar de cuidado debido? ¿Debe el integrador verificar cada respuesta del sistema antes de transmitirla al usuario final? La jurisprudencia del Tribunal Supremo ha objetivado progresivamente la culpa en sectores de riesgo (circulación de vehículos, construcción, sanidad), pero no existe doctrina consolidada sobre inteligencia artificial.

La carga probatoria recae íntegramente sobre el demandante. Debe demostrar no solo que sufrió un daño como consecuencia de la información errónea del agente de IA, sino que ese error se debió a una conducta negligente de un sujeto concreto (el desarrollador, el integrador, el operador) y no a una limitación inherente a la tecnología o a un uso inadecuado por parte del propio perjudicado. Cuando el sistema funciona como una caja negra cuyos mecanismos de razonamiento ni siquiera sus creadores pueden explicar completamente, esta prueba se aproxima a lo diabólico.

El plazo de prescripción añade urgencia a la cuestión. La acción de responsabilidad extracontractual prescribe en un año desde que el perjudicado conoció el daño (artículo 1968.2 del Código Civil), frente a los tres años del Código Civil de Cataluña o los diez años que contempla la Directiva de productos defectuosos para la caducidad del derecho. Un perjudicado que tarde en identificar al responsable o en reunir pruebas técnicas puede ver extinguida su acción antes de poder ejercitarla.

Cláusulas contractuales: la gestión privada del riesgo mientras el legislador calla

Ante la incertidumbre normativa, las empresas que despliegan agentes de IA están recurriendo a la autonomía contractual para distribuir riesgos. Los términos de servicio de los principales proveedores de modelos fundacionales contienen cláusulas de exención de responsabilidad extraordinariamente amplias. OpenAI, por ejemplo, advierte en sus condiciones que sus servicios pueden producir resultados «inexactos, incompletos o inapropiados» y excluye cualquier garantía sobre su «fiabilidad, exactitud o integridad». Anthropic formula advertencias similares e insiste en que el usuario es responsable de verificar las respuestas antes de actuar sobre ellas.

La eficacia de estas cláusulas frente a consumidores resulta cuestionable a la luz del Derecho español. El artículo 86 del TRLCU declara nulas las cláusulas que excluyan o limiten la responsabilidad del empresario por los daños causados al consumidor cuando se deban a una actuación negligente. Las condiciones generales que pretenden exonerar completamente al proveedor de IA por errores de su sistema podrían considerarse abusivas y tenerse por no puestas en contratos B2C.

En relaciones B2B, la libertad de pactos es mayor, pero no ilimitada. Una cláusula que exonere al proveedor de toda responsabilidad por dolo o culpa grave seguirá siendo nula (artículo 1102 del Código Civil). Y una exclusión excesivamente amplia podría impugnarse por abusiva al amparo de la Ley de Condiciones Generales de la Contratación si no ha sido negociada individualmente.

Las empresas que integran agentes de IA en sus operaciones deberían considerar algunas cautelas contractuales básicas. En los contratos con proveedores de modelos fundacionales, conviene negociar obligaciones de notificación de incidentes, acceso a registros de funcionamiento y cooperación en caso de reclamaciones de terceros. En los términos de servicio ofrecidos a los usuarios finales, debe evitarse generar expectativas de fiabilidad absoluta que el sistema no puede cumplir, al tiempo que se informa de forma clara sobre la naturaleza del servicio y sus limitaciones. Y en todos los casos, resulta prudente verificar la existencia de cobertura de seguro de responsabilidad civil que incluya expresamente los daños derivados del uso de sistemas de IA.

El deber de supervisión: lecciones del ejercicio profesional

La apertura de una investigación por parte del Tribunal Superior de Justicia de Canarias contra un letrado por aportar presunta jurisprudencia inexistente generada por IA —analizada en este artículo hace algunas semanas— ilustra una dimensión adicional del problema. La responsabilidad del profesional que utiliza herramientas de IA no desaparece por el mero hecho de delegar tareas en un sistema automatizado.

El Estatuto General de la Abogacía Española (Real Decreto 135/2021) exige al profesional «probidad, lealtad y veracidad» en sus declaraciones y manifestaciones. El Código Deontológico impone una conducta «íntegra, honrada, leal, veraz y diligente». Cuando un abogado traslada a un escrito procesal el texto generado por una IA sin verificar la existencia de las sentencias citadas, incumple estos deberes con independencia de que la fuente del error sea un sistema informático.

Esta exigencia de supervisión humana se proyecta más allá de la abogacía. Cualquier profesional que emplee agentes de IA en el ejercicio de su actividad —médicos, ingenieros, asesores financieros, arquitectos— permanece vinculado por los estándares de diligencia propios de su profesión. La IA constituye una herramienta, no un sustituto del juicio profesional. El hecho de que el error provenga de un sistema automatizado no extingue la responsabilidad del profesional que lo utiliza sin la verificación debida.

Esta perspectiva ofrece una pista sobre cómo podrían evolucionar los estándares de diligencia en el uso de IA. El deber de cuidado no consiste en abstenerse de utilizar estas herramientas —que pueden incrementar notablemente la productividad y la calidad del trabajo—, sino en implementar procedimientos de supervisión, verificación y control proporcionados al riesgo de la tarea delegada. Cuanto mayor sea la repercusión potencial del error, más riguroso deberá ser el escrutinio humano de los resultados.

Un vacío que necesita una respuesta

El caso Air Canada ilustra la respuesta instintiva de muchas empresas ante los errores de sus agentes de IA: distanciarse del sistema, tratarlo como una entidad ajena a la organización, sugerir que el perjudicado debió verificar la información por otros medios. Esta defensa no prosperó en Canadá y previsiblemente tampoco lo haría en España, pero su mera formulación revela la tentación de trasladar el riesgo hacia el eslabón más débil de la cadena.

El marco normativo europeo vigente proporciona piezas incompletas de un puzle que no llega a encajar. El Reglamento de IA establece obligaciones de seguridad pero no mecanismos de reparación. La Directiva de productos defectuosos incluirá el software pero solo protege a personas físicas y excluye los daños puramente patrimoniales. La Directiva específica sobre responsabilidad en materia de IA ha sido retirada sin fecha de sustitución. Y mientras tanto, cada Estado miembro aplicará sus normas nacionales de responsabilidad contractual y extracontractual, generando la fragmentación que la Comisión decía querer evitar.

En el Derecho español, el perjudicado por un error de un agente de IA que no encaje en el régimen de productos defectuosos deberá acudir al artículo 1902 del Código Civil, con la carga de probar la culpa de un demandado concreto, el nexo causal y el daño, todo ello en el brevísimo plazo de prescripción de un año. No es una posición cómoda.

Algunas voces proponen adoptar un régimen de responsabilidad objetiva para los sistemas de IA de alto riesgo, similar al que rige en materia de circulación de vehículos o actividades nucleares. Otras sugieren fondos de compensación financiados por los operadores del sector, que garanticen la indemnización de las víctimas con independencia de la identificación del responsable concreto. El Parlamento Europeo, en su informe de septiembre de 2024 sobre la propuesta de Directiva de responsabilidad, llegó a plantear una regulación general sobre responsabilidad por software en lugar de normas específicas para IA. Ninguna de estas alternativas ha cristalizado todavía en una iniciativa legislativa concreta.

Mientras tanto, la prudencia aconseja a las empresas que despliegan agentes de IA asumir que responderán de sus errores con consecuencias patrimoniales para terceros. Conviene diseñar sistemas con supervisión humana proporcionada al riesgo, documentar las decisiones de configuración y los controles implementados, informar a los usuarios de las limitaciones del sistema, verificar la cobertura de los seguros de responsabilidad civil y negociar cuidadosamente los términos contractuales con proveedores y clientes. Porque cuando el bot dice «lo siento», quien acabará pagando será, probablemente, quien lo puso a hablar.