Reglamento (UE) 2024/1689 del Parlamento Europeo y del Consejo, de 13 de junio de 2024, por el que se establecen normas armonizadas en materia de inteligencia artificial (DOUE 12 julio 2024).
El Reglamento entra en vigor el 1 de agosto de 2024 y será aplicable a partir del 2 de agosto de 2026. Los proveedores y responsables del despliegue de sistemas adoptarán medidas para garantizar que, en la mayor medida posible, su personal y demás personas que se encarguen en su nombre del funcionamiento y la utilización de los sistemas tengan un nivel suficiente de alfabetización en materia de IA. Por otra parte, entre la prácticas prohibidas contempla su uso para realizar evaluaciones de riesgos de personas físicas con el fin de valorar o predecir el riesgo de que cometa un delito basándose únicamente en la elaboración del perfil de una persona física o en la evaluación de los rasgos y características de su personalidad; esta prohibición no se aplicará a los sistemas de IA utilizados para apoyar la valoración humana de la implicación de una persona en una actividad delictiva que ya se base en hechos objetivos y verificables directamente relacionados con una actividad delictiva.
El Reglamento (UE) 2024/1689 del Parlamento Europeo y del Consejo, de 13 de junio de 2024, establece normas armonizadas en materia de inteligencia artificial con el objeto de mejorar el funcionamiento del mercado interior mediante el establecimiento de un marco jurídico uniforme, en particular para el desarrollo, la introducción en el mercado, la puesta en servicio y la utilización de sistemas de IA, a fin de promover la adopción de una inteligencia artificial centrada en el ser humano y fiable, garantizando al mismo tiempo un elevado nivel de protección de la salud, la seguridad y los derechos fundamentales consagrados en la Carta de los Derechos Fundamentales de la Unión Europea.
Asimismo, garantiza la libre circulación transfronteriza de mercancías y servicios basados en la IA, con lo que impide que los Estados miembros impongan restricciones al desarrollo, la comercialización y la utilización de sistemas de IA, a menos que lo autorice expresamente.
Con este objetivo, el Reglamento establece normas armonizadas para la introducción en el mercado, la puesta en servicio y la utilización de sistemas de IA en la Unión; prohibiciones de determinadas prácticas de IA; requisitos específicos para los sistemas de IA de alto riesgo y obligaciones para los operadores de dichos sistemas; normas armonizadas de transparencia aplicables a determinados sistemas de IA; normas armonizadas para la introducción en el mercado de modelos de IA de uso general; normas sobre el seguimiento del mercado, la vigilancia del mercado, la gobernanza y la garantía del cumplimiento; y medidas en apoyo de la innovación, prestando especial atención a las pymes, incluidas las empresas emergentes.
Ámbito de aplicación.
El Reglamento no se aplicará a los ámbitos que queden fuera del ámbito de aplicación del Derecho de la Unión y, en cualquier caso, no afectará a las competencias de los Estados miembros en materia de seguridad nacional, independientemente del tipo de entidad a la que los Estados miembros hayan encomendado el desempeño de tareas en relación con dichas competencias. Será aplicable a:
– los proveedores que introduzcan en el mercado o pongan en servicio sistemas de IA o que introduzcan en el mercado modelos de IA de uso general en la Unión, con independencia de si dichos proveedores están establecidos o ubicados en la Unión o en un tercer país;
– los responsables del despliegue de sistemas de IA que estén establecidos o ubicados en la Unión;
– los proveedores y responsables del despliegue de sistemas de IA que estén establecidos o ubicados en un tercer país, cuando los resultados de salida generados por el sistema de IA se utilicen en la Unión;
– los importadores y distribuidores de sistemas de IA;
– los fabricantes de productos que introduzcan en el mercado o pongan en servicio un sistema de IA junto con su producto y con su propio nombre o marca;
– los representantes autorizados de los proveedores que no estén establecidos en la Unión;
– las personas afectadas que estén ubicadas en la Unión.
La normativa no se aplicará a las autoridades públicas de terceros países ni a las organizaciones internacionales que entren dentro del ámbito de aplicación de este Reglamento conforme al apartado 1 cuando dichas autoridades u organizaciones utilicen sistemas de IA en el marco de acuerdos o de la cooperación internacionales con fines de garantía del cumplimiento del Derecho y cooperación judicial con la Unión o con uno o varios Estados miembros, siempre que tal tercer país u organización internacional ofrezca garantías suficientes con respecto a la protección de los derechos y libertades fundamentales de las personas.
Prácticas prohibidas.
Definido el «sistema de IA» como aquel sistema basado en una máquina que está diseñado para funcionar con distintos niveles de autonomía y que puede mostrar capacidad de adaptación tras el despliegue, y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que pueden influir en entornos físicos o virtuales, la norma determina las prácticas de IA que declara prohibidas por no ser aceptables, por cuanto, al margen de sus múltiples beneficios, puede utilizarse indebidamente y proporcionar nuevas y poderosas herramientas para llevar a cabo prácticas de manipulación, explotación y control social.
Al poder utilizarse para persuadir a las personas de que adopten comportamientos no deseados o para engañarlas empujándolas a tomar decisiones perjudicando su capacidad de elegir libremente, se prohíbe la introducción en el mercado, la puesta en servicio o la utilización de determinados sistemas de IA que se sirva de técnicas subliminales, tales como estímulos de audio, imagen o vídeo que las personas no pueden percibir, o de técnicas deliberadamente manipuladoras o engañosas con el objetivo o al efecto de alterar de manera sustancial el comportamiento de una persona o un colectivo de personas, mermando de manera apreciable su capacidad para tomar una decisión informada y haciendo que tomen una decisión que de otro modo no habrían tomado, de un modo que provoque, o sea razonablemente probable que provoque, perjuicios considerables a esa persona, a otra persona o a un colectivo de personas. Esto podría facilitarse, por ejemplo, mediante interfaces cerebro-máquina o realidad virtual, dado que permiten un mayor grado de control acerca de qué estímulos se presentan a las personas, en la medida en que pueden alterar sustancialmente su comportamiento de un modo que suponga un perjuicio considerable.
Además, también se prohíben aquellos sistemas de IA que exploten las vulnerabilidades de una persona física o un determinado colectivo de personas derivadas de su edad o discapacidad, o de una situación social o económica específica que probablemente aumente su vulnerabilidad a la explotación, como vivir en condiciones de pobreza extrema o pertenecer a minorías étnicas o religiosas, con la finalidad o el efecto de alterar de manera sustancial el comportamiento de dicha persona o de una persona que pertenezca a dicho colectivo de un modo que provoque, o sea razonablemente probable que provoque, perjuicios considerables a esa persona o a otra;
Dichas prohibiciones no deben afectar a prácticas lícitas en el contexto de un tratamiento médico, como el tratamiento psicológico de una enfermedad mental o la rehabilitación física, cuando dichas prácticas se lleven a cabo de conformidad con el Derecho y las normas médicas aplicables, así como tampoco a las prácticas comerciales que cumplan el Derecho aplicable.
También se prohíben los sistemas de categorización biométrica basados en datos biométricos de las personas físicas, como la cara o las impresiones dactilares de una persona física, para deducir o inferir las opiniones políticas, la afiliación sindical, las convicciones religiosas o filosóficas, la raza, la vida sexual o la orientación sexual de una persona física, excluyéndose el etiquetado, el filtrado y la categorización lícitos de conjuntos de datos biométricos adquiridos de conformidad con el Derecho nacional o de la Unión en función de datos biométricos. Estos sistemas de IA que permiten a agentes públicos o privados llevar a cabo una puntuación ciudadana de las personas físicas pueden tener resultados discriminatorios y abocar a la exclusión a determinados colectivos, menoscabando el derecho a la dignidad y a la no discriminación y los valores de igualdad y justicia. Además, puede afectar a la vida privada de una gran parte de la población, provocar la sensación de estar bajo una vigilancia constante y disuadir indirectamente a los ciudadanos de ejercer su libertad de reunión y otros derechos fundamentales.
Por otra parte, se prohíbe la introducción en el mercado, la puesta en servicio para este fin específico o el uso de un sistema de IA para realizar evaluaciones de riesgos de personas físicas con el fin de valorar o predecir el riesgo de que una persona física cometa un delito basándose únicamente en la elaboración del perfil de una persona física o en la evaluación de los rasgos y características de su personalidad. Se excluyen de dicha prohibición los sistemas de IA utilizados para apoyar la valoración humana de la implicación de una persona en una actividad delictiva que ya se base en hechos objetivos y verificables directamente relacionados con una actividad delictiva, cuando sea necesario para lograr un interés público esencial cuya importancia compense los riesgos, tales como la búsqueda de determinadas víctimas de un delito, incluidas personas desaparecidas, determinadas amenazas para la vida o para la seguridad física de las personas físicas o amenazas de atentado terrorista y la localización o identificación de los autores o sospechosos de los delitos enumerados en un anexo del Reglamento, cuando dichas infracciones se castiguen en el Estado miembro de que se trate con una pena o una medida de seguridad privativas de libertad cuya duración máxima sea de al menos cuatro años, y como se definan en el Derecho de dicho Estado miembro. Igualmente, debe preservarse la capacidad de las autoridades garantes del cumplimiento del Derecho, de control fronterizo, de la inmigración o del asilo para llevar a cabo controles de identidad en presencia de la persona afectada.
En cuanto al uso de sistemas de identificación biométrica remota en tiempo real en espacios de acceso público, el mismo únicamente puede llevarse a cabo para confirmar la identidad de la persona que constituya el objetivo específico y limitarse a lo estrictamente necesario en lo que se refiere al período de tiempo, así como al ámbito geográfico y personal, teniendo en cuenta, en particular, las pruebas o indicios relativos a las amenazas, las víctimas o los autores y debe ser autorizado de manera expresa o específica por una autoridad judicial o por una autoridad administrativa independiente de un Estado miembro y cuya decisión sea vinculante. Por tanto, se permite el uso de estos sistemas cuando sea estrictamente necesario para la búsqueda selectiva de víctimas concretas de secuestro, trata de seres humanos o explotación sexual de seres humanos, así como la búsqueda de personas desaparecidas, la prevención de una amenaza específica, importante e inminente para la vida o la seguridad física de las personas físicas o de una amenaza real y actual o real y previsible de un atentado terrorista, la localización o identificación de una persona sospechosa de haber cometido un delito a fin de llevar a cabo una investigación o un enjuiciamiento penales o de ejecutar una sanción penal por alguno de los delitos mencionados en el anexo II que en el Estado miembro de que se trate se castigue con una pena o una medida de seguridad privativas de libertad cuya duración máxima sea de al menos cuatro años.
Asimismo, se prohíbe la introducción en el mercado, la puesta en servicio para este fin específico o el uso de sistemas de IA que creen o amplíen bases de datos de reconocimiento facial mediante la extracción no selectiva de imágenes faciales de internet o de circuitos cerrados de televisión, pues estas prácticas agravan el sentimiento de vigilancia masiva y pueden dar lugar a graves violaciones de los derechos fundamentales, incluido el derecho a la intimidad.
Por otra parte, quedan prohibidos los sistemas IA que infieran en las emociones de una persona física en los lugares de trabajo y en los centros educativos, o detecten el estado emocional de las personas en estos ámbitos, excepto cuando el sistema de IA esté destinado a ser instalado o introducido en el mercado por motivos médicos o de seguridad. Pueden tener resultados discriminatorios y pueden invadir los derechos y las libertades de las personas afectadas, pues dado el desequilibrio de poder en el contexto laboral o educativo podrían dar lugar a un trato perjudicial o desfavorable de determinadas personas físicas o colectivos enteros.
Clasificación de los sistemas de IA como sistemas de alto riesgo.
La introducción en el mercado de la Unión, la puesta en servicio o la utilización de sistemas de IA de alto riesgo debe llevarse a cabo de tal manera que no planteen riesgos inaceptables para intereses públicos importantes de la Unión, reconocidos y protegidos por el Derecho de la Unión.
No obstante, que un sistema de IA se clasifique como de alto riesgo en virtud del presente Reglamento no significa necesariamente que el producto del que sea componente de seguridad, o el propio sistema de IA como producto, se considere de «alto riesgo» conforme a los criterios establecidos en la correspondiente legislación de armonización de la Unión que se aplique al producto. Respecto a los sistemas de IA independientes, esto es, aquellos sistemas de IA de alto riesgo que no son componentes de seguridad de productos, o que son productos en sí mismos, deben clasificarse como de alto riesgo si, a la luz de su finalidad prevista, presentan un alto riesgo de ser perjudiciales para la salud y la seguridad o los derechos fundamentales de las personas, teniendo en cuenta tanto la gravedad del posible perjuicio como la probabilidad de que se produzca,
A estos efectos el texto recoge las reglas para clasificar los sistemas de IA como de alto riesgo. Así, dispone que un sistema de IA se considerará de alto riesgo cuando reúna dos condiciones:
– que el sistema de IA esté destinado a ser utilizado como componente de seguridad de un producto que entre en el ámbito de aplicación de los actos legislativos de armonización de la Unión enumerados en el anexo I, o que el propio sistema de IA sea uno de dichos productos;
– que el producto del que el sistema de IA sea componente de seguridad, o el propio sistema de IA como producto, deba someterse a una evaluación de la conformidad de terceros para su introducción en el mercado o puesta en servicio con arreglo a los actos legislativos de armonización de la Unión enumerados en el anexo I.
También se considerarán de alto riesgo los sistemas de IA contemplados en el anexo III del Reglamento, salvo cuando no plantee un riesgo importante de causar un perjuicio a la salud, la seguridad o los derechos fundamentales de las personas físicas, o no influya sustancialmente en el resultado de la toma de decisiones, ya sea humana o automatizada. Para ello deberán cumplirse las siguientes condiciones:
– que el sistema de IA esté destinado a realizar una tarea de procedimiento limitada, como un sistema de IA que transforme datos no estructurados en datos estructurados, un sistema de IA que clasifique en categorías los documentos recibidos o un sistema de IA que se utilice para detectar duplicados entre un gran número de aplicaciones;
– que el sistema de IA esté destinado a mejorar el resultado de una actividad humana previamente realizada, en cuyo caso el sistema de IA solo añade un nivel adicional a la actividad humana, entrañando por consiguiente un riesgo menor, por ejemplo, los sistemas de IA destinados a mejorar el lenguaje utilizado en documentos ya redactados;
– que el sistema de IA esté destinado a detectar patrones de toma de decisiones o desviaciones con respecto a patrones de toma de decisiones anteriores y no esté destinado a sustituir la valoración humana previamente realizada sin una revisión humana adecuada, ni a influir en ella, pues el riesgo sería menor debido a que el sistema de IA se utiliza tras una valoración humana previamente realizada y no pretende sustituirla o influir en ella sin una revisión adecuada por parte de un ser humano, por ejemplo los sistemas de IA utilizados para comprobar a posteriori si un profesor puede haberse desviado de su patrón de calificación determinado, a fin de llamar la atención sobre posibles incoherencias o anomalías;
– que el sistema de IA esté destinado a realizar una tarea preparatoria para una evaluación que sea pertinente a efectos de los casos de uso enumerados en el anexo III, con lo que la posible repercusión de los resultados de salida del sistema sería muy escasa en términos de representar un riesgo para la subsiguiente evaluación, condición que comprende, entre otras cosas, soluciones inteligentes para la gestión de archivos, lo que incluye funciones diversas tales como la indexación, la búsqueda, el tratamiento de texto y del habla o la vinculación de datos a otras fuentes de datos, o bien los sistemas de IA utilizados para la traducción de los documentos iniciales.
Sin embargo, todos sistemas de IA incluidos en el anexo III siempre se considerarán de alto riesgo cuando el sistema de IA efectúe la elaboración de perfiles de personas físicas.
Los proveedores que, basándose en las referidas condiciones, consideren que un sistema de IA no es de alto riesgo, deben elaborar la documentación de la evaluación previamente a la introducción en el mercado o la entrada en servicio de dicho sistema de IA y facilitarla a las autoridades nacionales competentes cuando estas lo soliciten, estando obligados, además, a registrar el sistema en la correspondiente base de datos de la UE.
Dado que los datos biométricos constituyen una categoría de datos personales sensibles, procede clasificar como de alto riesgo varios casos de uso críticos de sistemas biométricos, en la medida que su utilización esté permitida con arreglo al Derecho de la Unión y nacional pertinente debido al riesgo de que puedan dar lugar a resultados sesgados y tener efectos discriminatorios, especialmente respecto a la edad, la etnia, la raza, el sexo o la discapacidad. Ahora bien, se excluyen los sistemas de IA destinados a la verificación biométrica, que incluye la autenticación, cuyo único propósito es confirmar que una persona física concreta es quien dicha persona dice ser, así como confirmar la identidad de una persona física con la finalidad exclusiva de que tenga acceso a un servicio, desbloquee un dispositivo o tenga un acceso seguro a un local. Y también deben clasificarse como de alto riesgo los sistemas de IA destinados a ser utilizados para la categorización biométrica conforme a atributos o características sensibles protegidos en virtud del art. 9.1 del Reglamento (UE) 2016/679 sobre la base de datos biométricos.
Asimismo, se clasifican como de alto riesgo los sistemas de IA destinados a ser utilizados como componentes de seguridad en la gestión y el funcionamiento de las infraestructuras digitales críticas que se enumeran en el anexo, punto 8, de la Directiva (UE) 2022/2557, del tráfico rodado y del suministro de agua, gas, calefacción y electricidad, pues un fallo o un defecto de funcionamiento de estos componentes puede poner en peligro la vida y la salud de las personas a gran escala y alterar de manera considerable el desarrollo habitual de las actividades sociales y económicas.
Por lo que respecta al ámbito educativo, deben clasificarse como de alto riesgo los sistemas de IA que se utilizan en la educación o la formación profesional, y en particular aquellos que determinan el acceso o la admisión, distribuyen a las personas entre distintas instituciones educativas y de formación profesional o programas de todos los niveles, evalúan los resultados del aprendizaje de las personas, evalúan el nivel apropiado de educación de una persona e influyen sustancialmente en el nivel de educación y formación que las personas recibirán o al que podrán acceder, o supervisan y detectan comportamientos prohibidos de los estudiantes durante las pruebas, ya que pueden decidir la trayectoria formativa y profesional de una persona y, en consecuencia, puede afectar a su capacidad para asegurar su subsistencia.
También deben clasificarse como de alto riesgo los sistemas de IA que se utilizan en los ámbitos del empleo, la gestión de los trabajadores y el acceso al autoempleo, en particular para la contratación y la selección de personal, para la toma de decisiones que afecten a las condiciones de las relaciones de índole laboral, la promoción y la rescisión de relaciones contractuales de índole laboral, para la asignación de tareas a partir de comportamientos individuales o rasgos o características personales y para la supervisión o evaluación de las personas en el marco de las relaciones contractuales de índole laboral, dado que pueden afectar de un modo considerable a las futuras perspectivas laborales, a los medios de subsistencia de dichas personas y a los derechos de los trabajadores.
Respecto al acceso a determinados servicios y prestaciones esenciales, de carácter público y privado, necesarios para que las personas puedan participar plenamente en la sociedad o mejorar su nivel de vida, y el disfrute de dichos servicios y prestaciones, se clasifican como de alto riesgo la utilización de sistemas de IA para decidir si las autoridades deben conceder, denegar, reducir o revocar dichas prestaciones y servicios o reclamar su devolución, lo que incluye decidir, por ejemplo, si los beneficiarios tienen legítimamente derecho a dichas prestaciones y servicios, podría tener un efecto considerable en los medios de subsistencia de las personas y vulnerar sus derechos fundamentales, como el derecho a la protección social, a la no discriminación, a la dignidad humana o a la tutela judicial efectiva y, por lo tanto, deben clasificarse como de alto riesgo. No obstante, no cabe obstaculizar el desarrollo y el uso de enfoques innovadores en la Administración, que podrían beneficiarse de una mayor utilización de sistemas de IA conformes y seguros, siempre y cuando dichos sistemas no supongan un alto riesgo para las personas jurídicas y físicas.
Además, deben clasificarse como de alto riesgo los sistemas de IA usados para evaluar la calificación crediticia o solvencia de las personas físicas, ya que deciden si dichas personas pueden acceder a recursos financieros o servicios esenciales como la vivienda, la electricidad y los servicios de telecomunicaciones, pudiendo discriminar a determinadas personas o colectivos y perpetuar patrones históricos de discriminación, como por motivos de origen racial o étnico, género, discapacidad, edad u orientación sexual, o generar nuevas formas de discriminación. No obstante, los sistemas de IA previstos por el Derecho de la Unión con vistas a detectar fraudes en la oferta de servicios financieros y, a efectos prudenciales, para calcular los requisitos de capital de las entidades de crédito y las empresas de seguros no deben considerarse de alto riesgo.
Los sistemas de IA destinados a ser utilizados para la evaluación de riesgos y la fijación de precios en relación con las personas físicas en el caso de los seguros de vida y de salud también pueden afectar de un modo considerable a los medios de subsistencia de las personas y pueden vulnerar sus derechos fundamentales si no se utilizan debidamente, con graves consecuencias para la vida y la salud de las personas, como la exclusión financiera y la discriminación.
Los sistemas de IA empleados para evaluar y clasificar llamadas de emergencia de personas físicas o el envío o el establecimiento de prioridades en el envío de servicios de primera intervención en situaciones de emergencia, incluidos policía, bomberos y servicios de asistencia médica, así como sistemas de triaje de pacientes para la asistencia sanitaria de emergencia, también deben considerarse de alto riesgo, dado que adoptan decisiones en situaciones sumamente críticas para la vida y la salud de las personas y de sus bienes.
Por lo que respecta a las actuaciones de las autoridades garantes del cumplimiento del Derecho que implican determinados usos de los sistemas de IA, en la medida en que su uso esté permitido conforme al Derecho de la Unión y nacional pertinente, procede clasificar como de alto riesgo varios sistemas de IA destinados a ser utilizados con fines de garantía del cumplimiento del Derecho cuando su precisión, fiabilidad y transparencia sean especialmente importantes para evitar consecuencias adversas, conservar la confianza de la población y garantizar la rendición de cuentas y unas vías de recurso efectivas. En particular, se incluyen los sistemas de IA destinados a ser utilizados por las autoridades garantes del cumplimiento del Derecho, o en nombre de estas, o por las instituciones, órganos u organismos de la Unión en apoyo de las primeras, para evaluar el riesgo de que una persona física sea víctima de delitos, como los polígrafos y otras herramientas similares, para evaluar la fiabilidad de las pruebas durante la investigación o el enjuiciamiento de delitos y para evaluar el riesgo de que una persona física cometa un delito o reincida, no solo sobre la base de la elaboración de perfiles de personas físicas o la evaluación de rasgos y características de la personalidad o comportamientos delictivos pasados de personas físicas o grupos de personas, o para elaborar perfiles durante la detección, la investigación o el enjuiciamiento de delitos. Por el contrario, los sistemas de IA destinados específicamente a ser utilizados en procesos administrativos por las autoridades fiscales y aduaneras y las unidades de inteligencia financiera que desempeñan tareas administrativas de análisis de información de conformidad con el Derecho de la Unión en materia de lucha contra el blanqueo de capitales no deben clasificarse como sistemas de IA de alto riesgo usados por las autoridades garantes del cumplimiento del Derecho con el fin de prevenir, detectar, investigar y enjuiciar delitos.
En la medida en que su utilización esté permitida en virtud del Derecho de la Unión y nacional, procede clasificar como de alto riesgo aquellos sistemas de IA destinados a ser utilizados por las autoridades públicas competentes, o en su nombre, o por las instituciones, órganos u organismos de la Unión que realizan tareas en el ámbito de la migración, el asilo y la gestión del control fronterizo como polígrafos y herramientas similares, para evaluar determinados riesgos que presenten las personas físicas que entren en el territorio de un Estado miembro o que soliciten un visado o asilo, para ayudar a las autoridades públicas competentes a examinar, con inclusión de la evaluación conexa de la fiabilidad de las pruebas, las solicitudes de asilo, visado y permiso de residencia, así como las reclamaciones conexas en relación con el objetivo de determinar si las personas físicas solicitantes reúnen los requisitos necesarios para que se conceda su solicitud, a efectos de detectar, reconocer o identificar a las personas físicas en el contexto de la migración, el asilo y la gestión del control fronterizo, con excepción de la verificación de los documentos de viaje.
De los destinados a la administración de justicia, se clasifican como de alto riesgo aquellos sistemas de IA destinados a ser utilizados por una autoridad judicial o en su nombre para ayudar a las autoridades judiciales a investigar e interpretar los hechos y el Derecho y a aplicar la ley a unos hechos concretos, así como los destinados a ser utilizados por los organismos de resolución alternativa de litigios con esos fines, cuando los resultados de los procedimientos de resolución alternativa de litigios surtan efectos jurídicos para las partes. La utilización de herramientas de IA puede apoyar el poder de decisión de los jueces o la independencia judicial, pero no debe substituirlas, por cuanto la toma de decisiones finales debe seguir siendo una actividad humana. No obstante, la clasificación de los sistemas de IA como de alto riesgo no abarca a aquellos destinados a actividades administrativas meramente accesorias que no afectan a la administración de justicia propiamente dicha en casos concretos, como la anonimización o seudonimización de resoluciones judiciales, documentos o datos, la comunicación entre los miembros del personal o las tareas administrativas.
Y se clasifican como sistemas de IA de alto riesgo los destinados a ser utilizados para influir en el resultado de una elección o un referéndum, o en el comportamiento electoral de las personas físicas en el ejercicio de su voto en elecciones o referendos, con excepción de los sistemas de IA a cuyos resultados de salida las personas físicas no están directamente expuestas, como las herramientas utilizadas para organizar, optimizar y estructurar campañas políticas desde un punto de vista administrativo y logístico.
Medidas de apoyo a la innovación.
Dado que la IA es una familia de tecnologías de rápida evolución, la misma requiere vigilancia regulatoria y un espacio seguro y controlado para la experimentación, así como que se garantice la innovación responsable y la integración de salvaguardias éticas y medidas de reducción de riesgos adecuadas.
Por ello, y con el fin de conseguir un marco jurídico que promueva la innovación, resista el paso del tiempo y sea resiliente a las perturbaciones, los Estados miembros deben velar por que sus autoridades nacionales competentes establezcan al menos un espacio controlado de pruebas para la IA a escala nacional que facilite el desarrollo y la prueba de sistemas de IA innovadores bajo una estricta vigilancia regulatoria antes de su introducción en el mercado o puesta en servicio. Dicho espacio controlado de pruebas también podrá establecerse conjuntamente con las autoridades competentes de otros Estados miembros. La Comisión podrá proporcionar apoyo técnico, asesoramiento y herramientas para el establecimiento y el funcionamiento de los espacios controlados de pruebas para la IA.
Los espacios controlados de pruebas para la IA podrán establecerse de forma física, digital o híbrida y podrán albergar productos tanto físicos como digitales. Las autoridades que los creen deben también garantizar que los espacios controlados de pruebas para la IA dispongan de recursos adecuados para su funcionamiento, incluidos recursos financieros y humanos.
A estos efectos, la norma detalla los objetivos a los que ha de contribuir el establecimiento de estos espacios controlados.
Por su parte, el Supervisor Europeo de Protección de Datos también podrá establecer un espacio controlado de pruebas para la IA para las instituciones, órganos y organismos de la Unión, y podrá ejercer las funciones y tareas de las autoridades nacionales competentes de conformidad con el presente capítulo.
Las autoridades competentes proporcionarán, en su caso, orientación, supervisión y apoyo dentro del espacio controlado de pruebas para la IA con vistas a determinar los riesgos, en particular para los derechos fundamentales, la salud y la seguridad, a las pruebas y a las medidas de reducción y su eficacia en relación con las obligaciones y los requisitos establecidos y, cuando proceda, de otras disposiciones de Derecho de la Unión y nacional cuya observancia se supervise en el espacio controlado de pruebas. Además, proporcionarán a los proveedores y proveedores potenciales que participen en el espacio controlado de pruebas para la IA orientaciones sobre las expectativas en materia de regulación y la manera de cumplir los requisitos y obligaciones requeridos.
Dentro de este mismo contexto, la norma incorpora disposiciones detalladas relativas a los espacios controlados de pruebas para la IA y al funcionamiento de dichos espacios.
Asimismo, se ocupa del tratamiento ulterior de datos personales para el desarrollo de determinados sistemas de IA en favor del interés público en el espacio controlado de pruebas para la IA, determinando las condiciones que deben concurrir para que puedan tratarse en el espacio controlado de pruebas, los datos personales recabados lícitamente con otros fines con el objetivo de desarrollar, entrenar y probar determinados sistemas de IA.
Además, el texto regula un régimen específico para que los proveedores o proveedores potenciales de sistemas de IA de alto riesgo mencionados en el anexo III puedan realizar pruebas de sistemas de IA de alto riesgo en condiciones reales fuera de los espacios controlados de pruebas para la IA, estableciéndose garantías y condiciones adecuadas y suficientes y sin perjuicio de las prohibiciones que se establecen y sin perjuicio de cualquier revisión ética que se exija en el Derecho de la Unión o nacional. A los efectos de estas pruebas en condiciones reales, se obtendrá de los sujetos de las pruebas un consentimiento informado dado libremente antes de participar en dichas pruebas y después de haber recibido información concisa, clara, pertinente y comprensible.
Se anima a los Estados miembros a que respalden y promuevan la investigación y el desarrollo de soluciones de IA para aumentar la accesibilidad para las personas con discapacidad, atajar desigualdades socioeconómicas o cumplir los objetivos en materia de medio ambiente, asignando recursos suficientes, incluidos fondos públicos y de la Unión, y, cuando proceda y siempre que se cumplan los criterios de admisibilidad y selección, teniendo en consideración especialmente proyectos que persigan tales objetivos.
Por otra parte, la norma indica aquellas medidas que han de adoptar los Estados miembros dirigidas a proveedores y responsables del despliegue, en particular pymes, incluidas las empresas emergentes, para promover y proteger la innovación. A tal fin, deben desarrollar iniciativas en materia de concienciación y comunicación de información, entre otros aspectos, dirigidas a dichos operadores; proporcionar a quienes tengan un domicilio social o una sucursal en la Unión, un acceso prioritario a los espacios controlados de pruebas para la IA, siempre que cumplan las condiciones de admisibilidad y los criterios de selección y sin impedir que otros proveedores y proveedores potenciales accedan a los espacios controlados de pruebas; utilizar los canales existentes y establecer, cuando proceda, nuevos canales de comunicación específicos; o fomentar la participación de las pymes y otras partes interesadas pertinentes en los procesos de desarrollo de la normalización.
Por último, cabe destacar que, con el fin de garantizar la proporcionalidad en relación con los costes de innovación, se permite que las microempresas cumplan una de las obligaciones más costosas, a saber, la de establecer un sistema de gestión de la calidad, de manera simplificada, lo que reduciría la carga administrativa y los costes para dichas empresas sin afectar al nivel de protección ni a la necesidad de cumplir los requisitos aplicables a los sistemas de IA de alto riesgo.
Con el fin de promover y proteger la innovación, la plataforma de IA a la carta y todos los programas y proyectos de financiación de la Unión pertinentes, como el programa Europa Digital u Horizonte Europa, ejecutados por la Comisión y los Estados miembros a escala nacional o de la Unión deben, cuando proceda, contribuir a la consecución de los objetivos del presente Reglamento.
Gobernanza.
La norma establece un marco de gobernanza que permita tanto coordinar y apoyar su aplicación a escala nacional, como desarrollar capacidades a escala de la Unión e integrar a las partes interesadas en el ámbito de la IA.
En primer lugar, dispone que la Comisión desarrollará los conocimientos especializados y las capacidades de la Unión en el ámbito de la IA mediante la Oficina de IA, cuyas tareas deberán facilitar los Estados miembros.
En segundo lugar, se crea un Consejo Europeo de IA, compuesto de un representante por Estado miembro, designado por un periodo de tres años, renovable una vez. El Supervisor Europeo de Protección de Datos participará en calidad de observador. La Oficina de IA también asistirá a las reuniones del Consejo de IA sin participar en las votaciones. El Consejo de IA debe encargarse de diversas tareas de asesoramiento, como emitir dictámenes, recomendaciones e informes de asesoramiento o contribuir a orientaciones sobre asuntos relacionados con la aplicación del Reglamento, también en lo que respecta a la ejecución, especificaciones técnicas o normas existentes en relación con los requisitos previstos en el mismo, y asesorar a la Comisión y a los Estados miembros, así como a sus autoridades nacionales competentes, en cuestiones específicas vinculadas a la IA.
En tercer lugar, se crea un foro consultivo para proporcionar conocimientos técnicos y asesorar al Consejo de IA y a la Comisión, así como para contribuir a las funciones de estos. Su composición representará una selección equilibrada de partes interesadas, incluidos la industria, las empresas emergentes, las pymes, la sociedad civil y el mundo académico, y sus miembros serán nombrados por la Comisión por un mandato de dos años, prorrogables hasta un máximo de cuatro años.
En cuarto lugar, la Comisión adoptará, mediante un acto de ejecución, disposiciones sobre la creación de un grupo de expertos científicos independientes, destinado a apoyar las actividades de garantía del cumplimiento previstas en el Reglamento. Estará compuesto por expertos seleccionados por la Comisión sobre la base de conocimientos científicos o técnicos actualizados en el ámbito de la IA y deben desempeñar sus funciones con imparcialidad y objetividad y garantizar la confidencialidad de la información y los datos obtenidos en el ejercicio de sus funciones y actividades. Los Estados miembros deben poder solicitar el apoyo de los expertos que constituyan el grupo científico para sus actividades de garantía del cumplimiento, pudiendo exigírseles que paguen tasas por el asesoramiento y el apoyo prestado por los expertos.
Por último, cada Estado miembro debe designar al menos una autoridad notificante y al menos una autoridad de vigilancia del mercado como autoridades nacionales competentes que se encarguen de supervisar su aplicación y ejecución del Reglamento.
Códigos de conducta.
Dispone la norma que la Oficina de IA y los Estados miembros fomentarán y facilitarán la elaboración de códigos de conducta, con los correspondientes mecanismos de gobernanza, destinados a fomentar la aplicación voluntaria de alguno o de todos los requisitos establecidos para los sistemas de IA de alto riesgo a los sistemas de IA que no sean de alto riesgo, teniendo en cuenta las soluciones técnicas disponibles y las mejores prácticas del sector que permitan la aplicación de dichos requisitos. Asimismo, facilitarán la elaboración de códigos de conducta relativos a la aplicación voluntaria, también por parte de los responsables del despliegue, de requisitos específicos para todos los sistemas de IA, sobre la base de objetivos claros e indicadores clave de resultados para medir la consecución de dichos objetivos.
Por su parte, la Comisión elaborará directrices sobre la aplicación práctica del Reglamento y, en particular, prestando especial atención a las necesidades de las pymes, incluidas las empresas emergentes, de las autoridades públicas locales y de los sectores que tengan más probabilidades de verse afectados por el mismo.
Sanciones.
Se debe poder exigir el cumplimiento del Reglamento mediante la imposición de sanciones y otras medidas de ejecución, para lo cual los Estados miembros deben tomar todas las medidas necesarias para garantizar que se apliquen sus disposiciones estableciendo un régimen de sanciones y otras medidas de ejecución, como advertencias o medidas no pecuniarias, aplicables a las infracciones del presente Reglamento que cometan los operadores.
Las sanciones deben ser efectivas, proporcionadas y disuasorias para las infracciones y respetar el principio de non bis in idem. Asimismo, se establecen los límites máximos para la imposición de las multas administrativas en el caso de ciertas infracciones concretas. A la hora de determinar la cuantía de las multas, los Estados miembros deben tener en cuenta, en cada caso concreto, todas las circunstancias pertinentes de la situación de que se trate, considerando especialmente la naturaleza, gravedad y duración de la infracción y de sus consecuencias, así como el tamaño del proveedor, en particular si este es una pyme o una empresa emergente.
Además, el Supervisor Europeo de Protección de Datos debe estar facultado para imponer multas a las instituciones, los órganos y los organismos de la Unión incluidos en el ámbito de aplicación del Reglamento.
Por último, la norma se refiere de forma específica a las multas a los proveedores de modelos de IA de uso general.
Modificaciones legislativas.
– Reglamento (CE) n.º 300/2008 del Parlamento Europeo y del Consejo, de 11 de marzo de 2008, sobre normas comunes para la seguridad de la aviación civil y por el que se deroga el Reglamento (CE) nº 2320/2002: se añade un párrafo en el artículo 4, apartado 3
– Reglamento (UE) n.º 167/2013 del Parlamento Europeo y del Consejo, de 5 de febrero de 2013, relativo a la homologación de los vehículos agrícolas o forestales, y a la vigilancia del mercado de dichos vehículos: se añade un párrafo en el artículo 17, apartado 5
– Reglamento (UE) n.º 168/2013 del Parlamento Europeo y del Consejo, de 15 de enero de 2013, relativo a la homologación de los vehículos de dos o tres ruedas y los cuatriciclos, y a la vigilancia del mercado de dichos vehículos: se añade un párrafo en el artículo 22, apartado 5
– Directiva 2014/90/UE del Parlamento Europeo y del Consejo, de 23 de julio de 2014, sobre equipos marinos, y por la que se deroga la Directiva 96/98/CE del Consejo: se añade un apartado 5 en el artículo 8
– Directiva (UE) 2016/797 del Parlamento Europeo y del Consejo, de 11 de mayo de 2016, sobre la interoperabilidad del sistema ferroviario dentro de la Unión Europea: se añade un apartado 12 en el artículo 5.
– Reglamento (UE) 2018/858 del Parlamento Europeo y del Consejo, de 30 de mayo de 2018, sobre la homologación y la vigilancia del mercado de los vehículos de motor y sus remolques y de los sistemas, los componentes y las unidades técnicas independientes destinados a dichos vehículos, por el que se modifican los Reglamentos (CE) n.º 715/2007 y (CE) n.º 595/2009 y por el que se deroga la Directiva 2007/46/CE: se añade un apartado 4 en el artículo 5.
– Reglamento (UE) 2018/1139 del Parlamento Europeo y del Consejo, de 4 de julio de 2018, sobre normas comunes en el ámbito de la aviación civil y por el que se crea una Agencia de la Unión Europea para la Seguridad Aérea y por el que se modifican los Reglamentos (CE) n.º 2111/2005, (CE) n.º 1008/2008, (UE) n.º 996/2010 y (UE) n.º 376/2014 y las Directivas 2014/30/UE y 2014/53/UE del Parlamento Europeo y del Consejo y se derogan los Reglamentos (CE) n.º 552/2004 y (CE) n.º 216/2008 del Parlamento Europeo y del Consejo y el Reglamento (CEE) n.º 3922/91 del Consejo: se añade un apartado 3 en el artículo 17; un apartado 4 en el artículo 19; un apartado 4 en el artículo 43; un apartado 3 en el artículo 47; un párrafo en el artículo 57 y, un apartado 3 en el artículo 58.
– Reglamento (UE) 2019/2144 del Parlamento Europeo y del Consejo, de 27 de noviembre de 2019, relativo a los requisitos de homologación de tipo de los vehículos de motor y de sus remolques, así como de los sistemas, componentes y unidades técnicas independientes destinados a esos vehículos, en lo que respecta a su seguridad general y a la protección de los ocupantes de los vehículos y de los usuarios vulnerables de la vía pública, por el que se modifica el Reglamento (UE) 2018/858 del Parlamento Europeo y del Consejo y se derogan los Reglamentos (CE) n.º 78/2009, (CE) n.º 79/2009 y (CE) n.º 661/2009 del Parlamento Europeo y del Consejo y los Reglamentos (CE) n.º 631/2009, (UE) n.º 406/2010, (UE) n.º 672/2010, (UE) n.º 1003/2010, (UE) n.º 1005/2010, (UE) n.º 1008/2010, (UE) n.º 1009/2010, (UE) n.º 19/2011, (UE) n.º 109/2011, (UE) n.º 458/2011, (UE) n.º 65/2012, (UE) n.º 130/2012, (UE) n.º 347/2012, (UE) n.º 351/2012, (UE) n.º 1230/2012 y (UE) 2015/166 de la Comisión: se añade un apartado 3 en el artículo 11.
– Directiva (UE) 2020/1828 del Parlamento Europeo y del Consejo de 25 de noviembre de 2020 relativa a las acciones de representación para la protección de los intereses colectivos de los consumidores, y por la que se deroga la Directiva 2009/22/CE: se añade el punto 68 en el anexo I.
Entrada en vigor.
El Reglamento (UE) 2024/1689 entra en vigor el 1 de agosto de 2024, a los veinte días de su publicación en el Diario Oficial de la Unión Europea y será aplicable a partir del 2 de agosto de 2026.
No obstante, los capítulos I y II serán aplicables a partir del 2 de febrero de 2025, el capítulo III, sección 4, el capítulo V, el capítulo VII y el capítulo XII y el artículo 78 serán aplicables a partir del 2 de agosto de 2025, a excepción del artículo 101, y el artículo 6, apartado 1, y las obligaciones correspondientes del presente Reglamento serán aplicables a partir del 2 de agosto de 2027.
Respecto a los sistemas de IA ya introducidos en el mercado o puestos en servicio y modelos de IA de uso general ya introducidos en el mercado o se hayan puesto en servicio antes del 2 de agosto de 2027 deberán estar en conformidad con el presente Reglamento a más tardar el 31 de diciembre de 2030.
Fuente: IIILA LEY. Consejo General de Economistas. REAF Asesores Fiscales.