María Dapena es consultora internacional en vulnerabilidad, protección internacional y en aspectos éticos y jurídicos de la IA Y ha investigado su impacto en personas vulnerables, migrantes y refugiados. Como IEEE Certified Ethics Lead Assessor of Autonomous Intelligent Systems, Maria Dapena asesora a empresas e instituciones públicas en aspectos éticos y legales del uso de sistemas de Inteligencia Artificial (IA). Además, como embajadora de Women in AI Spain, Dapena, y su equipo, trabajan para reducir la brecha de género en el ecosistema de la IA en España.
Usted ofrece en este congreso de Tecnologías Emergentes la conferencia “Inteligencia Artificial y Diversidad, la nueva asignatura pendiente de la IA”, ¿Cuál es el objetivo de la ponencia y qué se quiere trasladar con ella al público que asistirá el próximo 14 de noviembre?
El objetivo principal de la ponencia es abordar los desafíos actuales en materia de diversidad e inclusión en el desarrollo de la IA. Los sistemas de IA, además de eficientes y transformadores, pueden reproducir o amplificar los sesgos no deseados y producir efectos negativos si no se establecen unas garantías y guardarraíles. Mi intención es informar sobre estos riesgos, destacar la importancia de una IA inclusiva y fiable y proponer estrategias que ayuden a las organizaciones a crear tecnologías más justas y equitativas.
¿Cuáles son los principales desafíos que enfrentan las mujeres y las minorías en el ámbito de la IA y la tecnología?
Dos realidades interrelacionadas:
Por un lado, la subrepresentación de mujeres (en torno al 18% global) y otros subgrupos sociales en roles técnicos y de toma de decisiones en el desarrollo de IA. Esto puede conducir a la creación de sistemas que no reflejan la diversidad de experiencias o necesidades, y cuyos efectos negativos hubieran podido ser previstos y radicados o cuanto menos mitigados. Además, los datos utilizados para entrenar estos sistemas a menudo están sesgados, lo que puede perpetuar estereotipos y reforzar desigualdades estructurales.
Por otro lado, el gran impacto que tienen estos sistemas en las mujeres. Los datos muestran una sobrerrepresentación femenina (99%) entre víctimas de deepfakes y en el segmento de trabajadores potencialmente desplazados por sistemas de IA (70%).
¿Cómo pueden los sesgos de género y raza en los datos de entrenamiento afectar la implementación de la IA, y qué estrategias existen / recomienda para mitigarlos?
Los sesgos en los datos de entrenamiento pueden resultar en decisiones automatizadas injustas ocasionando desigualdades y perpetuando estereotipos que en algunos casos ya creíamos superados (Ej: “si es una persona y está en la cocina, es una mujer”).
Se basan en el principio Garbage in, Garbage out, es decir si los datos son sesgados, los resultados lo serán también, con ejemplos conocidos en varios usos como en la contratación (Amazon), el reconocimiento facial (Gender Shades) o COMPASs en el caso de recidiva criminal (aquí en España con RISCANVI).
Para mitigar este riesgo se deberían usar bases de datos sintéticos creados artificialmente asegurándonos que son diversos y representativos o emplear técnicas de detección y corrección del sesgo.
Sin embargo cabe mencionar que los sesgos se pueden filtrar en el sistema en otras fases del desarrollo como en en la selección de los parámetros. Para mitigarlos, se deben implantar estructuras de gobernanza ética, que cambien la dinámica de lanzar al mundo versiones de modelos de IA que no han sido lo suficientemente testadas, o utilizar a la ciudadanía como testadores. Resulta importante realizar evaluaciones de impacto ético antes del despliegue de sistemas de IA durante su uso y un sistema de monitoreo que garantice el desarrollo de IA fiables, un sistema análogo al de las medicinas, donde cualquier medicación ha de pasar un proceso de evaluación y aprobación antes de poder ser recetada o vendida.
¿Qué ejemplos positivos de aplicaciones de IA inclusiva ha encontrado en su trabajo y qué lecciones podemos aprender de ellos?
Hay ejemplos prometedores en el ámbito de la salud, donde la IA es capaz de detectar indicadores de enfermedades no perceptibles al ojo humano, o en el ámbito de la genética. También en el ámbito del cambio climático donde realizan simulaciones e idean sistemas que nos podrían ayudar a frenar su ritmo. Otro ejemplo es el uso de sistemas de IA en la educación para personalizar el aprendizaje, de acuerdo con las necesidades de estudiantes de diferentes orígenes, garantizando así un acceso equitativo al conocimiento. La lección clave es que la IA inclusiva requiere un diseño consciente y participativo desde sus etapas iniciales.
Desde su perspectiva, ¿cómo puede la inteligencia artificial contribuir a la igualdad de género y a la inclusión social?
La IA puede ser una herramienta poderosa para identificar y corregir disparidades de género, como en los procesos de selección de personal o en el acceso a servicios financieros que ofrecen una selección ciega al género o a las características personales de los candidatos, mitigando la posibilidad de decisiones sesgadas. Si se diseña con principios éticos claros y se utiliza de manera consciente, la IA puede ayudar a crear sociedades más inclusivas al automatizar procesos con menos prejuicios y promover la igualdad de oportunidades. Para lograrlo, es esencial que las mujeres y las minorías participen activamente en la creación y desarrollo e implantación de estas tecnologías. Es fundamental que no perdamos este tren que ha salido de la estación y va a toda máquina.
¿Cómo pueden las empresas y organizaciones medir el éxito en la implementación de prácticas de diversidad e inclusión en sus iniciativas de IA?
El éxito puede medirse a través de varios indicadores, como la diversidad de los equipos que desarrollan la IA, la transparencia en los procesos de toma de decisiones automatizados y el grado de supervisión humana, la inclusión de una evaluación continua del impacto de los sistemas de IA en diferentes grupos de personas, etc. También es fundamental realizar auditorías periódicas para identificar y corregir posibles distorsiones en el funcionamiento de los algoritmos.
¿Qué papel pueden desempeñar las políticas públicas y los gobiernos en la promoción de la diversidad en la IA?
Los gobiernos juegan un rol crucial al establecer regulaciones que promuevan la equidad y la no discriminación en la IA, como lo vemos con el Reglamento Europeo de IA, que regula el uso dependiendo de su nivel de riesgo según el uso previsto para proteger los derechos fundamentales. Las políticas públicas deben fomentar la creación de estándares que garanticen la transparencia, la supervisión humana y la inclusión de una IA fiable, así como apoyar la formación y participación de mujeres y minorías en el ámbito de la tecnología.
