En el ámbito de la inteligencia artificial, Margaret Mitchell se destaca como una pionera en la evaluación de herramientas generativas en busca de sesgos. Su carrera incluye la fundación del equipo de Ética de la IA en Google, junto a la investigadora Timnit Gebru. Aunque ambas dejaron la empresa, Mitchell continúa su labor como líder de ética en IA en Hugging Face, una startup que se centra en herramientas de código abierto.

Recientemente, hablamos sobre un conjunto de datos innovador que Mitchell ayudó a crear, diseñado para evaluar cómo los modelos de IA siguen perpetuando estereotipos. A diferencia de la mayoría de los esfuerzos de mitigación de sesgos que se centran en el inglés, este conjunto de datos es flexible y cuenta con traducciones humanas para abarcar una mayor variedad de lenguas y culturas. Es sabido que la IA a menudo presenta una visión simplificada de los humanos, pero quizás no se perciba cómo estos problemas pueden intensificarse cuando las salidas ya no se generan en inglés.

El Nacimiento de SHADES: Un Conjunto de Datos para Evaluar Sesgos

El nuevo conjunto de datos, denominado SHADES, se diseñó para facilitar la evaluación y el análisis, surgiendo del proyecto BigScience. Hace aproximadamente cuatro años, se llevó a cabo un esfuerzo internacional masivo, donde investigadores de todo el mundo colaboraron para entrenar el primer modelo de lenguaje de gran escala totalmente abierto. Por «totalmente abierto» se entiende que tanto los datos de entrenamiento como el modelo son accesibles para todos.

Hugging Face desempeñó un papel crucial en el avance de este proyecto, proporcionando recursos computacionales y apoyo. Instituciones de todo el mundo financiaron a personas que trabajaban en diferentes partes de este proyecto. El modelo resultante, llamado Bloom, marcó el inicio de la idea de «ciencia abierta».

Dentro de este contexto, se formaron diversos grupos de trabajo para enfocarse en diferentes aspectos, y uno de ellos se dedicó a la evaluación. Se descubrió que realizar evaluaciones de impacto social de manera efectiva era sumamente complejo, incluso más que entrenar el modelo en sí.

La idea de un conjunto de datos de evaluación como SHADES se inspiró en Gender Shades, un proyecto que comparaba aspectos como género y tono de piel. Nuestro trabajo se centra en diferentes tipos de sesgos y en intercambiar características de identidad, como géneros o nacionalidades.

La Importancia de Ampliar el Enfoque a Más Lenguas y Culturas

Existen numerosos recursos en inglés y evaluaciones diseñadas para este idioma. Aunque hay algunos recursos multilingües relevantes para sesgos, a menudo se basan en traducción automática en lugar de traducciones realizadas por personas que hablan el idioma, están inmersas en la cultura y comprenden los sesgos en juego. Estas personas pueden proporcionar las traducciones más relevantes para lo que intentamos lograr.

Gran parte del trabajo en torno a la mitigación del sesgo de la IA se centra únicamente en el inglés y en estereotipos de unas pocas culturas seleccionadas. ¿Por qué es crucial ampliar esta perspectiva a más lenguas y culturas? Los modelos de IA se están desplegando en múltiples idiomas y culturas, por lo que mitigar los sesgos en inglés, incluso los traducidos, no se traduce en mitigar los sesgos relevantes en las diferentes culturas donde se están utilizando. Esto significa que existe el riesgo de desplegar un modelo que propague estereotipos realmente problemáticos en una región determinada, ya que están entrenados en estos diferentes idiomas.

Conclusión: Un Llamado a la Diversidad y la Inclusión en la IA

La expansión de la inteligencia artificial a nuevas lenguas y culturas plantea desafíos únicos en la mitigación de sesgos. A medida que la tecnología avanza, es esencial que los esfuerzos para evaluar y corregir estos sesgos también evolucionen, abarcando una variedad más amplia de contextos lingüísticos y culturales. Solo así podremos garantizar que la inteligencia artificial sirva como una herramienta inclusiva y equitativa para todos.