Sesgo en la inteligencia artificial: por qué los modelos se equivocan

Existe la idea cómoda de que una máquina es objetiva porque no tiene sentimientos. Suena lógico, pero es falso. Un modelo de inteligencia artificial no nace sabiendo; aprende copiando patrones de montañas de datos que generamos las personas. Y si esos datos están torcidos, el modelo aprende el mismo torcido, solo que a gran escala y con cara de neutralidad.

Entender el sesgo no es un tema de filosofía abstracta. Cada vez más decisiones que afectan tu vida —quién recibe un crédito, a quién llaman para una entrevista, a quién identifica una cámara— pasan por algún algoritmo. Vale la pena saber por qué a veces se equivoca.

Qué es el sesgo en la IA

Sesgo, en este contexto, significa que un sistema produce resultados sistemáticamente peores o injustos para ciertos grupos de personas. No es un error aislado que le pasa a cualquiera por igual; es un patrón que castiga más a unos que a otros. Y casi siempre la raíz está en un mismo lugar: los datos con los que el modelo aprendió.

Un conjunto de datos mayoritariamente blanco no produce resultados precisos para rostros oscuros; entrenar un sistema solo con imágenes de hombres no garantiza que funcione con mujeres.

El caso del reconocimiento facial

El ejemplo más estudiado es el reconocimiento facial. En 2018, la investigadora Joy Buolamwini, del MIT Media Lab, publicó el proyecto Gender Shades, donde probó sistemas comerciales de IBM, Microsoft y Face++. El hallazgo fue contundente: clasificaban el género de hombres de piel clara con un error de apenas 0,8 %, pero el error subía hasta 34,7 % en mujeres de piel oscura. El mismo sistema, casi perfecto para unos y muy malo para otras.

No fue una anécdota. En 2019, el NIST, la agencia de estándares de Estados Unidos, evaluó 189 algoritmos de 99 desarrolladores con más de 18 millones de imágenes. Su autor principal, Patrick Grother, reportó que muchos algoritmos daban falsos positivos para rostros asiáticos y afroamericanos entre 10 y 100 veces más seguido que para rostros caucásicos. El NIST también notó algo revelador: los algoritmos desarrollados en Asia no mostraban esa brecha con rostros asiáticos, probablemente porque sus datos de entrenamiento incluían más caras asiáticas.

El caso de la contratación

El sesgo no vive solo en las cámaras. Amazon construyó una herramienta para filtrar currículums, entrenada con los de empleados que en el pasado habían tenido éxito en la empresa. Como esos empleados eran mayoritariamente hombres, el modelo aprendió a penalizar los currículums que contenían la palabra "mujeres" o que mencionaban universidades femeninas. La máquina no era machista por maldad; simplemente reprodujo, amplificada, una desigualdad que ya existía en los datos históricos.

De dónde viene el sesgo

Si miramos los ejemplos, el problema casi nunca es el código en sí, sino lo que entra y cómo lo usamos. Las fuentes coinciden en unas pocas causas recurrentes.

• Datos poco representativos: si un grupo aparece poco en el entrenamiento, el modelo aprende mal sobre él.
• Historia injusta empaquetada como verdad: si los datos reflejan decisiones humanas sesgadas, el modelo las hereda como si fueran la norma.
• Etiquetas y criterios humanos: alguien decidió qué contaba como "buen candidato" o "coincidencia", y ese juicio también lleva sesgo.
• Falta de pruebas por grupo: si nadie mide el desempeño separando por edad, género o tono de piel, la brecha queda invisible.

Qué significa esto para un negocio normal

No hace falta entrenar un modelo gigante para que el tema te afecte. Si usas herramientas de IA para clasificar clientes, filtrar mensajes o recomendar acciones, conviene desconfiar sanamente. Pregunta al proveedor con qué datos se entrenó, prueba la herramienta con tu propia clientela real y vigila si trata distinto a grupos que deberían ser tratados igual. La buena noticia es que el sesgo, una vez que se mide, se puede corregir; lo peligroso es no mirarlo.

Por eso conviene elegir herramientas que sean transparentes sobre sus límites. Un agente conversacional como Lidia, por ejemplo, debe medirse por cómo atiende a todos tus clientes por igual, no solo al cliente promedio que aparecía más en los ejemplos.

Por qué importa medir por grupo

Hay una lección práctica escondida en el caso del NIST que casi nadie comenta. Cuando midieron el desempeño promedio, varios algoritmos parecían excelentes; el problema solo se hizo visible al separar los resultados por grupo. Un sistema puede tener un 98 % de acierto general y, aun así, fallar de forma grave con una minoría que pesa poco en el promedio. El promedio, sin querer, esconde a quienes menos aparecen.

Para un negocio, la moraleja es directa: no te conformes con el número global que te enseña el vendedor. Pregunta cómo funciona con distintos tipos de cliente, en distintos acentos, en distintos contextos. Si una herramienta solo presume su promedio y se incomoda cuando pides el detalle por grupo, esa incomodidad ya te dice algo.

Para llevar

La IA no es ni mágica ni malvada: es un espejo de los datos que le damos. Cuando esos datos son parciales, el modelo lo será también, con la trampa de que parece imparcial. Casos como Gender Shades, el NIST y Amazon no demuestran que la IA sea inservible, sino que necesita supervisión humana, datos cuidados y la honestidad de medir si trata bien a todos. Esa vigilancia no es un freno a la tecnología; es lo que la hace confiable.

Fuentes

• MIT Media Lab — https://www.media.mit.edu/articles/study-finds-gender-and-skin-type-bias-in-commercial-artificial-intelligence-systems/
• NIST — https://www.nist.gov/news-events/news/2019/12/nist-study-evaluates-effects-race-age-sex-face-recognition-software
• MIT Sloan — https://mitsloan.mit.edu/ideas-made-to-matter/unmasking-bias-facial-recognition-algorithms
• CSIS — https://www.csis.org/blogs/strategic-technologies-blog/problem-bias-facial-recognition
• Wikipedia (Algorithmic bias) — https://en.wikipedia.org/wiki/Algorithmic_bias