Sesgo y error
Los prejuicios de la IA
Durante la última década, hemos llegado a pasar gran parte de nuestras vidas en la esfera digital, una esfera que está cada vez más controlada por sólo un puñado de corporaciones. Estas empresas, ineludibles para la mayoría, ejercen un control considerable sobre lo que podemos ver y decir, así como sobre los tipos de herramientas de las que disponemos.
De Jillian C. York
Cuando se trata de imágenes en línea, este control se ejerce de varias maneras clave. Primero, en términos de lo que podemos ver. Las empresas –y los gobiernos– restringen varios tipos de contenido, desde el cuerpo humano desnudo hasta imágenes o videos que contienen información privada. Tomemos, por ejemplo, la prohibición de Instagram sobre el contenido sexualmente explícito o la reciente regla de Twitter de que un video privado no se puede compartir. Estas restricciones, aunque justificables, pueden tener un impacto negativo en las personas que usan dichas plataformas y que pueden tener una razón legítima para lo que están compartiendo.
En segundo lugar, las plataformas populares como Snapchat, Instagram y TikTok ofrecen filtros que distorsionan nuestras imágenes y, a menudo, nuestra autoimagen. Estos filtros, que han sido muy criticados por legisladores, psicólogos y otros por su efecto en la imagen corporal, nos presentan una percepción a menudo uniforme de cómo deberíamos ser. A medida que esta percepción se generaliza, puede permitir que una cierta expectativa de cómo deberíamos vernos se afiance, lo que podría fomentar la discriminación o los prejuicios contra aquéllos que eligen no participar.
En tercer lugar, y quizás lo más preocupante, es la forma en que las empresas utilizan algoritmos para servir contenido en las búsquedas o en nuestros feeds. El efecto que esto tiene en la clasificación y presentación de imágenes en particular es insidioso: los algoritmos clasifican rutinariamente las imágenes de maneras que son discriminatorias, sesgadas o simplemente incorrectas y pueden tener consecuencias de gran alcance para las personas que usan las plataformas que emplean dichas imágenes.
Los algoritmos clasifican rutinariamente las imágenes de maneras que son discriminatorias, sesgadas o simplemente incorrectas.
Tomemos, por ejemplo, un incidente de 2015, en el que la tecnología de reconocimiento de imágenes de Google clasificó erróneamente a las personas negras como gorilas. Si bien el incidente fue aparentemente involuntario, es un ejemplo de cómo los algoritmos pueden ser alimentados con datos de entrenamiento que ofrecen resultados problemáticos. Los algoritmos pueden ser puramente matemáticos, pero los datos que se les suministran son creados por humanos, que cargan con sus propios prejuicios o ignorancia. Además, los algoritmos de aprendizaje automático generalmente operan como cajas negras y no explican cómo llegaron a una decisión en particular, lo cual deja a los usuarios sin la posibilidad de comprender si tal error fue el resultado de un racismo deliberado que se programó/incorporó en el código o simplemente un conjunto de datos mal diseñado. Y dado que las empresas generalmente no comparten los planteamientos básicos que sustentan su tecnología y sus conjuntos de datos, los actores externos no pueden evitar que ocurran tales errores.
Si bien historias como ésta pueden exponerse fácilmente, los efectos del uso expansivo de herramientas de inteligencia artificial para moderar el contenido generado por el usuario son más difíciles de descubrir, ya que no podemos ver la gran mayoría de los errores que cometen estas tecnologías, y mucho menos los insumos que los causan.
Como escribió el ex moderador de contenido Andrew Strait en el volumen recientemente publicado Fake AI: “Notoriamente malos para identificar el matiz y el contexto del discurso en línea, de manera rutinaria estos sistemas no identifican si un video constituye una infracción ilegal de derechos de autor o una parodia legal, o si una publicación con un insulto racial está escrita por una víctima de un crimen de odio o por su agresor.”
La vista gorda de la IA
Un ejemplo pertinente que ha sido bien documentado, sin embargo, es el daño generado por el uso de la inteligencia artificial para clasificar y eliminar el contenido extremista y terrorista, particularmente las imágenes. En los últimos años, en un esfuerzo respaldado por gobiernos de todo el mundo para erradicar el contenido extremista y terrorista, las plataformas han llegado a depender cada vez más de algoritmos de aprendizaje automático para detectar y eliminar contenido que se ajuste a esa descripción. Pero los clasificadores utilizados son a menudo de naturaleza binaria y, por lo tanto, dejan poco espacio para el contexto: si una imagen contiene símbolos relacionados con un grupo terrorista conocido, se clasificará como contenido terrorista, incluso si la razón de la presencia del símbolo es artística o si protesta contra el grupo en cuestión, por ejemplo. Del mismo modo, el contenido que esté documentado con fines históricos, de archivo o de derechos humanos seguirá siendo clasificado y probablemente eliminado. Confiar en la tecnología para una tarea de tantos matices garantiza que los resultados serán categóricos, dejando poco espacio para la expresión esencial.
Ya sea que se esté utilizando para búsquedas o para moderación de contenido automatizada, la inteligencia artificial es tan útil –o tan inteligente, se podría decir– como sus conjuntos de datos subyacentes. Conjuntos de datos que son propensos a errores y a sesgos humanos. Por lo tanto, para contrarrestar la discriminación derivada de los datos, debemos ser capaces de mirar detrás de la cortina para que podamos entender, y contrarrestar, las suposiciones y sesgos subyacentes de los humanos que crean los conjuntos de datos que dictan cada vez más lo que vemos y cómo lo vemos.
Pero si bien la transparencia nos permite comprender mejor el problema y contrarrestar errores específicos, nosotros, como sociedad, debemos comenzar a hacer preguntas más importantes sobre el papel que queremos que desempeñen estas tecnologías para guiar nuestra visión del mundo. Para hacerlo, debemos dejar de ver a la IA como neutral y comenzar a comprender la naturaleza inherentemente política de su uso.
Ya sea que se esté utilizando para búsquedas o para moderación de contenido automatizada, la inteligencia artificial es tan útil –o tan inteligente, se podría decir– como sus conjuntos de datos subyacentes. Conjuntos de datos que son propensos a errores y a sesgos humanos.
El uso de la IA para contrarrestar el extremismo sirve como un ejemplo destacado de todo esto. Las políticas que subyacen al uso de la IA en este contexto son inequívocamente políticas: son, para decirlo sin rodeos, divisivas: separan la violencia (estatal) aceptable de la de (ciertos) actores no estatales. Si bien hay una causa justa para eliminar de la vista el contenido violento, las políticas subyacentes no sólo se refieren a las imágenes violentas, sino también a cualquier cosa relacionada con un grupo designado como extremista por una empresa o gobierno. Por lo tanto, el resultado final no es simplemente la mitigación del daño, sino la cancelación total.
La IA nunca es neutral y su uso es inherentemente político: ¿Por qué se elimina el contenido de los grupos terroristas en lugar del contenido violento en general?
| Foto (detalle): © Adobe
De la seguridad en línea a la cancelación total
Hay muchos otros ejemplos: la cancelación de la expresión sexual bajo el disfraz de “seguridad en línea” o el hecho de que la clasificación de la información equivocada y la desinformación son realizados en gran medida por la IA, entrenada en conjuntos de datos que también se basan en criterios inherentemente políticos. Si bien para todos estos ejemplos los criterios en sí mismos resultan conocidos, la tasa de error en la mayoría de los casos no lo es. En otras palabras, si bien podemos hacer una disección de los criterios y abogar por su cambio, es imposible ver y, por lo tanto, difícil comprender cuánta expresión legítima (es decir, expresión que cae fuera de las restricciones) es capturada y eliminada por la IA con una supervisión mínima, si es que la hay.
Entonces, ¿qué debemos hacer más allá de comprender la naturaleza política y esforzarnos por la transparencia en el uso de la IA? ¿Debemos simplemente aceptar esto como nuestra nueva realidad, o hay otras intervenciones en las que podemos participar para cambiar el curso del “progreso”?
IComo sostengo en mi reciente libro, Silicon Values: The Future of Free Speech Under Surveillance Capitalism (Los valores de Silicon Valley: el futuro del libre discurso bajo el capitalismo de vigilancia), el futuro sigue siendo nuestro para escribirlo. No debemos simplemente aceptar este nuevo zeitgeist como un hecho, y en su lugar debemos insistir en que “las decisiones sobre lo que se nos permite expresar deben recibir más atención humana y más cuidado, y no entregarse a los caprichos de actores y algoritmos irresponsables”.
Esto significa, en última instancia, que no debemos simplemente tratar de mitigar los daños creados por estos sistemas tecnológicos, sino de remodelarlos, redimensionarlos y tal vez incluso desmantelarlos.