En el mundo moderno, nada puede escapar a la revolución digital. La forma en la que nos desplazamos, comunicamos y consumimos está controlada por código, y ese código es cada vez más inteligente. Pero la inteligencia artificial no es en absoluto tan justa o neutral como pueda parecer.
EN RUMBO DE COLISIÓN
"ERROR CRÍTICO": Las luces rojas parpadean en el tablero de tu coche inteligente. Te acercas a un semáforo, cuando de repente fallan los frenos. En cuestión de segundos, el coche provocará un accidente. ¿Le ordenará el programa informático que siga conduciendo y mate a los peatones? ¿O calculará una nueva trayectoria y se desviará hacia un poste cercano, deteniendo el coche pero matándote a ti? ¿Podría alguien en el mundo, por no hablar de un programa informático, tomar la decisión correcta en esta situación?Mi interés por la inteligencia artificial ética comenzó con este equivalente moderno del conocido problema del tranvía. En 2016, yo era ingeniero de software en Silicon Valley y trabajaba en programas informáticos que controlaban coches inteligentes. Este dilema no era solo un experimento de pensamiento filosófico para nosotros. Era lo que en informática llamamos el peor escenario posible.
En el mundo moderno, nada escapa a la revolución digital. La forma en que nos desplazamos, nos comunicamos y consumimos: En 2022, todo está controlado por código escrito por equipos de ingenieros que invariablemente incorporan sus propias ideas, creencias y sesgos respecto a cómo funciona el mundo. Sin embargo, los sesgos algorítmicos siempre han formado parte de la informática. En 1976, el pionero de la informática Joseph Weizenbaum nos advirtió de las (in)intencionadas consecuencias perjudiciales del código. Poco después, aparecieron los primeros casos de programas poco éticos. Entre 1982 y 1986, a más de 60 mujeres y minorías étnicas se les denegó la entrada en la Facultad de Medicina del Hospital St. George debido a sesgos en un sistema de evaluación automatizado. Por desgracia, ni siquiera Joseph Weizenbaum podría haber predicho la magnitud que adquiriría el problema a medida que los programas de inteligencia artificial (IA) madurasen e impulsasen la próxima revolución tecnológica.
¿GRAN PODER, GRAN RESPONSABILIDAD?
A principios de la década de 2010, la IA y el aprendizaje automático nos proporcionaron un cambio de paradigma fundamental en la forma de escribir código. En lugar de escribir una secuencia determinista de instrucciones (como una receta de un libro de cocina) para decirle a un ordenador lo que tiene que hacer, los métodos de aprendizaje automático nos permiten ahora generar código a partir de grandes cantidades de datos (de forma análoga a un chef entrenado que ha aprendido de la experiencia). Esto permite a los desarrolladores crear aplicaciones que antes se consideraban imposibles, como reconocer con precisión el habla y las imágenes, pero también programas que algún día serán capaces de dirigir un coche autoconducido a través de un tráfico complejo. Sin embargo, no hay almuerzo gratis, ya que estos resultados espectaculares tienen un precio muy alto. La inteligencia artificial se basa en modelos de caja negra. En su estado actual, la IA no sólo refleja los sesgos del programador, sino que también añade sesgos adicionales de los datos de entrenamiento que se utilizaron para desarrollarla. Y como aún no entendemos realmente cómo funcionan estas cajas negras, los programas de IA son bastante susceptibles a ataques maliciosos y notoriamente difíciles de controlar.En su estado actual, la IA no sólo refleja los sesgos del programador, sino que también añade sesgos adicionales procedentes de los datos de entrenamiento que se utilizaron para desarrollarla.
Trabajar en este problema me enseñó que es crucial tener en cuenta estos posibles fallos y sesgos algorítmicos ocultos. Puede que nunca haya una sola decisión correcta que pueda tomar un futuro coche autoconducido en una situación problemática con un trolebús, pero como sociedad sabemos que los programas de IA no pueden basar sus decisiones en rasgos discriminatorios como la raza o el sexo.
A menudo asusta pensar en la inmensa responsabilidad que conlleva codificar programas de IA. El trabajo de unos pocos ingenieros seleccionados puede tener un impacto potencial en la vida de miles de millones de personas. Pero no hay por qué preocuparse, pienso. Seguro que podemos confiar en que los pocos de arriba sean conscientes de los fallos críticos del sistema y no utilicen su poder para crear aplicaciones con consecuencias perjudiciales (no) intencionadas. Por desgracia, mis esperanzas se desvanecieron rápidamente cuando empecé a mirar más de cerca.
El trabajo de unos pocos ingenieros puede influir en la vida de miles de millones de personas.
La IA ya está aquí, y es horrible
Dejé Silicon Valley para empezar un doctorado en inteligencia artificial. Mi objetivo final era conseguir que la IA fuera más fiable. Un día me encontré con un artículo de prensa en el que se describía una empresa emergente que afirmaba utilizar el reconocimiento de vídeo basado en IA para una contratación "sin prejuicios". Inmediatamente sentí un escalofrío. Aplicar una tecnología poco conocida a una de las decisiones más importantes en la vida de una persona -si es contratada o no- es aterrador. Llegar al extremo de afirmar que la IA puede utilizarse realmente para eludir los prejuicios humanos no sólo es erróneo, sino también gravemente peligroso.Nada más lejos de la realidad, ya que en muchos casos los sistemas basados en IA y sus predicciones amplifican los sesgos existentes a una escala sin precedentes, en lugar de evitarlos. Para entender este fenómeno, es importante profundizar en la salsa secreta de cualquier programa de IA: los datos históricos de los que el programa extrae su información. Por lo general, los conjuntos de datos son creados, recopilados y seleccionados por personas con poder. En el caso de la contratación basada en IA, los datos consisten en los registros de todas las contrataciones anteriores. Son un reflejo de los prejuicios, creencias y visiones del mundo de sus conservadores y del entorno en el que se recopilaron. Una lista de contrataciones anteriores puede remontarse décadas atrás, a una sociedad que hoy consideramos extremadamente injusta con determinados géneros y minorías.
Por eso no me sorprendió en absoluto que los investigadores demostraran que las herramientas de selección de personal basadas en IA aprenden rápidamente a preferir a los candidatos masculinos sobre las candidatas femeninas. En algunos casos, incluso llegan a penalizar los CV que incluyen la palabra "femenino", como "capitán de club de ajedrez femenino". Con la esperanza de concienciar sobre este problema, inicié una lista llamada Awful AI. Con los años, esta lista ha crecido hasta incluir cientos de aplicaciones que entran en categorías comunes como discriminación, desinformación, vigilancia y armas.
Automatizar el racismo
Las consecuencias perjudiciales de las aplicaciones de IA a menudo no son intencionadas por sus creadores y pueden atribuirse a la falta de comprensión y conciencia de las cuestiones éticas y las limitaciones técnicas. Por ejemplo, Tay, un chatbot de Microsoft que aprendía de las entradas de Twitter. Un día después de su lanzamiento, Microsoft se vio obligada a retirar Tay porque empezó a lanzar mensajes antisemitas. El programa de reconocimiento de imágenes de Google es otro ejemplo. Etiquetó los rostros de varias personas negras como gorilas. El programa de reconocimiento de Amazon identificó a mujeres de piel más oscura como hombres el 31% de las veces, mientras que las mujeres de piel más clara fueron identificadas erróneamente sólo el 7% de las veces.Es bien sabido que todos los servicios de reconocimiento de imágenes a gran escala se enfrentan a problemas de racismo automatizado. En los últimos años, los investigadores han desarrollado herramientas y métodos para estudiar los modelos de IA de forma aislada con la esperanza de reducir sus efectos nocivos. Pero aunque estas herramientas y métodos funcionan bien en casos individuales, son incapaces de evitar un problema más generalizado: a medida que avanzamos hacia la era de la automatización, las predicciones sesgadas se utilizan ahora como bloques de construcción para muchos aspectos críticos de la sociedad, como la aplicación de la ley.
AMPLIFICAR LA DISCRIMINACIÓN
PredPol es un programa policial predictivo basado en inteligencia artificial utilizado por el departamento de policía de Los Ángeles para predecir posibles focos de delincuencia. El programa recomienda entonces que los agentes de policía patrullen los lugares identificados. Se trata de la misma y peligrosa idea: los humanos somos imperfectos, así que deberíamos utilizar una tecnología de IA objetiva para seleccionar los lugares de patrulla y, posteriormente, detener a los sujetos basándonos en sus predicciones. A estas alturas ya habrás adivinado dónde está el problema: Los investigadores de IA no se sorprendieron cuando los estudios revelaron que PredPol mostraba un grave sesgo hacia lugares frecuentemente visitados en el pasado. Esto se tradujo en un patrullaje excesivo de los barrios de color. La IA se entrenó a partir de datos históricos de detenciones anteriores en Estados Unidos, que son un claro indicio del racismo sistemático en el sistema judicial. Por lo tanto, PredPol no sólo reflejaba el racismo de sus datos de entrenamiento, sino que lo automatizaba a gran escala y amplificaba sus efectos.Lo que hace que este ejemplo sea peligroso para la sociedad es que la idea de un programa de IA objetivo, aunque complejo, anima a los agentes de policía a no cuestionar sus predicciones. Lejos de ser objetivas, las predicciones de PredPol pueden utilizarse para justificar y amplificar el racismo existente hacia las comunidades de color. Se crea así un círculo vicioso de retroalimentación: A medida que la IA fomenta más detenciones en las comunidades de color, esto alimenta los nuevos conjuntos de datos que luego se utilizan para entrenar el algoritmo.
La Unión Europea está experimentando con sus propios programas de IA en el ámbito de la aplicación de la ley, como pruebas poligráficas basadas en IA para los viajeros que entran en la UE o sistemas de detección de fraudes basados en IA. Afortunadamente, la concienciación sobre este tema está aumentando y las primeras grandes ciudades han empezado a prohibir la tecnología de IA en las fuerzas del orden. Pero, ¿y si la discriminación y el control automatizado benefician a los intereses de un Estado? ¿Cómo sería la sociedad si un Estado abrazara los problemas de una IA sesgada en lugar de atajarlos?
Los gobiernos autocráticos siempre han llevado al límite la inteligencia artificial con fines de vigilancia y usos poco éticos. Muchos avances en IA permiten ahora ampliar la vigilancia en tiempo real para cubrir todas las huellas digitales y físicas. La vigilancia no se limita a reconocer la identidad de una persona. Actualmente se están desarrollando programas de inteligencia artificial para predecir la sexualidad de un objetivo, las enfermedades que puede padecer o su probabilidad de participar en actividades delictivas basándose únicamente en los rasgos faciales. El Partido Comunista Chino planea dar un paso más y utilizar aplicaciones de IA para determinar las consecuencias en el mundo real de quienes no sigan ciertas normas. Los sistemas de crédito social asignan a cada ciudadano puntos automatizados y le otorgan ciertos derechos en función de su puntuación. Actualmente se están probando como sistemas de incentivos y castigos en muchas regiones de China y se utilizan para perseguir a las minorías étnicas.
PREVENCIÓN DEL USO INDEBIDO DE DATOS
Este artículo ha pintado un panorama sombrío de la IA. Sin embargo, no toda la esperanza está perdida, y una parte importante del cambio consiste en concienciar de que estas aplicaciones existen o pueden existir en un futuro próximo. Para evitar que las terribles aplicaciones de la IA se apoderen de nuestras vidas, necesitamos que todos los sectores de la sociedad trabajen juntos como una comunidad. Como ingenieros y tecnólogos, debemos ser conscientes de las aplicaciones que desarrollamos y de la responsabilidad que tenemos al desplegarlas en el mundo real. Es importante tener en cuenta los posibles fallos, la ética y las directrices sociales.Las nuevas investigaciones han demostrado que podemos evitar el uso indebido de los datos. La tecnología descentralizada y nuestros propios proyectos de investigación, como Kara, están explorando formas de limitar automáticamente el desarrollo de aplicaciones de IA sin el consentimiento de los propietarios de los datos. Iniciativas como "Stop Killer Robots" abogan en los niveles más altos de la política para prohibir las aplicaciones de IA perjudiciales y educar a los responsables políticos. Como responsables políticos, es importante comprender los límites de los avances tecnológicos actuales y diseñar normativas que puedan fomentar el desarrollo seguro de la IA.
Como líderes empresariales, tenemos que asegurarnos de no caer en el bombo de los robots inteligentes todopoderosos en aras de la obtención de beneficios a corto plazo. La IA no es una bala de plata que pueda utilizarse para resolver todos los problemas del mundo. Es una herramienta que puede proporcionar y ampliar soluciones novedosas y, al mismo tiempo, reforzar los problemas existentes. Queda mucho trabajo por hacer y no hay tiempo para asustarse.
abril 2022