Nóra Radó
Voreingenommene Algorithmen

Die Frau lächelt, der Mann erscheint formell: Laut einer aktuellen Studie werden Frauen im Hinblick auf das Äußere – im Unterschied zu Männern – vom Bilderkennungssystem von Google mit dem Dreifachen an Assoziationen belegt. Und dies ist nur eines von unzähligen Beispielen für algorithmische Voreingenommenheit. Wer hätte vermutet, dass die vermeintliche Neutralität exakter Datensätze zu vorurteilsbehafteten Softwares führen könnte? Und wenn dies der Fall ist: was können wir dagegen tun? Wäre ein komplettes Verbot tatsächlich die Lösung?

Vorurteile und Algorithmen

Vor nicht allzu langer Zeit riefen Nachrichten, denen zufolge schwarze Menschen von den in Gesichtserkennungssystemen eingebetteten Algorithmen schwerer erkannt würden, eine große Resonanz hervor. [1]  In Folge kündigte IBM im Sommer diesen Jahres an, Softwares dieser Art vom Markt zu nehmen. [2] Im September wurde in Portland (USA) die Verwendung von Gesichtserkennungstechnologien vollständig verboten. [3] Demokraten legten dem Kongress sogar einen Gesetzesentwurf vor, der dasselbe auf Bundesebene vorsah. [4]

Dies ist nicht der einzige Bereich, in welchem Technologien, die einst als unparteiische Schiedsrichter apostrophiert wurden, schlechte Leistungen erbringen. Es ist geradezu absurd, dass der sexistische HR-Algorithmus von Amazon auf Basis von Daten einerseits nachwies, dass Männer bislang bevorzugt eingestellt wurden. Andererseits befand es genau dieser Algorithmus für sinnvoller, weibliche Kandidaten von bestimmten Positionen von vornherein auszuschließen. [5] Und man könnte noch weitere Beispiele anführen: beispielsweise dass ein Algorithmus, der prüfen sollte, inwieweit die Berechtigung für die Inanspruchnahme einer bestimmten medizinischen Versorgung vorliegt, gewisse ethnische Gruppen bevorzugte,[6] oder dass Apple Card Männern einen größeren Kreditrahmen gewährte als Frauen – selbst wenn es sich um ein Ehepaar mit einem gemeinsamen Bankkonto handelte. [7]
 

Wie kommt maschinelle Voreingenommenheit zustande?

Algorithmen sind intelligent, weil sie lernfähig sind: Sie sind in der Lage, durch maschinelles Lernen (machine learning) zuvor unbekannte Zusammenhänge herauszufiltern oder anhand bestimmter Parameter nach Ähnlichkeiten zu suchen – und dieses Wissen wenden sie auch auf neu eingehende Daten an. So tauchen die Vorurteile, die den Daten und der Entwicklungsumgebung innewohnen, erneut in Algorithmen auf – so die Wirtschaftswissenschaftlerin Eszter Kabos, Absolventin der Universität Oxford. Diesem Phänomen würde erst seit Kurzem ernsthaft Rechnung getragen werden. [8]

Eines der am häufigsten vorkommenden Vorurteile beruht auf der Tatsache, dass die Anzahl bestimmter Datentypen nicht ausreicht, um von der Software entsprechend kategorisiert zu werden. Soll eine Software laut den Entwicklern beispielsweise Katzen erkennen, zeigen die Forscher*innen dem Programm Tausende von Katzenbildern. Jedes einzelne dieser Bilder wurde zuvor als „Katze“ markiert. Enthält diese Auswahl aber nicht die haarlose Sphynx, wird der Algorithmus sie auch nicht erkennen und sie nicht als schnurrenden Liebling identifizieren. In vielen Fällen entstehen auf genau diese Weise diskriminierende  Gesichtserkennungsalgorithmen.
 

Daten und Menschen

Ein etwas komplexeres Problem besteht darin, dass der Algorithmus zwar anhand verschiedener Datensätze trainiert wird, aber später trotzdem Vorurteile entwickelt – wie im Falle der Bewerbermanagement-Software von Amazon. In solchen Fällen liegen Vorurteile in den historischen Daten selbst. Wenn sich Jahrzehnte lang nur Männer für einen bestimmten Job bewerben durften und der Algorithmus auf diesen Daten basiert, müssen erst die Parameter manipuliert werden, damit auch unterrepräsentierte Gruppen, wie zum Beispiel Frauen, bei der Auswahl eine Chance haben.

In diesem Zusammenhang erwähnt die Datenwissenschaftlerin Orsolya Vásárhelyi unterschiedliche Aspekte des Mangels an Daten. Historisch gesehen stammen die meisten Daten aus der westlichen Kultur und beschreiben im Allgemeinen die Erfahrungen und Verhaltensweisen von weißen, heterosexuellen Männern. Erst in den vergangenen Jahren setzt man sich zunehmend mit dem Problem auseinander, dass die überwiegende Mehrheit der Probanden in der medizinischen Forschung weiße, heterosexuelle Männer sind und dass unsere Gesundheitsdaten auf den Daten genau dieser Gruppe basieren. [10] Laut Vásárhelyi ist bis heute ein großer Mangel an Daten von Frauen oder von verschiedenen marginalisierten Gruppen festzustellen. Dieser infiltriere komplett alle Daten und schließlich auch die Algorithmen, die anhand dieser Daten lernen.
 

Keiner besser als der andere

Nicht nur die Datensätze, sondern auch die Umgebung, in der sie entwickelt werden, können zu vorurteilsbehafteten Ergebnissen führen. Wenn zum Beispiel der Entwickler aufgrund bestimmter Parameter bestimmen muss, aus wem ein guter Schuldner wird, ist es gut möglich, dass er, ob er will oder nicht, seine eigenen, vielleicht  latenten Vorurteile in den von ihm geschriebenen Code miteinbezieht. Ein Phänomen, das man als algorithmisches Vorurteil bezeichnet. [11]
 
Laut Vásárhelyi wurden Entscheidungen einst aufgrund unzähliger Vorurteile getroffen; mit der Verwendung von Algorithmen automatisieren wir allerdings diese Prozesse und erhöhen damit ein zur Norm gewordenes Problem praktisch um das Hundertfache. Kehren wir nun zurück zu der Frage der Kreditwürdigkeit: wenn ein Angestellter in einer Kleinstadt aufgrund seiner eigenen Vorurteile bestimmten Gruppen Kredite mit schlechteren Konditionen oder gar nicht gewährte, hatte er die Möglichkeit –  vorausgesetzt er kannte die Familie oder brachte ihre Geschichte mit etwas anderem in Zusammenhang – immer noch eine humane Entscheidung zu treffen. In den Vereinigten Staaten stecken hinter den Einschätzungen bezüglich der Bonität keine individuellen Entscheidungen mehr, sondern nur noch algorithmische Entscheidungen und diese sind zurzeit kaum weniger voreingenommen als Menschen aus Fleisch und Blut. [12]
 

Wie weiter?

In letzter Zeit versuchen einige Forscher, das Phänomen voreingenommener Algorithmen aufzudecken, und es wurden bereits Rahmenstrukturen entwickelt, mittels denen festgestellt werden kann, ob eine Software verschiedene demografische Gruppen diskriminiert. Mit Aequitas, einem Open Source Audit-Instrumentarium, das am Center for Data Science and Public Policy der University of Chicago entwickelt wurde, kann man beispielsweise verschiedenen Vorurteilen von auf maschinellem Lernen basierenden Softwares auf den Grund gehen. Dies wiederum erleichtert die Entscheidung, ob es sich lohnt, den betreffenden Algorithmus weiterzuentwickeln und anzuwenden.
 
Laut Vásárhelyi kann die Entwicklung solcher Instrumente als sehr positiv bewertet werden. Sie ist der Ansicht, dass auch die Einbeziehung eines interdisziplinären Ansatzes in die Softwareentwicklung die algorithmische Gerechtigkeit fördern würde. Denn Verhaltenspsycholog*innen oder Sozialwissenschaftler*innen verfügen nicht über die gleiche Betrachtungsweise und nicht den gleichen wissenschaftlichen Hintergrund wie Softwareentwickler*innen. So könnten Sozialwissenschaftler*innen oder Verhaltenspsycholog*innen in den Daten Zusammenhänge entdecken, die der Aufmerksamkeit des Entwicklerteams zuvor entgangen sind.

Eine andere Möglichkeit, Vorurteile abzubauen, besteht darin, Algorithmen, die an die Ziele bestimmter Unternehmen angepasst sind, humaner auszurichten. In ihrer in der Zeitschrift Scientific Reports veröffentlichten Studie erklären Eszter Bokányi und Anikó Hanák, wie man den Algorithmus von Uber und anderen Car-Sharing-Diensten so entwickeln könnte, dass sich der Profit der jeweiligen Unternehmen nicht oder nur geringfügig ändert und dass gleichzeitig auch die Fahrer von ihrer Arbeit leben können.[13]
Jede dieser Bestrebungen dient demselben Zweck: die technologische Entwicklung sollte den Menschen keinesfalls außer Betracht lassen, wenn es um Lösungsversuche geht. Schließlich werden diese Instrumente auch von Menschen geschaffen, um die Welt besser zu machen. Wir dürfen nicht zulassen, dass am Ende das Gegenteil passiert.


Quellen

[1] Crumpler, William, „The Problem of Bias in Facial Recognition”, CSIS, Stand: 28.11.2020.
[2] „IBM abandons ’biased’ facial recognition tech”, BBC News, Stand: 28.11.2020.
[3] Metz, Rachel, „Portland passes broadest facial recognition ban in the US”, CNN Business, Stand: 28.11.2020.
[4] Jee, Charlotte, „A new US bill would ban the police use of facial recognition”, MIT Technology Review, Stand: 28.11.2020.
[5] „5 Examples of Biased Artificial Intelligence”, Logically, Stand: 28.11.2020.
[6] Kantarci, Atakan, „Bias in AI: What it is, Types & Examples, How & Tools to fix it”, AIMultiple, Stand: 28.11.2020.
[7] „Apple’s ’sexist’ credit card investigated by US regulator”, BBC News, Stand: 28.11.2020.
[8] Kabos Eszter, „Már a mesterséges intelligencia is előítéletes, és ez az ember hibája”, Quibit, Stand: 28.11.2020.
[10] Dresser, Rebecca, „Wanted Single, White, Male for Medical Research”, The Hastings Center Report 1992/1., 24–29.
[11] Kabos, „Már a mesterséges...”
[12] Miller, Jennifer, „Is an Algorithm Less Racist Than a Loan Officer?”, The New York Times, Stand: 28.11.2020.
[13] Bokányi Eszter és Hannák Anikó, „Understanding Inequalities in Ride-Hailing Services Through Simulations”, Scientific Reports, Stand: 28.11.2020.
[14] Simonite, Tom, „When AI Sees a Man, It Thinks ’Official.’ A Woman? ’Smile’”, Wired, Stand: 28.11.2020.