Bürger*innen oder Subjekte?
Das Individuum im Zeitalter von Plattformisierung und KI

Selbst die kleinsten Online-Interaktionen generieren große Mengen an Nutzer*innendaten, die häufig von Privatunternehmen und Regierungen entnommen und kommerzialisiert werden. Mit der Verbreitung der künstlichen Intelligenz und der Digitalisierungswelle im Sozialsektor hat die Datenerfassung weiter zugenommen. Dies ist mit ernstzunehmenden Herausforderungen für die Autonomie und die Privatsphäre des Individuums verbunden, das zum Datensubjekt anstatt zum Empfänger digitaler Dienstleistungen wird.

Von Akshit Chawla

Welche Machtungleichgewichte gibt es im heutigen Zeitalter von Plattformisierung, Digitalisierung und KI? Sollte die Regierung mit Privatunternehmen zusammenarbeiten? Ist eine gerechte digitale Zukunft mit KI möglich? In diesem Gespräch diskutieren drei Expert*innen über diese Fragen und über die Möglichkeiten einer Gestaltung des modernen digitalen Zeitalters.

Machtungleichgewichte im digitalen Zeitalter

Ganz gleich, ob Bürger*innen Zugang zu Sozialeinrichtungen erhalten oder im Internet kommunizieren wollen, sie müssen zuvor den Bestimmungen zur Datenerhebung staatlicher Stellen und privater Plattformen zustimmen. Sie haben wenig oder keinerlei Verhandlungsmacht darüber, ob sie ihre Daten teilen wollen oder nicht.

Shashank Mohan: Es gibt ein Machtungleichgewicht zwischen dem Staat und seinen Bürger*innen. Dies wird unter anderem am Beispiel von Salta in Argentinien deutlich, wo die Regierung Microsoft um Unterstützung gebeten hat, um das Problem der Teenager-Schwangerschaften in den Griff zu bekommen. Microsoft schlug unter anderem vor, die Daten von 200.000 Staatsbürger*innen, darunter 12.000 Mädchen unter 19 Jahren, zu erfassen. Während des Projekts gab es kaum Transparenz in der Frage, wie diese Daten genutzt werden und welche Ergebnisse zu erwarten sind.

Die Einwohner*innen konnten einer Weitergabe ihrer Daten nicht widersprechen, weil ihnen dafür die nötige Verhandlungsmacht fehlte. Viele von ihnen waren auf den Staat angewiesen, um Zugang zu Nahrungsmitteln, Wasser und Gesundheitsdienstleistungen zu erhalten, und gehörten umgesiedelten Gemeinschaften mit unterschiedlichen Sprachen an. Das Projekt wurde schließlich nach Protesten feministischer Gruppen abgebrochen. Weder die Bürger*innen noch der Staat hatten Vorteile von dieser Maßnahme, während Microsoft Zugang zu großen Datenmengen erhielt.

Vor der Umsetzung technologischer Lösungen sollte immer die Frage nach ihrem tatsächlichen Nutzen stehen. Ist zum Beispiel die Gesichtserkennung am Eingang von Flughäfen wirklich notwendig? Ist ein Iris- und Gesichtsscan erforderlich, um kostenfreie Lebensmittel zu erhalten? Müssen Profile von Mädchen erstellt werden, anstatt ihnen mehr Schutz und Wirkungsmacht zu gewähren?

Shivangi Narayan: Staaten können ohne die Informationen ihrer Bürger*innen nicht funktionieren. Deshalb ist es nachvollziehbar, dass sie Daten erfassen, um bestimmte Dienstleistungen anzubieten. Allerdings wird es dann problematisch, wenn der Staat unverhältnismäßig viele Daten erfasst und bei seiner Machtausübung gewisse Grenzen überschreitet.

Marginalisierte und gefährdete Gruppen sind als Erste von einer Überwachungs- und KI-Apokalypse betroffen. Bei den Protesten in Haryana kamen beispielsweise Gesichtsdatenbanken zum Einsatz. Wer sich an gesellschaftliche Normen wie Heterosexualität hält und sich nicht kritisch über die Regierung äußert, ist davon vermutlich weniger betroffen. Allerdings sind auch Strafen für Menschen denkbar, die von dem abweichen wollen, was als „normal“ gilt.

Uthara Ganesh: Das Verhältnis zwischen Staaten und Plattformen ist vielschichtig und zwiespältig. Regierungen sammeln immer mehr Erfahrungen mit der Kontrolle, Speicherung und Verarbeitung von Daten, und Plattformen haben inzwischen einen zentralen Platz im Leben der Bürger*innen eingenommen. Der Staat fühlt sich von der allgegenwärtigen Präsenz der Plattformen bedroht und reagiert zurecht mit dem Versuch einer Regulierung. Doch das kann auch negative Folgen haben.

Beispielsweise haben Regierungen weltweit im Bereich der Verschlüsselung versucht, Hintertüren zu schaffen, und Druck auf die Plattformen ausgeübt, ihre Daten zu teilen. Dies schadet nicht nur der Innovation, sondern auch den Nutzer*innen.

Ein weiteres Beispiel liefert Indiens Digital Personal Data Protection Act von 2023. Das Gesetz soll die Interessen von Kindern schützen, schränkt aber gleichzeitig auch ihren Zugang zum Internet ein.

Das Vertrauen von Regierungen in Privatunternehmen

Die indische Regierung hat mit Privatunternehmen zusammengearbeitet, um technologische Maßnahmen in verschiedenen Bereichen wie der Polizeiarbeit umzusetzen.

Shivangi Narayan: Es ist völlig in Ordnung, dass eine Regierung mit privaten Einrichtungen zusammenarbeitet. Problematisch wird es allerdings dann, wenn Privatunternehmen dies nur tun, um Zugang zu bestimmten Daten zu erhalten, und ihre Aufgaben nicht wirklich erfüllen.

Inzwischen hat die Technologie in der Polizeiarbeit Einzug gehalten. Die eigentliche Aufgabe der Polizei bestand darin, über das Zusammenleben zu wachen, und sie hat ihre Macht nicht nur durch den Einsatz von Technologien missbraucht. Allerdings ist dies mit Technologien in einem viel größeren Ausmaß möglich. Wenn früher eine Maßnahme ein einzelnes Viertel betraf, kann sie heute in einer ganzen Stadt oder einem ganzen Land durchgeführt werden.

Der Einsatz von Technologien in der Polizeiarbeit stellt uns auch bei der Rechenschaftspflicht vor Herausforderungen. Die Polizei arbeitet inzwischen mit Gesichtserkennung und prädiktiver Überwachung. Wenn sie heute einen Fehler macht, kann sie den entsprechenden Technologien die Schuld geben, anstatt selbst die Verantwortung zu übernehmen.

Das Problem mit der Zustimmung

Auch wenn Plattformen und Regierungen vor der Datenerfassung die Zustimmung ihrer Nutzer*innen einholen, ist diese Bestätigung häufig nicht viel wert, weil die Menschen in der Regel die komplexen rechtlichen Zusammenhänge nicht lesen, die ihnen gezeigt werden.

Shivangi Narayan: Der Grundsatz der Zustimmung hat in Indien inzwischen keine Bedeutung mehr. Weil die Menschen für ihren Lebensunterhalt häufig auf den Staat angewiesen sind, stehen sie gar nicht vor der Wahl, Nein zu sagen. Wenn sie Nutzungsbedingungen im Internet zustimmen, wissen sie gar nicht, was sie da bestätigen. In Indien geht es um mehr als nur um Zustimmung. Deswegen sollten Rechtsanwält*innen im Bereich der KI-Regulierung auch die Standpunkte von Sozialwissenschaftler*innen berücksichtigen. Die Probleme lassen sich nicht allein mit der Zustimmung der Nutzer*innen lösen.

Shashank Mohan: Es ist nicht richtig, mit der Zustimmung die Last auf die Menschen zu verlagern. Die Konzerne wissen, dass die Nutzer*innen das Kleingedruckte nicht lesen. ChatGPT schöpft Daten aus dem Internet ab, Apple und Google machen es über ihre Geräte. Das ist keine (wirkliche) Zustimmung. Meines Erachtens müssen wir die Menschen aufklären, auf die Probleme aufmerksam machen und mobilisieren.

Selbst im indischen Datenschutzrecht gibt es einige Probleme. Es verlangt zwar eine Zustimmung, allerdings räumt es dem Staat und einigen Privatkonzernen auch Ausnahmeregelungen ein.

Kann es ein Miteinander von KI und digitalen Rechten geben?

Gegen Unternehmen, die KI-basierte Technologien entwickeln, wurden Vorwürfe wegen unethischer Praktiken wie dem Absaugen von Daten aus dem Internet erhoben. Sind KI-Technologien weiterhin existenz- und ausbaufähig in einer Zukunft, in der digitale Rechte gestärkt werden, um ihren Schaden für die Menschen möglichst gering zu halten?

Uthara Ganesh: Ich blicke recht optimistisch auf den Technologiesektor. Neue Technologien stoßen zunächst immer auf grundsätzlichen Widerstand. Im 19. Jahrhundert war der Glaube verbreitet, fiktionale Literatur könne die Menschen auf schlechte Gedanken bringen. Doch heute wissen wir, dass sie den Menschen gut tut. Wir sollten das mit Technologien verbundene Potenzial ausschöpfen – und gleichzeitig die nötigen Sicherheitsvorkehrungen schaffen.

Plattformen können sich im Interesse ihrer Nutzer*innen um eine bessere Designsprache bemühen. Doch dafür braucht es eine Initiative der politischen Entscheidungsträger*innen. Sie müssen sich ausführlich mit den Technologien auseinandersetzen und einen konsultativen Ansatz verfolgen. Sie können entsprechende Gesetze erlassen, um spezifische Probleme in den Griff zu bekommen.

Shivangi Narayan: Für die Nutzung der Künstlichen Intelligenz muss es geeignete Rechte und Rechenschaftspflichten geben. Sie leistet großartige Dienste in den Biowissenschaften und der Medizin, wo sie entsprechenden Kontrollmechanismen unterliegt. Schwierig wird es dann, wenn die KI mit ihrem mathematischen Ansatz auf gesellschaftliche Aspekte stößt, die sich weniger gut steuern lassen. Die Reaktion von Gesellschaften lässt sich nicht wirklich vorhersagen.

Beispielsweise liegt das Urteil darüber, ob eine Person kriminell ist oder nicht, im Ermessen der Polizei. Derartige Entscheidungen können nicht mit Hilfe mathematischer Konzepte getroffen werden.

Außerdem hängt alles auch vom Kontext ab, in dem die KI zum Einsatz kommt. Beispielsweise gibt es die Technologie für Roboterhunde sowohl in Deutschland als auch in den USA. In Deutschland kamen Roboterhunde zur Unterstützung obdachloser Menschen zum Einsatz, während eine solche Nutzung in den USA nicht möglich ist. In einem Land mit klaren rechtlichen Regelungen kann künstliche Intelligenz wunderbare Dinge bewirken.

Wie geht es weiter?

Was kann angesichts einer Plattformisierung digitaler Dienstleistungen und einer unkontrollierten Ausbreitung der KI getan werden, um die bestehenden Risiken für Nutzer*innen möglichst gering zu halten?

Uthara Ganesh: Für mich ist Technologie alles in allem etwas Positives. Die Verantwortung sollte nicht per Gesetz auf die Nutzer*innen abgewälzt werden, die ihre Beziehungen zu einer Plattform und zur Regierung noch aushandeln. Stattdessen sollte eine umfassende Regulierung im Fokus stehen.

Shivangi Narayan: So wie die KI von großen Technologieunternehmen gepusht wird, kann sie nicht natürlich wachsen. Beispielsweise gibt es Privatunternehmen, die Regierungen dazu drängen, Überwachungskameras zu installieren, um die Sicherheit von Frauen zu gewährleisten, obwohl sie eigentlich vor allem an der Datenerfassung interessiert sind. Über diese Fragen müssen wir uns gemeinsam Gedanken machen, insbesondere was die ungleich verteilten Machtverhältnisse betrifft.

Shashank Mohan: Unsere aktuelle Datenschutzgesetzgebung sieht nur eine minimale Haftung des Staat und der Privatunternehmen vor. Deshalb kann die Einbindung der Bürger*innen in politische Prozesse sinnvoll sein. Wir müssen den Staat und die Konzerne weiterhin mit Fragen konfrontieren und uns selbst darüber informieren, welchen Einfluss Technologien auf unser Leben haben. Wir müssen uns organisieren. Ich glaube daran, dass Massenbewegungen einen Wandel herbeiführen können.

Die Veranstaltung wurde von Disha Verma, Associate Policy Counsel bei der Internet Freedom Foundation, moderiert.