Aus dem Leben der Algorithmen
Algorithmen werden den Mittelstand verdrängen

Ein großes Gespräch mit Ksenija Lutschenko über Gegenwart und Zukunft der künstlichen Intelligenz und über uns, die Seite an Seite mit ihr leben werden. Ein Beitrag im Rahmen des Spezprojektes des Goethe-Instituts Moskau und Сolta.ru.

Von Ksenija Lutschenko

Andrej Sebrant, Direktor für strategisches Marketing bei Yandex, ist einer der Hauptexperten für künstliche Intelligenz in Russland, er selbst spricht lieber von maschinellem Lernen. Für die vom Goethe-Institut in Moskau unterstützte Colta-Rubrik  „Aus dem Leben der Algorithmen“ sprach Ksenija Lutschenko mit Sebrant über unsere Gegenwart und noch vage Zukunft in Gesellschaft der „intelligenten Maschinen“.

Andrej, in Ihrem Telegramkanal verfolgen Sie ständig neue Erfindungen, Technologien, die mehrmals pro Woche erscheinen und bereits einsatzbereit sind. Aber den Menschen fällt es schwer, sich an die ständigen Veränderungen anzupassen, sie haben Angst vor solchen Geschwindigkeiten.

Menschen sind verschieden. Im 19. Jahrhundert, als mit Entstehen der Elektrizität nicht unbemannte – wie heute –, sondern lediglich pferdelose Gefährte entwickelt wurden (eine schreckliche Sache!), wurde so viel über die existenzielle Krise gesprochen! Man spricht heute von „warmem Licht“, ganz im Gegensatz zu unseren digitalen Technologien, doch vor anderthalb Jahrhunderten gab es Karikaturen, wie die Menschen von grausamen Kabeln getötet werden. Nur ein Gasbrenner oder im schlimmsten Fall ein Holzspan können warm sein. Jetzt ist dieses schreckliche, kalte, tödliche elektrische Licht vor dem Hintergrund von Leuchtstoff- und LED-Lampen „warm“ geworden.

Im Laufe der gesamten Menschheitsgeschichte haben Konservative und Vorreiter koexistiert. Einige glauben, dass das goldene Zeitalter bereits Geschichte ist und alles Gute in der Vergangenheit geblieben ist, andere, dass es notwendig ist, sofort in eine neue Welt umzusiedeln.

Ich wollte eher nach der psychologischen Seite fragen: Die Leute sind besorgt über die Häufigkeit von Neuerungen, man hat sich gerade daran gewöhnt, die einen Tasten zu drücken, und es werden einem bereits die nächsten angeboten. Dies ist kein ideologischer Konservatismus.

Nein, es sind nur die Besonderheiten des menschlichen Denkens. Dazu gehört übrigens auch die Ausstattung der Maschine mit Subjektivität, die ohne künstliche Intelligenz einen Charakter aufweist. Ich musste während der Vorlesungen mehrmals hören: „Maschinen sind nur Werkzeuge“. Daraufhin fragte ich: „So, Leute, wer hat ein eigenes Auto?“ Mehr als die Hälfte hebt normalerweise die Hand. Und jetzt sollen diejenigen die Hand heben, die dem eigenen Auto einen Namen gegeben haben und mit ihm reden“, gehoben wird fast die gleiche Zahl der Hände, und in diesem Augenblick müssen alle in Gelächter ausbrechen. Aber die Frage, wie subjektiv ein Auto ist, stellt sich doch nicht.

Dem Menschen ist die Anthropomorphisierung der Umgebung eigen.

Ja, und das ist absolut richtig. In meinem früheren Leben war ich Experimentalphysiker und arbeitete am Kurtschatow-Institut mit sehr schweren, komplexen Anlagen. Und ich weiß, dass überall dort, wo ein Physiker arbeitet – sogar beim Großen Hadronen-Speicherring –, all diesen Anlagen Namen verpasst werden und man auch mit ihnen spricht. Manchmal schaltet man sie ein, spürt etwas und sagt: „Hör mal, heute verzichte ich auf Experimente. Sie ist allem Anschein nach verstimmt“. Weiter lässt sich all dies rationalisieren: Wahrscheinlich funktioniert das Gehirn so, tatsächlich kann ich es heute selbst nicht oder meine reichen Erfahrungen legen mir nahe, dass die Kombination von Daten, die ich auf dem Bedienfeld sehe, auf eine Fehlfunktion hinweist. Und das passiert sehr rationalen Menschen – Physikern. Dabei spreche ich von den  1970er–1980er Jahren , als es überhaupt keine Computer gab. Das heißt, es ging nicht darum, dass sich in der Anlage ein komplexer Computerintellekt befand – es war ein Haufen Kabel, Gaspumpen, Spiegel.

Dieser Logik totaler Anthropomorphisierung folgend, scheint uns, dass der Intellekt etwas Ganzheitliches darstellt, das sich in einer gewissen Box befindet, wo der Geist und noch etwas Unbestimmbares zusammenleben. Aber die künstliche Intelligenz ist doch etwas anderes. Sie haben vorhin gesagt, dass es sich dabei um eine überaus marketingbezogene Definition für das maschinelle Lernen handelt …

Ja, ich sage ja oft in den Vorlesungen, dass das maschinelle Lernen durchaus keine „künstliche Intelligenz“ ist. Allein schon deswegen, weil wir bisher nicht wissen, was natürliche Intelligenz ist. Wir wollen die Sache nicht verkomplizieren, indem wir für den ohnehin unklaren Begriff noch das Wort „künstlich“ verwenden.

Tatsächlich ist die Anthropomorphisierung des eigenen Fahrzeugs aus Sicht des Fahrers praktisch: Eine Person fährt ein Auto besser, wenn es sich um seine „geliebte Klapperkiste“ handelt. Genauso ist es, wenn man mit einem komplexen Programm oder einer komplexen Anlage arbeitet: Wenn die Anlage zu einem korrekten Endergebnis kommt, wird sie als Ko-Autorin und nicht nur als Werkzeug betrachtet.

Der berühmte Komponist Kuzma Bodrov, der mit unserem Yandex-Neuronen-Netz  Musik  komponierte, sagte darüber eben dies: „Ja, das ist ein sehr wichtiger, sehr wertvoller Ko-Autor für mich“. Ich verstehe, dass es für einen Komponisten einfacher ist, den Computer nicht als blöden Kasten abzutun, weil ein blöder Kasten nichts hervorbringt, womit er gern arbeiten würde. Und aus dem Ko-Autor kommt etwas heraus, das sich zu einem Werk entwickeln lässt und das dann Baschmet mit Vergnügen spielen wird, was übrigens in der Realität passiert ist.

Das heißt, Maschinen werden in dem Maße mit Subjektivität ausgestattet, in dem es für eine Person einfacher und bequemer ist, mit einem Subjekt und nicht mit einem Objekt zu kommunizieren?

Aus meiner Sicht – ja.

Aber Maschinen können doch keine Verantwortung übernehmen. Und Ko-Autorschaft bedeutet getrennte Verantwortung.

Ja, und das ist ein großes Problem, vor allem in der Medizin. Eines Tages kam nach dem Vortrag eine Zuhörerin auf mich zu mit einem Kind, das schwer erkrankt war, und sagte, dass sie es nicht zulassen würde, dass die Diagnose von künstlicher Intelligenz gestellt wird. Ich war überrascht: Gerade bei einer komplizierten, seltenen Krankheit hat künstliche Intelligenz viel mehr Chancen, die gesamte medizinische Literatur zu diesem Thema zu lesen, als selbst der qualifizierteste Arzt. Ihre Antwort war: „Ich bin seit langem geistig darauf vorbereitet, dass mein Kind  letztendlich  sterben wird, aber ich weiß, was ich mit dem Arzt machen werde, der dafür verantwortlich ist. Ich kann Ansprüche geltend machen, vor Gericht gehen. Und was soll ich mit Ihrer künstlichen Intelligenz anfangen?“ Dies ist eine normale, sehr menschliche Reaktion einer Mutter, die erkennt, dass das Risiko groß ist, und ihr liegt sehr daran, jemanden zu bestrafen. Wir leben höchst irrational.

Ja, wenn sogar mit Maschinen geredet wird, was soll man sagen …

Unsere Welt ist nicht zu begreifen, nicht vorherzusehen und nicht rational. Na und?

Dies ist wohl die Grenze der künstlichen Intelligenz, des maschinellen Lernens. Kann sie nur Rationales begreifen?

Und das Schaffen von Musik – ist es ein rationaler Prozess? Der Komponist würde Ihnen nicht zustimmen. Welche Regeln kennt eine Nachtigall? Die Nachtigall kann leicht nachgeahmt werden, ihr Gesang ist leicht ersetzbar. Aber warum können Sie morgens im Nebel über dem Fluss weinen und dem Nachtigallenschlag lauschen? Das ist Ihr Erlebnis, das nicht mit der Lebenserfahrung der Nachtigall zusammenhängt. Jetzt stellen Sie sich zum Beispiel einen Berg im Sonnenuntergang umgeben von Wolken vor. Wessen Intellekt arbeitet an diesem Werk, das bei Ihnen einen tiefen emotionalen Widerhall hervorruft?

Ich würde sagen der von Gott beispielsweise, aber Sie werden mir bestimmt nicht zustimmen …

Ja, ich stimme Ihnen nicht zu. Vor allem beim Berg, bei dem ich genau weiß, welche geologischen Prozesse ihn haben entstehen lassen. Dies ist natürlich ein praktisches Konzept, das es Buddhisten ermöglicht, künstliche Intelligenz beruhigt in ihren Tempel zu lassen, da die Wege der Inkarnation Buddhas unergründlich sind. Der Computer könnte doch einer davon sein!

Dies ist übrigens eine ernste Frage. Was ist in diesem Fall die Intelligenz der Natur, wenn wir Gott aus diesem Konstrukt entfernen?

Wir wissen doch überhaupt nicht, was Intelligenz ist, das wollte ich auf den Punkt bringen. Ich habe mich nur gegen den Satz gewehrt, dass künstliche Intelligenz nur im Rationalen tätig ist. Das ist doch nicht so, sie schreibt wunderbar Gedichte und Musik, und bis man einer Person mitteilt, dass all das durch künstliche Intelligenz geschaffen wurde, ist sie begeistert. Es gibt bei uns eine berühmte Geschichte mit der „Neuronalen Verteidigung“, als Texte im Letov-Stil von unserer künstlichen Intelligenz, einer Machine-Learning-Anlage, geschrieben wurden und Letovs Fans anfingen zu schreiben: „Verdammt, ich kannte den Song nicht. Ich habe die ganze Nacht hindurch getrunken und geweint. Wie Egor gefühlt hat, wie er mich fühlt, wie ich ihn verstehe“. Dann wollten sie jedoch kommen und das Büro zerstören. Dabei geht es um eben diese Sache mit der Schönheit, die im Auge des Betrachters liegt. Die tiefsten Erlebnisse haben bis zu dem Zeitpunkt, wo man erfährt, dass alles von einer Maschine geschrieben wurde. Und es verliert sofort an Wert. Warum?

Man hat den Eindruck, dass man betrogen wurde, obwohl das irrational ist …

Ein weiteres aktuelleres Beispiel. Im letzten Jahrhundert besiegt der Computer  Deep Blue  Garry Kasparow, wilde Hysterie: Schach ist ein intellektuelles Spiel, das von einer Maschine getötet wurde. Mehr als zwanzig Jahre sind vergangen und die Leute spielen weiterhin Schach, als wäre nichts passiert. Kinder, die sicher wissen, dass sie niemals gegen eine Maschine gewinnen werden, gehen begeistert in Schachvereine. Spieler ab dem Großmeister-Level sagen durch die Bank: Wenn ich trainiere, spiele ich nur gegen die Maschine, weil sie ein Trainingspartner ist, wie kein Mensch es sein kann. Ich erfahre so solch eine Schönheit im Schach, wie sie Menschen vielleicht in 100 Jahren erreichen werden.

Mir scheint, wenn man nach Analogien in der Frage sucht, wie sich eine echte Nachtigall von einer synthetisierten unterscheidet – und ich habe keinen anderen Apparat als den geisteswissenschaftlichen –, dann würde es mich an das erinnern, was Walter Benjamin über die Reproduzierbarkeit von Kunstwerken geschrieben hat. Was ist ein Original, wenn jetzt unendlich viele Kopien erstellt werden können? Was ist ein Live-Konzert, wenn es in einer Vielzahl von Aufnahmen verbreitet wird? Trotzdem  ist an der echten Nachtigall etwas dran, woran es der künstlichen immer mangeln wird. Benjamin nannte dies die „Aura der Authentizität“.

Das Gemälde „Porträt von Edmond Belamy“, das auf einer Auktion bei Christie's für 430.000 Euro verkauft wurde, ist die Arbeit des sehr interessanten Kollektivs Obvious, in dem es einen Programmierer mit durchschnittlichen Fähigkeiten und zwei großartige Vermarkter gibt. Das Bild wurde von einem neuronalen Netzwerk geschaffen, zeichnen kann überhaupt keiner von den drei Männern. Kunst ist in großem Maße von Institutionen abhängig. Zu dem Zeitpunkt, wo etwas entweder Teil einer angesehenen Sammlung oder in einer Top-Auktion ausgestellt wird, wird dieses Artefakt als Kunstwerk anerkannt. Das letzte Mal habe ich dieses Bild in der Ermitage gesehen. Und das ist keine Kopie. Genauso verhält es sich mit der Nachtigall. Und die Musik, die Bodrow in Zusammenarbeit mit dem neuronalen Netz schrieb und die Baschmet spielte, ist auch keine Kopie.

Ja, aber die Maschine analysiert eine Datenmenge und gibt dementsprechend die Einheiten wieder, in die diese Daten unterteilt sind.

Der Komponist studiert auch das Musikerbe der Menschheit. Und er schreibt Musik, die Eindruck macht, weil er Harmonie, die Geschichte der Weltmusikkultur studiert und erst danach zu schreiben beginnt, und sich nicht einfach ans Musikinstrument setzt und auf die Tasten schlägt.

Wir erreichen langsam den Punkt, an dem eine menschliche Persönlichkeit geschaffen werden kann …

Und wir wissen nicht, was eine Persönlichkeit ist. Das Gleiche gilt für die Intelligenz. Schach galt eindeutig als eine zutiefst intellektuelle Aktivität, dann stellte sich heraus, dass die Maschine definitiv besser damit umgeht als der Mensch. Dann begannen angesehene Philosophen, Artikel darüber zu schreiben, warum ein Computer den Menschen niemals im Spiel Go besiegen wird. Go galt als die letzte Bastion der Menschheit, durch Computer unbesiegbar.

Ein riesiges Team von Großmeistern war an der Entwicklung der Algorithmen von Deep Blue beteiligt, und daher ist der Beitrag der menschlichen Intelligenz zu dem, was Deep Blue geleistet hat, gelinde gesagt nicht gering. Es handelt sich vielmehr um ein Super-Experten-System: Es hat einen Zusammenschluss der Ideen der besten Großmeister und der gesamten Schachliteratur stattgefunden. Daher ist es dennoch  das Ergebnis der Arbeit der Menschheit. Mit dem Spiel Go sah es anfangs genauso aus. Aber genau genommen gibt es keine Strategie bei Go, es ist überhaupt kein kalkulierbares Spiel. Viele Go-Spieler stammen aus der buddhistischen, hinduistischen Kultur, nicht aus Europa; da muss man meditieren, das Schöne begreifen suchen. Wie kann das reproduziert werden, wie kann man einer Maschine den Sinn für das Schöne vermitteln?

Und plötzlich stellt sich heraus, dass der Maschine dieser Sinn nicht vermittelt werden muss, weil sie einfach anders tickt. AlphaGo schlug den Menschen. Das gleiche Argument kam auf: Ja, aber ihm wurde das Wissen aus allen Go-Spielen vermittelt. Die Ingenieure mussten erneut einen Seufzer ausstoßen und die Version mit dem Namen AlphaZero entwickeln: Sie ist bis heute im Schach, im Go-Spiel und in allem absolut unübertroffen. Sie weiß überhaupt nichts von menschlicher Erfahrung, ihr wurde kein einziges Spiel gezeigt, das von Menschen gespielt wurde. Es gibt Spielregeln und sie spielt einfach mit sich selbst. Der Algorithmus, der überhaupt nicht auf menschlichem Wissen beruhte, sondern einfach lange mit sich selbst spielte, schlägt Algorithmen, die auf menschlichem Wissen basieren. Das letzte Ergebnis war 100:0, dann hörten sie auf.

Der Mensch hat etwas, das wir nicht beschreiben und daher nicht nachbilden können? Und wenn ja, was ist es dann? Denken, Persönlichkeit, Gefühle?

Keine Ahnung. Kevin Kelly schreibt sehr gut – er hat ein wunderbares Buch, das ins Russische übersetzt wurde und „The Inevitable“ heißt – und ich mag wirklich, was er sagt: Wenn wir etwas tun, egal was, ob Flugzeuge oder künstliche Intelligenz – wir lassen uns immer von dem inspirieren, was in der Natur existiert, aber wir tun es auf eine ganz andere Art und Weise. Und deshalb ist es nicht interessant, wenn künstliche Intelligenz anfängt, wie ein Mensch zu denken, nur schneller und besser. Das Interessante ist, dass sie absolut anders denkt – so wie es ein Mensch niemals kann. Und das ist echt cool.

Bedeutet das, dass alles, was eine für uns nachvollziehbare Struktur hat, potenziell reproduzierbar ist und sogar mit maschinellen Lerntechnologien übertroffen werden kann?

Und wozu muss man nachvollziehen, wie die Dinge aufgebaut sind? Das wichtigste ist, dass man beim maschinellen Lernen nichts verstehen muss. Und dies ist der grundsätzliche Unterschied zu allen früheren Methoden zum Programmieren und Schreiben von Codes. Das ist eine grundlegende Sache. Warum ist maschinelles Lernen wirklich eine Revolution, eine Neuerung (sie können verschiedene, Ihnen imponierende Wörter verwenden)? Es war möglich, im Paradigma der traditionellen Programmierung einen Algorithmus zu schreiben, der beispielsweise eine Katze von einem Hund unterscheidet. Dazu war es zunächst notwendig, die Faktoren zu erfassen und zu rationalisieren, die den Unterschied zwischen Katze und Hund ausmachen. Wenn es um die Augen geht, lassen Sie uns dieses Objekt beschreiben – „Auge“ und „Auge“, zwei von diesen Dingern. Im Innern des Auges legen wir ein Objekt der Klasse „Pupille“ fest. Wenn sie rund ist, handelt es sich höchstwahrscheinlich um einen Hund, wenn es ein vertikaler Strich ist, dann ist es höchstwahrscheinlich eine Katze. Mit der Kraft des Gedankens und durch vollständige Zerlegung des Objekts werden wir alle charakteristischen Merkmale definieren und dann alle möglichen Regeln beschreiben, damit ein Hund und eine Katze, wenn sie ihre Augen schließen, nicht aufhören, ein Hund oder eine Katze zu sein, nur weil das Objekt der Klasse „Auge“ verschwunden ist. Es ergibt sich ein sehr komplexer Algorithmus, der bei einem großen Anteil der Fotos gut funktioniert und eine Katze von einem Hund unterscheidet. Dies ist ein klassischer Ansatz für die Programmierung: Wir haben verstanden, wodurch sich eine Katze von einem Hund unterscheidet, indem wir die Form der Nase und die Besonderheiten der Pupille analysiert und dann die Regeln formuliert haben, eine gewisse Auswahl von Merkmalen, die möglicherweise sehr komplex sind, mit logischen Verzweigungen, die in die Maschine eingegeben wurden.

Und jetzt kann es andersherum arrangiert werden. Man kann der Maschine eine Million Katzen und eine weitere Million Hunde zeigen und dann das  2.000.001. Bild zeigen und fragen: „Wer ist das?“ Und sie sagt: „Ein Hund natürlich“. Wir wissen nicht warum. Wenn Sie einem Kind beibringen, eine Katze von einem Hund zu unterscheiden, sagen Sie nicht, dass man die Pupille betrachten muss, Sie sagen: „Schau mal, da läuft ein Hund. Und das ist ein Kätzchen“. Und das Kind befasst sich nicht mit der Zerlegung.

Die ersten Suchmaschinen, die ersten Algorithmen von Suchmaschinen – egal, ob Google oder Yandex – funktionierten auf Grundlage von vom Menschen vorgegebenen Faktoren. Und dann haben sie irgendwann angefangen zu lernen, wohin genau eine Person bei einer bestimmten Suchanfrage klickt, ohne zu wissen, welche Faktoren berücksichtigt werden. Ebenso wissen wir nicht, warum Algorithmen Katzen perfekt von Hunden unterscheiden und warum sie es tun.

Und da sind wir beim Thema Ängste oder bei der Tatsache angekommen, dass es Techno-Optimisten und Techno-Pessimisten gibt. Natürlich sind Sie eindeutig ein Optimist …

Man nennt mich einen „überzogenen Techno-Optimisten“.

Aber wenn dieses Etwas, das auf eine rätselhafte Weise lernt, in der Lage sein wird, Menschen im Interesse anderer zu steuern?

Und wann steuern die Menschen? Sind Propagandisten aus Fleisch und Blut grundsätzlich besser als Facebook-Algorithmen? Was ist an ihnen besser?

Theoretisch sind die Algorithmen von Facebook also in jemandes, verstehe ich das richtig, durchaus fleischlichen Händen?

Selbstverständlich. Einmal musste ich an der Universität für Marxismus-Leninismus studieren, um Leiter der Gruppe am oben bezeichneten Kurtschatow-Institut zu werden. Es gab zwei Semester lang einen Propagandakurs und mir wurde erklärt, wie man Menschen richtig manipuliert. Es gab damals keine Computer. Und es war viel widerlicher als die Algorithmen von Facebook.

Das Toolkit der Propagandisten wurde jedoch erheblich ausgebaut. Dabei geht es nicht nur um das Unternehmen Cambridge Analytica, das politische Ziele verfolgt. Kürzlich erschien ein Buch von Judith Duportail über Tinder, in dem die Autorin behauptet, dass Algorithmen Gefühle und Beziehungen steuern. Wie funktioniert das?

Um ehrlich zu sein, ist es,  wie gesagt , aus meiner Sicht viel ekelhafter, unter der Kontrolle des ersten Sekretärs für Ideologie, des Genossen Suslow, als unter der Kontrolle des Algorithmus zu stehen.

Sie scheuen davor also nicht zurück?

Es ist schwierig, mir damit Angst zu machen. Sie haben im Grunde genommen gesagt: „Ich will verstehen, was vor sich geht“. Normalerweise frage ich Leute, die wissen wollen, wie gut sie das Gerät in ihren Händen verstehen – ob iPhone oder ein Smartphone: Sind sie wirklich Superexperten in der Quantenphysik der Festkörper? Glauben Sie mir, die Quantenphysik der Festkörper verstehen höchstens 50 Menschen weltweit – das sind Top-Theoretiker, der Rest kann nur Formeln verwenden. Ich habe meinen Doktortitel in Quantenfunkphysik verteidigt und kenne mich in der Quantenphysik nicht aus. Feynman, der den Nobelpreis für Quantenfunkphysik erhielt, sagte übrigens: „Ich kann eine Formel schreiben, aber ich verstehe nicht, ja das menschliche Gehirn kann nicht verstehen, wie die Quantenphysik funktioniert“.

Wir leben in einer dreidimensionalen Welt. Drei Vektoren definieren die Koordinaten eines Punktes in unserem Raum. In diesem Fall werden die mathematische Abstraktion und die entsprechenden Gesetze in mehrdimensionale Räume übertragen, in denen es nicht drei, sondern dreihundert Vektoren gibt. Aber wir sind nicht in der Lage zu verstehen und zu fühlen, wie etwas im mehrdimensionalen Raum geschieht.

Einigen wir uns darüber, dass Alice, wie andere Assistenten auch, jetzt mit einem 300-dimensionalen Bedeutungsraum operiert und ihre Antwort tatsächlich ein gewisser Vektor in einem 300-dimensionalen Bedeutungsraum ist. Als mathematische Abstraktion ist dies leicht vorstellbar. Wir können aber im 300-dimensionalen Bedeutungsraum nichts verstehen.

Aber sie wurde doch von Menschen geschaffen, und bevor man sie erfand, musste man sie sich vorstellen und ein Bild dieser Alice erstellen.

Nein. Um eine Formel für die Arbeit mit 300-dimensionalem Raum oder mit nichteuklidischer Geometrie zu schreiben, muss man sie sich nicht vorstellen. So ist es auch mit der Quantenphysik. Es ist einfach, Formeln zu schreiben und letztendlich ein iPhone zu entwerfen. Die Ingenieure, die das iPhone entwerfen, verstehen, mit welchem mathematischen Gerät sie arbeiten. Erklären Sie mir nun: Wie geschieht das Tunneling, was bedeutet ein Teilchen, eine Welle eines Quantengitters? Das kann man sich nicht vorstellen. Unser Gehirn ist dazu nicht fähig. Wir haben so etwas noch nie in der Welt um uns gesehen.

Aber irgendwie ist es trotzdem entstanden... Dinge, die so durchdacht sind, können kein Zufall sein …

Das ist schon wieder eine Frage des Glaubens. Üblicherweise können wir davon ausgehen, dass all dies jemand geschaffen hat, wir können glauben, dass die Evolution zu diesem Punkt geführt hat. Aber wir können uns die allgemeine Logik der Urknalltheorie vorstellen, und da ist kein Schöpfer erforderlich.

Zu Beginn des 20. Jahrhunderts gab es viele Kontroversen: Es gab eine verständliche Newtonsche Welt – und plötzlich ein elektromagnetisches Feld? Das ist schon einmal schlecht, weil sich der Durchschnittsmensch kein elektromagnetisches Feld vorstellen kann, aber nicht allzu, denn hier gibt es zumindest sehr einfache Gleichungen. Und dann taucht plötzlich die Quantenphysik auf und es stellt sich heraus, dass wir bei einem Elektron nicht genau wissen, ob es eine Welle oder ein Teilchen ist. Das Licht, das wir jetzt mit Ihnen sehen, ist einerseits das elektromagnetische Feld, andererseits ein Fluss von Teilchen, die sich in speziell konzipierten Experimenten völlig anders verhalten, und es ist nicht zu fassen, wie es ein und dasselbe sein kann.

Die Welt ist nicht zu verstehen. So wie wir nicht verstehen können, was natürliche Intelligenz ist, können Sie auch nicht verstehen, wie ein Kristall funktioniert, der sozusagen das Gehirn dieses iPhones auf dem Tisch ist.

Sie sind also der Meinung, dass die Angst, dass wir jetzt von Algorithmen gesteuert werden, eher von Besorgnis als von echten, berechtigten Gründen geprägt ist?

Natürlich. Wir werden von Menschen gesteuert. Immer. An und für sich kann ein Algorithmus nichts steuern.

Ich will mein Lieblingsbeispiel anführen. In Israel wurde beschlossen, den Algorithmus so zu trainieren, dass er vor Gericht Entscheidungen treffen kann. Man hat eine Reihe einfacher Fälle mit einem klaren Ereigniszusammenhang analysiert, bei denen binäre Entscheidungen getroffen werden – entweder eine Geldstrafe oder 15 Tage Haft. Es war möglich, die Urteilsfällung über mehrere Jahre hinweg zu verfolgen und in den Algorithmus einzugeben. Ein neuer Fall kommt, der Richter fällt sein Urteil und die Personen, die das Experiment durchführen, teilen mit, welche Entscheidung der Algorithmus diesbezüglich getroffen hat. Die von der Maschine gefassten Beschlüsse werden sofort von Datenanalysten in Angriff genommen und ausgewertet. Und da kam eine ungeheure Sache heraus: Die Maschine arbeitet tageszeitabhängig. Zu Beginn des Arbeitstages werden mildere Urteile gefällt, dann nimmt die Härte zu, fällt wieder ab und gleicht sich dann wieder aus. Warum? Es stellte sich heraus, dass die Strafen umso härter sind, je näher das Mittagessen rückt, und je satter die lebendigen Richter sind, desto milder fallen die Strafen aus. Und die Verarbeitung der Falldatenmenge durch den Algorithmus ermöglichte es, diese Gesetzmäßigkeit aufzudecken. Es gab da viele weitere Überraschungen: Es stellte sich heraus, dass der Algorithmus sowohl hinsichtlich des Geschlechts als auch hinsichtlich der Hautfarbe des Angeklagten ungeheuerlich handelt.

Nach diesem Experiment stand fest: Es reicht, es dürfen nirgends Algorithmen eingesetzt werden. Wie bitte? Die Urteile der Richter wurden doch auf die gleiche Weise gefällt. Richter sind Menschen.

Welche ethischen Fragen im Zusammenhang mit der Entwicklung neuronaler Netze, maschinellem Lernen und künstlicher Intelligenz kommen Ihnen wirklich beunruhigend vor? Gibt es solche?

Ja, es gibt sie, aber nicht dort, wo man sie normalerweise sieht. Die Entwicklung der Technologie, ob von uns gewollt oder nicht, wird zu einem neuen, leistungsfähigeren und zugänglicheren Werkzeug, mit dem die Welt um uns herum verändert werden kann.

Solange wir in einer rein materiellen Welt arbeiteten, hatten wir viele Regeln, die als „Perimeterschutz“ bezeichnet werden. Wie wird die Verbreitung von Atomwaffen bekämpft? Es ist bekannt, welche Ausrüstung dafür benötigt wird, man kann deren Lieferungen kontrollieren. Es ist bekannt, welche Substanzen als Rohstoffe verwendet werden sollen, die Rohstofflieferungen können kontrolliert werden. Eine signifikante Menge an waffenfähigem Plutonium kann nicht in folgender Weise besorgt werden: Man hat etwas aus den vorhandenen Materialien zusammengebastelt und ist dann zur Müllkippe gegangen und hat eine ausreichende Menge Erz beschafft.

Und im Code-Bereich hat sich in den letzten Jahren eine erstaunliche Geschichte ereignet. Open Source, offener Quellcode also, hat das Konzept von Geschäfts- oder Betriebsgeheimnissen umgestürzt. Bis vor einigen Jahren waren die von großen Unternehmen entwickelten Algorithmen das wichtigste Geschäftsgeheimnis. Die Erfolge von IBM im letzten Jahrhundert oder die von Microsoft in der Etappe der Entstehung von Windows sind geistiges Eigentum im Wert von Milliarden, es kann nicht reproduziert werden, und es ist unmöglich, ein eigenes Betriebssystem zu schreiben.
Und plötzlich beginnen Unternehmen, ihre besten Algorithmen öffentlich zugänglich zu machen. Und das aus einem lustigen Grund: Die größte Bedeutung für die Entwicklung eines Unternehmens liegt im Talent der Menschen, die darin arbeiten. Ein talentierter Programmierer wird sagen: Also, Leute, ich möchte wissen, was Ihr Unternehmen als Open Source anbietet. Ich werde mir überlegen, ob ich zu Ihnen oder zu Google gehen soll, wo ich anhand von dessen Open Source  feststellen kann, mit welcher Art von Kunststücken ich arbeiten werde. Und in diesem Moment beginnt man auch damit, alles öffentlich zugänglich zu machen.

Die leistungsstärksten Algorithmen für maschinelles Lernen sind öffentlich verfügbar. Und das böse Genie, das an diese Algorithmen kommt, kann ihnen etwas sehr Schlechtes beibringen. TensorFlow, entwickelt von Google, ist einer der leistungsstärksten Universalalgorithmen für maschinelles Lernen. Der von Yandex angebotene Algorithmus CatBoost steht ebenfalls frei zur Verfügung. Dies alles sind Dinge, die in ihrem ursprünglichen Zustand in jemandes Garage landen können. Und in dieser Garage müssen Sie nicht einmal ein Supercomputer-Center aufbauen, da es gleichzeitig Clouds gibt und Sie in der Cloud, d.h. in der Struktur dieser Server, die Sie für sich selbst mieten, einen Code ausführen und hinsichtlich der Leistung der für Sie arbeitenden Hardware an die Leistung von Google herankommen. Ja, Ihr Geld reicht nur für zwei Stunden, aber man weiß ja nie, was Sie diesem Netzwerk im Laufe dieser Zeit alles beibringen können.

Die Idee, dass der Perimeter von etwas Gefährlichem auf der Zugriffsebene begrenzt werden kann, funktioniert nicht mehr. Theoretisch müssen die Menschen trotzdem kontrolliert werden, denn wenn es um unsere schöne intellektuelle Welt, Maschinen, Algorithmen, Codes, Informationen geht, hat ein potenzieller Angreifer die Möglichkeit, alle Erkenntnisse der Menschheit zu nutzen.

Theoretisch sollte eine Selbststeuerung entstehen? Irgendwelche Vereinbarungen, Beschränkungen, Sicherheitsdienste im guten Sinne?

Ich spreche eben über den Sicherheitsdienst in einem guten Sinne. Warum sind noch nicht alle Informationssysteme gestorben? Schließlich werden Hackerangriffe ständig ausgeführt und dabei äußerst ausgefeilte Algorithmen verwendet. Es ist von Vorteil, dass es in großen Unternehmen wie Google, Facebook, Yandex usw. gute Sicherheitsspezialisten gibt, die ihre eigenen Algorithmen zum Schutz des virtuellen Perimeters unserer Netzwerkumgebung, Server, Programme und Daten erstellen. Weder bei Google noch bei Facebook wurden katastrophale Datenlecks registriert – außer wenn die Daten freiwillig an Partner weitergegeben wurden. Es ist einfach so, dass die genialsten und talentiertesten Leute vorerst hier arbeiten. Egal, wie oft man sie als Unternehmen des Bösen bezeichnet, hier arbeiten Programmierer, die viel schlauer sind als Hacker, die versuchen, sie zu hacken.

Daher wäre es schön darüber nachzudenken, wie sichergestellt werden kann, dass die talentiertesten und genialsten Leute immer auf der Seite des Guten stehen. Und diese Aufgabe ist nicht algorithmisch, sondern stammt aus dem Bereich der Ethik. In dem Moment, in dem die talentiertesten Menschen anfangen zu denken: „Lasst uns die Welt kaputt machen, weil sie verkehrt ist“, werden sie es zustande bringen.

Das heißt also, hackt man einen Technologieriesen wie Google, so hackt man die Welt?

Ja. Das lässt sich aber nur schwer realisieren, da die Technologieriesen die oberste Schicht der „intellektuellen Creme“ an sich reißen und diejenigen, die gegen sie kämpfen, viel schwächer sind – nicht in Bezug auf Werkzeuge, sondern von der Intelligenz her.

Aber was ist mit digitalen Anarchisten, dem Kampf für ein freies Internet gegen den Plattformkapitalismus, den Aufrufen zur Erstellung alternativer Suchmaschinen und unabhängiger sozialer Netzwerke? Funktioniert all dies quasi auf der Seite des Bösen, und die Riesen-Kapitalisten erweisen sich als Hüter des Guten? Sie haben eine ziemlich konservative Position …

Nicht, dass sie Hüter wären... Ich habe einen alten Streit mit den Leuten, die sich mit der Kryptowährung befassen. Sie behaupten: „Die klassische Währung ist in erster Linie ein Instrument von Staaten. Wir liquidieren Staaten als solche, indem wir einfach eine Kryptowährung einführen. Wir werden das gesamte System zerstören." Wenn ich einige mir bekannte Anarchisten beobachte, bin ich mir nicht sicher, ob ich in einer so unsicheren Gesellschaft leben möchte. Man kann hier das ​Maß an Sicherheit und Zuverlässigkeit, das durch den Staat sichergestellt wird, hinterfragen, aber es ist sicherlich besser als eine Situation, in der das Recht des Stärkeren Oberhand hat, ohne dass Abschreckungsmittel zur Verfügung stehen. Ich möchte zum Beispiel definitiv nicht in einer Welt leben, in der Kryptowährung wirklich des Hauptzahlungsmittel ist.

Gleichzeitig ist der Fortschritt nicht aufzuhalten und die Kryptowährung wird sich weiterentwickeln.

Ja, zum Beispiel als Stablecoins.

Das heißt, sie müssen in die Legalität überführt werden?

Ja, und das passiert auch langsam. Kryptowährungen und Blockchain sind wirklich eine sehr coole und zukunftsweisende Technologie. Aber nicht Bitcoin. Ich bin sicher: Ob zeitgleich mit den Olympischen Spielen in China oder mit einem anderen Ereignis, sie werden den digitalen Yuan einführen und es wird ein klassischer Stablecoin sein, der unter der Kontrolle der örtlichen Zentralbank steht. Die Amerikaner haben die Regelungen nur für Stablecoins erlassen, d.h. für Währungen, die strikt an Fiat-Währungen gebunden sind – für diese können bereits Bankkonten eröffnet werden usw.

Und da stoßen wir schon wieder auf das ewige Problem – Freiheit oder Sicherheit? Weil die Sicherheit diejenigen gewährleisten, die die Freiheit einschränken.

Ja, aber hierbei geht es dann um den Umgang mit der Weltordnung. Die Währung ist eine der Grundlagen, eines der Instrumente, auf denen der Staat beruht. Die Zentralbank ist ein leistungsfähiges Instrument zur Steuerung wirtschaftlicher Prozesse innerhalb des Staates. Und wenn wir die folgende Idee umsetzen: „Nehmen wir einfach mal die vom Staat ausgegebene Währung weg, die größtenteils ein Mittel zur Regulierung der Staatspolitik ist, und bringen stattdessen Bitcoin in den Verkehr, das eigentlich von niemandem ausgegeben wird“, dann machen wir einfach der Exekutivgewalt im Staat ein Ende.

Wir wollen zunächst den Sachverhalt mit der vierten Macht klarstellen. Ob es uns gefällt oder nicht, in der freiesten Welt waren als Gatekeeper im Bereich der Informationsverbreitung mehrere hundert Menschen – Redakteure oder Eigentümer großer Medien – tätig. Und jetzt sind sie verschwunden: Zuckerberg kann kein Gatekeeper sein, weil er keine redaktionelle Politik hat. Daher die gesamte Front gegen Facebook – es begann, die Rolle der vierten Macht zu untergraben. Eigentlich ist dies der eigentliche Schock, der im Zusammenhang mit der Trump-Wahl passiert ist. Bereits zuvor war klar, dass, wenn das Establishment eine Einigung mit der Presse erzielt, das Ergebnis im Voraus entschieden sein wird.

Roosevelt hat im Rundfunk gewonnen, Kennedy war der erste, der dank dem Fernsehen gewonnen hat, und jetzt hat Trump dank Twitter gesiegt. Das ist alles kalter Kaffe.

Ja, aber im letzteren Fall hatten die Eliten der Gesellschaft niemanden, mit dem sie sprechen konnten, denn plötzlich war es so, dass sie sich irgendwie selbst organisiert hatten. Dann ging es darum, schnell einen schwarzen Peter zu finden – Russland, Algorithmen. Und jetzt bestehen alle Probleme von Facebook und Twitter darin, dass der Staat nicht die Macht verlieren will. Technologien können vom Staat perfekt kontrolliert werden, er kann diese hervorragend nutzen, um sich selbst zu stärken, was wir am Beispiel Chinas erleben können. Ich glaube nicht, dass Staaten jetzt so schwach sind, dass sie vor den Eigentümern von Technologieunternehmen auf den Knien rutschen werden.

Stimmt es, dass viele Berufe in naher Zukunft aufgrund der Entwicklung des maschinellen Lernens wirklich verschwinden werden?

Ja, natürlich, die meisten. Der Mittelstand wird wohl einfach aussterben, weil 90% seiner Aufgaben Algorithmen derzeit viel besser erfüllen. Wie würde eine Welt ohne Mittelklasse funktionieren? Noch weiß niemand, ob ein Staat auf Grundlage eines bedingungslosen Grundeinkommens, in dem es keine Mittelschicht gibt, funktionieren wird, weil die überwiegende Mehrheit einfach tut, was sie will, zumal das Gehalt ausreicht. Dieses Modell ist jedoch weit vom klassischen Kapitalismus entfernt.

Die Angst, dass Roboter alle ersetzen, ist also berechtigt?

Ja, vor allem heute. Jedes Unternehmen möchte nachhaltig sein, wenn das nächste Mal ein neuer Virus kommt und die Menschen zu Hause sitzen werden.

Hat die Pandemie den Wunsch angeregt, den menschlichen Faktor vollständig aus den Prozessen zu entfernen?

Natürlich. Wir sind nicht abgekratzt, weil vor allem Kuriere aktiv geworden sind, Restaurants begonnen haben, Essen zum Mitnehmen zuzubereiten, und dabei gleichzeitig die Landwirtschaft, die Lebensmittelproduktion und die Logistikzentren ihre Arbeit trotzdem nicht eingestellt haben. Sie sind an ihre Kapazitätsgrenzen gestoßen. Amazon hatte mehrere Probleme, als es Logistikzentren stoppen und sich herauswinden musste, nur weil ein größerer Ausbruch ein Ende bedeutet hätte, weil sich das gesamte Zentrum in Quarantäne hätte begeben müssen. Eine höhere Virulenz bringt die gesamte Logistik zum Erliegen. Es sollte überhaupt keine Person mehr in den Logistikketten geben, und alle verstehen das, einschließlich des Staates. Die Herstellung zumindest von Lebensmitteln und deren Lieferung muss vollständig automatisiert sein. Andernfalls werden die Menschen bei der nächsten Epidemie ihre Häuser verlassen, Unruhen aufgrund von Lebensmittelknappheit anzetteln und etwas später sterben.

Anfang des Jahres haben mehrere Unternehmen auf der ganzen Welt damit begonnen, Lieferroboter zu testen. Die Technologien waren fast einsatzbereit, aber niemand dachte daran, dass sie gar so schnell in die Produktion überführt werden müssen.

Und deshalb haben viele Länder unbemannte Fahrzeuge ohne eine einzige Person im Innenraum auf die Straßen geschickt. Lkw-Fahrer sind vor allem in Amerika viel wichtiger als Taxifahrer. Wenn der Fernverkehr zum Stillstand kommt, dann ist die Logistik im Eimer.

Was soll aus diesen arbeitslosen Kurieren, Fahrern werden, wo werden diese Geld fürs Essen hernehmen?

Und hier kommen alle möglichen, sehr unterschiedlichen Wirtschaftsmodelle zum Vorschein. Ich habe mit einem Amerikaner darüber gesprochen, und er sprach einen interessanten Gedanken aus: „Heutzutage kaufen die meisten Trucker nicht diese sündhaft teuren Trucks, sie werden geleast. Wir können diesem Trucker aber auch ein unbemanntes Fahrzeug verleasen, damit er das Gefühl hat, für etwas gebraucht zu werden. Er wird seine Computerspiele spielen, gleichzeitig wird er einen zweiten Monitor haben, über den er sich im Notfall aus der Ferne einschalten kann. Aber zumindest sollten keine weiteren Trucker ausgebildet werden“.

Wenn wir also zur Ethik zurückkehren, glauben Sie nicht, dass ethische Probleme durch die Regulierung von Technologien gelöst werden?

Ich denke überhaupt nicht, dass es keine ethischen Probleme gibt oder dass Ethik unwichtig ist. Aber sie darf nicht auf andere geschoben werden. Dabei vergisst man, dass die Informations-, Nuklear-, Ingenieur- und Biotechnologien den Menschen immer mehr Macht geben. Die Übertragung der Kontrolle auf Klone, Bioroboter und neuronale Netze ist die Entscheidung bestimmter Personen. Wie kann sichergestellt werden, dass diejenigen, die einen solchen Plan umsetzen wollen, nicht über genügend Ressourcen, einschließlich Humanressourcen verfügen, sodass sie keine Milliarde Anhänger bekommen? Wie kann sichergestellt werden, dass die Mehrheit im weitesten Sinne auf der Seite des Guten bleibt? Die Frage hat nichts mit den Technologien selbst zu tun.

Wenn ich vom Standpunkt der Ethik gefragt werde, ob es vielleicht an der Zeit wäre, aufzuhören, sage ich: Leute, lasst uns mit Prometheus beginnen. Prometheus wird in der gesamten Geschichte der Menschheit als positive Gestalt angesehen. Aber in Ihrem Ethikmodell hätte man Prometheus von Anfang an anketten und Freude darüber empfinden müssen. Menschen brannten im Feuer, mit dem Feuer wurden Städte niedergebrannt; erinnern wir uns an Jeanne d'Arc, Hexen und so weiter. Die Person, die uns jetzt auffordert, die Entwicklung der Technologien zu stoppen, sagt:   „Lasst uns Prometheus stoppen“. Wenn man überlegt, wie viele Menschen durch das Feuer gestorben sind, ist es besser, sich auf die Rohkost zu verlegen.

Als Sie gesagt haben, dass eine Person auftauchen könnte, die eine Milliarde Anhänger haben wird, um Technologien für das Böse zu steuern, dachte ich, Sie malen ein Bild aus der „Offenbarung“ des Johannes – das Bild des Antichristen. Sie haben genau das beschrieben, was in der Bibel geschrieben steht.

Ja, aber die Frage, wie verhindert werden kann, dass der Antichrist und seine Herde unter uns aufkommen, ist kein Problem der Einschränkung von Technologien, sondern ein Problem der Erziehung der Menschen. Und diejenigen, die sich für Ethik einsetzen, müssen darüber nachdenken und nicht darüber, wie künstliche Intelligenz eingeschränkt werden kann. Und künstliche Intelligenz kann so oder so nicht eingeschränkt werden: Menschen mit dem Prometheus-Komplex, die bereit sind, Feuer zu tragen, können nicht stehenbleiben, auch wenn sie sich darüber im Klaren sind, dass sie jemanden mit diesem Feuer verbrennen können.

Wenn eine Technologie erfunden ist, wird sie umgesetzt.

Ja, aber wie man aufs Böse abzielende Versuche blockiert, hängt von den Köpfen der Menschen ab. Was lässt sich tun, damit die talentiertesten Personen nicht zerstören, sondern die Schwachen beschützen wollen? Hier können Ingenieure nicht helfen.

Anweisungen dazu finden Sie dort, wo über den Antichristen geschrieben steht. Die Frage ist, wie sie ausgelegt werden.

Legen Sie diese so aus, dass es einen praktischen Ausweg gibt. Es ist klar, dass das ernsthafte Erlernen all dieser komplexen, leistungsstarken Werkzeuge bestimmte Kenntnisse, Fähigkeiten und Fertigkeiten voraussetzt – das, was im Laufe vieler Jahre gesammelt wird. Das heißt, es ist notwendig, dass diejenigen Menschen, die sich jahrelang verbessern, eine anständige Zielsetzung haben.

Ich habe immer eine Frage an diejenigen, die behaupten, dass die Werkzeuge, die die Menschheit besitzt, eingeschränkt werden müssen: „Glauben Sie, dass die Menschheit so lasterhaft ist, dass sie sich, sobald die Werkzeuge mächtig werden, entweder vollständig selbst zerstört oder ein Teil den anderen versklavt? Vielleicht können wir etwas dagegen tun?"

Das heißt, uns rettet der Glaube an die Menschheit?

Wenn es ethisch vertretbar ist, irgendwann einen Knopf zu drücken und die Hälfte der Menschheit zu töten, und die zweite den Rest als Reaktion darauf tötet, dann hätte das eigentlich bereits vor dem Erfinden des maschinellen Lernens und der Informationstechnologien getan werden können.

Und wenn, wie Ray Kurzweil erzählt, eine Symbiose von Mensch und Maschine entsteht, was wird dann dieses Wesen in der eingetretenen Singularität im Kopf haben?

Mir scheint, dass die ganze Geschichte der Singularität völlig anders als bei ihm beschrieben sein wird. Die Beschreibung von Kurzweil ist wie eine Beschreibung des 20. Jahrhunderts aus der Perspektive des 19. Jahrhunderts: Am Himmel wimmelt es von Luftschiffen... Es gibt eine sehr komische Geschichte darüber, wie wir nach außerirdischen Zivilisationen suchen und uns regelmäßig darüber betrüben, dass der Weltraum still ist, und wir haben so lange gesucht. Als wir ein gigantisches Projekt zur Suche nach außerirdischen Zivilisationen mit den Funkteleskopen SETI starteten, glaubte man, dass wir im 21. Jahrhundert viele Megawatt an Funkwellen in den Weltraum ausstrahlen werden, da wir Funkstationen mit einer bestimmten Leistung hätten, die in weiteren fünf Jahren wiederum verdoppelt sein würden. Und nun hat die Erde fast aufgehört, Funkwellen in den Weltraum zu senden. Von dieser Logik ausgehend versuchen wir immer zu glauben, dass es in Zukunft dieselbe Technologie geben wird, die wir jetzt haben, nur viel leistungsfähiger.

Wieder in gewissem Sinne Anthropomorphisierung: Wir stellen uns in den Mittelpunkt und sehen alles so, wie bei uns, nur in einem besseren Zustand. Dies ist eine sehr kindische Position.

Ja. Und Kurzweil extrapoliert auch linear das, was wir jetzt tun, was wir jetzt können und verstehen, bis zur nächsten Ebene. Und wir wissen nicht, wie die nächste Ebene funktioniert. Sie wird anders sein.