Astronauten stranden auf dem Mond
Francesca Panetta und Halsey Burgund beschreiben den kreativen Prozess, der zur Entstehung von In Event of Moon Disaster führte, einer alternativen Geschichte der Mondlandemission von Apollo 11. Ihre Arbeit liefert eine Fallstudie dazu, wie KI die Produktion von Kultur erweitern (und in Frage stellen) kann.
Am 20. Juli 1969 betritt Präsident Richard Nixon das Oval Office, um der amerikanischen Öffentlichkeit die niederschmetternde Nachricht zu überbringen, dass die Apollo 11-Mission in einer Tragödie geendet hat. Nachdem sie als erste Menschen ihren Fuß auf den Mond gesetzt haben, sitzen Neil Armstrong und Buzz Aldrin jetzt dort fest. Da ihr Sauerstoffvorrat zur Neige geht, wird ihr Leben auf dem Mond enden.
„Das Schicksal will es, dass die Männer, die zum Mond flogen, um ihn in Frieden zu erkunden, auf dem Mond bleiben und dort in Frieden ruhen werden“, sagt Nixon ruhig in die Kamera, während Millionen Menschen entsetzt vor ihren Fernsehgeräten sitzen.
Der Lauf der Geschichte hätte sich für immer geändert, wäre das tatsächlich geschehen, aber wie wir wissen, sprach Nixon diese Worte nie aus. Sein Redenschreiber William Safire hatte sie für den Notfall geschrieben, in dem Wissen, dass die Mission auch nach einer erfolgreichen Landung noch zahlreiche Gefahren bergen würde. Die Ansprache musste nie gehalten werden und verstaubte jahrzehntelang im Nationalarchiv in Washington, eine dünne Verbindung zu einer spekulativen Welt.
US-Präsident Richard Nixon bei seiner berühmten Mondlandungsrede - oder doch nicht?
| Foto: Francesca Panetta and Halsey Burgund, MIT Center for Advanced Virtuality, 2019
Aber dank der synthetischen Medien bot die Rede kreative Möglichkeiten: Sie konnte als Brücke zu dieser alternativen Realität dienen. Anhand von Nixons Ansprache konnte man veranschaulichen, wie moderne Technologie eingesetzt werden kann, um selbst fest etablierte Narrative zu manipulieren. Und man konnte zeigen, dass KI-gestützte Techniken beträchtliches kreatives Potenzial für das künstlerische Schaffen und die Erzeugung von Kultur bergen.
Wichtig war auch die pädagogische Komponente des Filmprojekts: Es sollte das Potenzial der neuen KI-Technologie und ihre Funktionsweise beleuchten. Der Film wurde für sehr unterschiedliche Zuschauergruppen produziert – als immersive Kunstinstallation, in der die Betrachter in die sechziger Jahre zurückversetzt werden und bei der Mondlandung vor dem Fernseher sitzen, als interaktive Website und als auf YouTube und Vimeo zugängliches Projekt.
Wir wussten, dass wir eine substantielle Idee hatten, und wir wussten, dass wir KI brauchen würden, um sie umzusetzen. Aber wir wussten nicht, wie die Arbeit mit einer Technologie funktionieren würde, die sich derart grundlegend von den künstlerischen Werkzeugen unterschied, an die wir gewöhnt waren.
Wir setzen beide in unserer künstlerischen Arbeit seit jeher Technologie ein (von Audio Augmented Reality bis zu interaktiven Merkmalen), aber es ist etwas anderes, den Umgang mit einer neuen Software zu erlernen oder mit Ingenieuren zusammenzuarbeiten. Wir haben vor langer Zeit gelernt, unseren menschlichen Mitarbeitern zu vertrauen, aber was bedeutet es, einem „Etwas“ zu vertrauen, das anscheinend eigene Entscheidungen fällt?
Viele haben eine apokalyptische Vorstellung von den Auswirkungen von Deepfakes, aber als wir uns dem Thema zuwandten, wurde uns rasch klar, dass die Produktion eines Deepfake nicht so einfach ist wie allgemein vermutet. Das „Deepfake auf Tastendruck“ mag für einen satirischen Gesichtsaustausch genügen, aber um unseren Film zu erzeugen, bedurfte es aufwändiger Arbeit und kreativer Entscheidungsfindung.
Wir arbeiteten mit zwei KI-Unternehmen zusammen: Canny AI war für die visuellen Effekte, Respeecher für den Ton zuständig. Von Anfang an war klar, dass wir es mit zwei vorzüglichen KI-„Handlern“ zu tun hatten. Canny AI half uns bei der Suche nach geeignetem „Target-Filmmaterial“, das wir manipulieren konnten. Respeecher begleitete uns mit viel Geduld durch die Audioaufnahmen. Wir lernten, dass es entscheidend ist, die Daten für die KI-Modelle zu trainieren. Der Grundsatz „Eingabe Müll, Ausgabe Müll“ scheint im Wesentlichen zutreffend zu sein, obwohl nicht immer klar ist, was die KI als „Müll“ betrachtet. In einem Fall waren die Resultate sehr schlecht, nachdem in den Aufzeichnungen der Trainingsdaten und in den Sprachaufnahmen unterschiedliche Mikrophone verwendet worden waren, die jedoch beide hochwertig waren. Wie sich herausstellt, „hört“ die KI anders als wir.
Es folgten eine wochenlange Nachbearbeitung und eine lange Reihe von Entscheidungen, die nicht ausgelagert werden konnten. Wir saßen im Studio und formten anhand mehrerer Versionen der synthetischen Audioaufnahmen die Sprecherstimme, ergänzten Hintergrundgeräusche, stimmten die Audiofrequenzen ab und passten die Länge der einzelnen Sätze an, um sie mit den Lippenbewegungen zu synchronisieren.
Die kreative Wirkung des Films wurde erkennbar, als wir das Deepfake in den Kontext integrierten. Wir wussten, dass der synthetische Nixon zugkräftig sein würde, aber wir hatten Zweifel an seiner künstlerischen und emotionalen Wirkung, solange er nicht fertig war. Schließlich ist ein Deepfake für sich genommen nichts weiter als ein Kunstgriff.
In der Einleitungssequenz des Films ließen wir den legendären Nachrichtensprecher Walter Cronkite zu Wort kommen, der über die bevorstehenden Gefahren der Mission sprach. Wir gaben dem Zuschauer die Möglichkeit, über die außergewöhnliche Kühnheit der Mission zu staunen, und setzten normale Filmbearbeitungstechniken ein, um die Mondlandefähre „abstürzen“ zu lassen. Die Wirkung war dramatisch und bestätigte unsere Vermutung, dass Kunst und Geschichtenerzählen gewaltiges kreatives Potenzial für synthetische Medien bergen.
Der Film war in sämtlichen Kontexten, in denen wir ihn präsentierten, ein großer Erfolg. Er wurde auf unserer Website und auf YouTube mehr als eine Million Mal angesehen, und die immersive Installation gewann beim International Documentary Film Festival Amsterdam (IDFA) einen Preis. Er wird unter anderem vom MIT in Kursen verwendet, und Scientific American produzierte eine halbstündige Dokumentation über Deepfakes, die um unseren Film kreist.
Unsere Botschaft war klar: Das hier ist nicht real, glaubt es nicht – aber denkt darüber nach, wie leicht wir hinters Licht geführt werden können.
Im Anschluss an die Vorführung des Films baten wir unsere Zuschauer, uns zu sagen, was ihrer Meinung nach real und was gefälscht war. Die Antworten auf das Quiz auf unserer Website waren aufschlussreich.
Die Daten zeigen, wie gut synthetische Medien geeignet sind, Menschen zu täuschen oder zumindest Verwirrung und Zweifel zu säen. Die einzige Frage, in der unsere Zuschauer einer Meinung waren, war jene, ob die Filmaufnahmen der NASA real waren. Bei den anderen drei Fragen war das Publikum gespalten.
Über die Hälfte der Zuschauer identifizierte Nixons Gesicht korrekt als synthetisch
| © Halsey Burgund
Die Daten beleuchten auch Fragen, mit der wir uns während des gesamten Projekts beschäftigten: Konnte das Projekt schädliche Auswirkungen haben? Bestand die Möglichkeit, dass wir unsere Zuschauer unabsichtlich täuschten? Lieferten wir jenen Munition, die Verschwörungstheorien über die Mondlandungen verbreiteten? Und war es ethisch akzeptabel zu versuchen, Menschen durch Manipulation dazu zu bewegen, etwas Unwahres zu glauben, selbst man wir unsere Beweggründe und Methoden im Nachhinein offenlegten?
Vielleicht war es eine Frage der Semantik: Konnten wir statt eines Teils des Problems ein Teil der Lösung sein, wenn wir unsere Arbeit nicht als „Deepfake“, sondern als „synthetisches Medienprojekt“ bezeichneten?
Wir zogen Experten für Desinformation zurate, darunter unsere Gründer bei Mozilla, die sich in einem einig waren: Entscheidend ist nicht die Technologie an sich, sondern der Zweck, für den sie verwendet wird. Das Problem ist unabhängig von den verwendeten Werkzeugen die Täuschungsabsicht.
Wir bemühten uns sehr, Kontextmaterial zum Film bereitzustellen. Als wir die Arbeit im November 2019 im Rahmen einer physischen Installation beim IDFA-Festival vorstellten, pflasterten wir die Wände mit ironischer „Werbung“ für Deepfake-Technologie und boten eine Broschüre an, in der wir die Entwicklung des Deepfake und die Bedeutung dieser Technologie erklärten. Auf unserer Website erklären wir die Entstehung des Films und die weiterreichenden Implikationen der Technologie.
Die Regisseure liefern visuellen Kontext für die Installationspremiere bei IDFA, um die pädagogische Botschaft zu vertiefen.
| © James Burke
Als wir das Projekt in Angriff nahmen, wussten wir nicht, wie es sein würde, KI zur Erzeugung einer ästhetischen Erfahrung einzusetzen. Würde es eine Kooperation mit der KI sein, oder würde diese lediglich ein weiteres technologisches Werkzeug sein, ein Mittel zum Zweck? Würde sie selbst „Entscheidungen“ fällen oder uns zu unseren eigenen kreativen Entscheidungen anregen wie die Arbeit mit Randomisierung und aleatorischen Kompositionstechniken? Und eine entscheidende Frage lautete: Konnte die KI uns ersetzen?
Für uns erwies es sich eher als „Cyborg-Beziehung“ – die Arbeit mit der KI verstärkte und inspirierte unsere kreativen Bemühungen und Neigungen. Der Künstler tritt noch nicht in den Hintergrund, aber die Arbeit mit KI kündigt aufregende, wenn auch nicht unproblematische Entwicklungen in der Kunst an.
„Das Schicksal will es, dass die Männer, die zum Mond flogen, um ihn in Frieden zu erkunden, auf dem Mond bleiben und dort in Frieden ruhen werden“, sagt Nixon ruhig in die Kamera, während Millionen Menschen entsetzt vor ihren Fernsehgeräten sitzen.
Der Lauf der Geschichte hätte sich für immer geändert, wäre das tatsächlich geschehen, aber wie wir wissen, sprach Nixon diese Worte nie aus. Sein Redenschreiber William Safire hatte sie für den Notfall geschrieben, in dem Wissen, dass die Mission auch nach einer erfolgreichen Landung noch zahlreiche Gefahren bergen würde. Die Ansprache musste nie gehalten werden und verstaubte jahrzehntelang im Nationalarchiv in Washington, eine dünne Verbindung zu einer spekulativen Welt.
US-Präsident Richard Nixon bei seiner berühmten Mondlandungsrede - oder doch nicht?
| Foto: Francesca Panetta and Halsey Burgund, MIT Center for Advanced Virtuality, 2019
Aber dank der synthetischen Medien bot die Rede kreative Möglichkeiten: Sie konnte als Brücke zu dieser alternativen Realität dienen. Anhand von Nixons Ansprache konnte man veranschaulichen, wie moderne Technologie eingesetzt werden kann, um selbst fest etablierte Narrative zu manipulieren. Und man konnte zeigen, dass KI-gestützte Techniken beträchtliches kreatives Potenzial für das künstlerische Schaffen und die Erzeugung von Kultur bergen.Wichtig war auch die pädagogische Komponente des Filmprojekts: Es sollte das Potenzial der neuen KI-Technologie und ihre Funktionsweise beleuchten. Der Film wurde für sehr unterschiedliche Zuschauergruppen produziert – als immersive Kunstinstallation, in der die Betrachter in die sechziger Jahre zurückversetzt werden und bei der Mondlandung vor dem Fernseher sitzen, als interaktive Website und als auf YouTube und Vimeo zugängliches Projekt.
Wir wussten, dass wir eine substantielle Idee hatten, und wir wussten, dass wir KI brauchen würden, um sie umzusetzen. Aber wir wussten nicht, wie die Arbeit mit einer Technologie funktionieren würde, die sich derart grundlegend von den künstlerischen Werkzeugen unterschied, an die wir gewöhnt waren.
Wir setzen beide in unserer künstlerischen Arbeit seit jeher Technologie ein (von Audio Augmented Reality bis zu interaktiven Merkmalen), aber es ist etwas anderes, den Umgang mit einer neuen Software zu erlernen oder mit Ingenieuren zusammenzuarbeiten. Wir haben vor langer Zeit gelernt, unseren menschlichen Mitarbeitern zu vertrauen, aber was bedeutet es, einem „Etwas“ zu vertrauen, das anscheinend eigene Entscheidungen fällt?
Den Prozess verstehen
Viele haben eine apokalyptische Vorstellung von den Auswirkungen von Deepfakes, aber als wir uns dem Thema zuwandten, wurde uns rasch klar, dass die Produktion eines Deepfake nicht so einfach ist wie allgemein vermutet. Das „Deepfake auf Tastendruck“ mag für einen satirischen Gesichtsaustausch genügen, aber um unseren Film zu erzeugen, bedurfte es aufwändiger Arbeit und kreativer Entscheidungsfindung.
Wir arbeiteten mit zwei KI-Unternehmen zusammen: Canny AI war für die visuellen Effekte, Respeecher für den Ton zuständig. Von Anfang an war klar, dass wir es mit zwei vorzüglichen KI-„Handlern“ zu tun hatten. Canny AI half uns bei der Suche nach geeignetem „Target-Filmmaterial“, das wir manipulieren konnten. Respeecher begleitete uns mit viel Geduld durch die Audioaufnahmen. Wir lernten, dass es entscheidend ist, die Daten für die KI-Modelle zu trainieren. Der Grundsatz „Eingabe Müll, Ausgabe Müll“ scheint im Wesentlichen zutreffend zu sein, obwohl nicht immer klar ist, was die KI als „Müll“ betrachtet. In einem Fall waren die Resultate sehr schlecht, nachdem in den Aufzeichnungen der Trainingsdaten und in den Sprachaufnahmen unterschiedliche Mikrophone verwendet worden waren, die jedoch beide hochwertig waren. Wie sich herausstellt, „hört“ die KI anders als wir.
Es folgten eine wochenlange Nachbearbeitung und eine lange Reihe von Entscheidungen, die nicht ausgelagert werden konnten. Wir saßen im Studio und formten anhand mehrerer Versionen der synthetischen Audioaufnahmen die Sprecherstimme, ergänzten Hintergrundgeräusche, stimmten die Audiofrequenzen ab und passten die Länge der einzelnen Sätze an, um sie mit den Lippenbewegungen zu synchronisieren.
Der Aufbau des Dramas
Die kreative Wirkung des Films wurde erkennbar, als wir das Deepfake in den Kontext integrierten. Wir wussten, dass der synthetische Nixon zugkräftig sein würde, aber wir hatten Zweifel an seiner künstlerischen und emotionalen Wirkung, solange er nicht fertig war. Schließlich ist ein Deepfake für sich genommen nichts weiter als ein Kunstgriff.
In der Einleitungssequenz des Films ließen wir den legendären Nachrichtensprecher Walter Cronkite zu Wort kommen, der über die bevorstehenden Gefahren der Mission sprach. Wir gaben dem Zuschauer die Möglichkeit, über die außergewöhnliche Kühnheit der Mission zu staunen, und setzten normale Filmbearbeitungstechniken ein, um die Mondlandefähre „abstürzen“ zu lassen. Die Wirkung war dramatisch und bestätigte unsere Vermutung, dass Kunst und Geschichtenerzählen gewaltiges kreatives Potenzial für synthetische Medien bergen.
Der Film war in sämtlichen Kontexten, in denen wir ihn präsentierten, ein großer Erfolg. Er wurde auf unserer Website und auf YouTube mehr als eine Million Mal angesehen, und die immersive Installation gewann beim International Documentary Film Festival Amsterdam (IDFA) einen Preis. Er wird unter anderem vom MIT in Kursen verwendet, und Scientific American produzierte eine halbstündige Dokumentation über Deepfakes, die um unseren Film kreist.
Unsere Botschaft war klar: Das hier ist nicht real, glaubt es nicht – aber denkt darüber nach, wie leicht wir hinters Licht geführt werden können.
Die Wirkung verstehen
Im Anschluss an die Vorführung des Films baten wir unsere Zuschauer, uns zu sagen, was ihrer Meinung nach real und was gefälscht war. Die Antworten auf das Quiz auf unserer Website waren aufschlussreich.
Die Daten zeigen, wie gut synthetische Medien geeignet sind, Menschen zu täuschen oder zumindest Verwirrung und Zweifel zu säen. Die einzige Frage, in der unsere Zuschauer einer Meinung waren, war jene, ob die Filmaufnahmen der NASA real waren. Bei den anderen drei Fragen war das Publikum gespalten.
Über die Hälfte der Zuschauer identifizierte Nixons Gesicht korrekt als synthetisch
| © Halsey Burgund
Die Daten beleuchten auch Fragen, mit der wir uns während des gesamten Projekts beschäftigten: Konnte das Projekt schädliche Auswirkungen haben? Bestand die Möglichkeit, dass wir unsere Zuschauer unabsichtlich täuschten? Lieferten wir jenen Munition, die Verschwörungstheorien über die Mondlandungen verbreiteten? Und war es ethisch akzeptabel zu versuchen, Menschen durch Manipulation dazu zu bewegen, etwas Unwahres zu glauben, selbst man wir unsere Beweggründe und Methoden im Nachhinein offenlegten?Vielleicht war es eine Frage der Semantik: Konnten wir statt eines Teils des Problems ein Teil der Lösung sein, wenn wir unsere Arbeit nicht als „Deepfake“, sondern als „synthetisches Medienprojekt“ bezeichneten?
Wir zogen Experten für Desinformation zurate, darunter unsere Gründer bei Mozilla, die sich in einem einig waren: Entscheidend ist nicht die Technologie an sich, sondern der Zweck, für den sie verwendet wird. Das Problem ist unabhängig von den verwendeten Werkzeugen die Täuschungsabsicht.
Wir bemühten uns sehr, Kontextmaterial zum Film bereitzustellen. Als wir die Arbeit im November 2019 im Rahmen einer physischen Installation beim IDFA-Festival vorstellten, pflasterten wir die Wände mit ironischer „Werbung“ für Deepfake-Technologie und boten eine Broschüre an, in der wir die Entwicklung des Deepfake und die Bedeutung dieser Technologie erklärten. Auf unserer Website erklären wir die Entstehung des Films und die weiterreichenden Implikationen der Technologie.
Die Regisseure liefern visuellen Kontext für die Installationspremiere bei IDFA, um die pädagogische Botschaft zu vertiefen.
| © James Burke
Als wir das Projekt in Angriff nahmen, wussten wir nicht, wie es sein würde, KI zur Erzeugung einer ästhetischen Erfahrung einzusetzen. Würde es eine Kooperation mit der KI sein, oder würde diese lediglich ein weiteres technologisches Werkzeug sein, ein Mittel zum Zweck? Würde sie selbst „Entscheidungen“ fällen oder uns zu unseren eigenen kreativen Entscheidungen anregen wie die Arbeit mit Randomisierung und aleatorischen Kompositionstechniken? Und eine entscheidende Frage lautete: Konnte die KI uns ersetzen?Für uns erwies es sich eher als „Cyborg-Beziehung“ – die Arbeit mit der KI verstärkte und inspirierte unsere kreativen Bemühungen und Neigungen. Der Künstler tritt noch nicht in den Hintergrund, aber die Arbeit mit KI kündigt aufregende, wenn auch nicht unproblematische Entwicklungen in der Kunst an.