„Mithilfe von Technologie mehr Kreativität ermöglichen“ Ein Gespräch mit Darin Grant
Das unabhängige Produktionsstudio Animal Logic hat viele aktuelle Hollywood-Filme mit visuellen Effektsequenzen und KI-unterstützten Animationen versehen. Darin Grant, Chief Technology Officer des Unternehmens, spricht mit dem Goethe-Institut über die aktuelle Arbeit des Studios.
Die Geschichte von Animal Logic begann 1991 in Crows Nest, einem Stadtteil von Sydney, wo sich ein kleines Team von Künstler*innen und Techniker*innen zusammentat, um eine Firma zu gründen. Die Organisation hat ihren Sitz heute in den in Sydney gelegenen Fox Studios in Moore Park, mit einem zweiten Studio im kanadischen Vancouver und einem Entwicklungsbüro in Los Angeles.
Darin Grant, Technologievorstand von Animal Logic, sprach mit Jochen Gutsch vom Goethe-Institut über die aktuelle Arbeit der Firma und den Einsatz von AI in Zeichentrickfilmen.
Man hat den Eindruck, die Liste hochkarätiger Projekte, an denen Animal Logic beteiligt war, wird mit jedem Tag länger. Woran arbeiten Sie im Moment?
Unsere Studios in Sydney und Vancouver arbeiten momentan an Super Pets von Warner Brothers, einem Zeichentrickfilm in Spielfilmlänge, der 2022 in die Kinos kommen soll. Unser Studio in Sydney schloss kürzlich die Fortsetzung zu Peter Hase ab, die das Publikum Anfang 2021 zu sehen bekommen wird. Darin Grant | © Darin Grant
Müssen Sie als Technologievorstand die Details der Datenspeicherung verstehen – Rendern, Programmieren und das Entwerfen von Algorithmen – oder geht es bei Ihrer Rolle eher um Außenbeziehungen und strategische Führung?
Beides ist gleich wichtig. Strategische Führung und der Aufbau der besten externen Partnerschaften erfordern ein Verständnis davon, wie unsere Künstler*innen und Support-Teams Technologie im Alltag benutzen. Für mich umfasst Führung dabei nicht zuletzt, die Probleme zu verstehen und diejenigen, die sie am besten lösen können, in die Lage zu versetzen, das auch zu tun. Neben dem Formulieren einer Vision bedeutet das auch, unserem Team auf jede nur erdenkliche Weise den Weg freizumachen, damit es diese Vision auch umsetzen kann.
Die Produktion von Zeichentrickfilmen ist notorisch zeitaufwändig und ressourcenintensiv. Welche Schritte in diesem Prozess könnten durch maschinelles Lernen und AI rationalisiert werden?
Es gibt ein paar zentrale Bereiche, in denen AI hilfreich sein kann. Alles Quantitative bietet sich hier an. Wenn maschinelles Lernen dasselbe Ergebnis erzielen kann wie eine rechnerisch komplexere Lösung, dann ist das einen genaueren Blick wert. Dinge wie Rendern (ein Bild aus einer 3D-Szene erstellen) und Simulation (die Animation von Wasser, Kleidung, Fell oder sogar einer Explosion mithilfe von Mathematik statt durch künstlerische Interpretation) sind Bereiche, in denen dank maschinellem Lernen bereits entscheidende Durchbrüche verzeichnet wurden.
Knifflig wird es in den Bereichen, wo maschinelles Lernen qualitative Arbeit verbessern kann. Wie kann man einer Maschine beibringen, dass etwas besser ist, wenn man es nicht beweisen kann? In solchen Fällen greifen wir auf Machine-Learning-gestützte Workflows zurück. Auf dem kreativen Weg zur Erstellung unserer Inhalte sind nach wie vor viele zeitaufwändige Aufgaben zu erledigen. Einiges davon haben Computer bereits ohne maschinelles Lernen erreicht.
Die „Zwischenphasenzeichner“-Rolle in der traditionellen Animation, bei der ein Mensch die fehlenden Phasen zwischen den von den Animateur*innen erstellten Kernposen ergänzt, wurde auch ohne maschinelles Lernen durch Maschinen ersetzt. Nun sollten wir unser Augenmerk darauf richten, was die nächsthöheren Aufgaben sind, mit deren Hilfe wir unseren hochtalentierten Leuten die Arbeit erleichtern können, ohne sie ersetzen zu wollen. Wir suchen nach Wegen, um mithilfe von Technologie mehr Kreativität zu ermöglichen.
Wenn Maschinen darauf trainiert werden können, diese fehlenden Phasen zu ergänzen, und ständig besser werden, könnten diese Kernposen vielleicht immer weiter auseinanderliegen und Computerprogrammen so immer mehr kreativen Freiraum lassen. Im Extremfall könnten Maschinen letztlich den gesamten Prozess übernehmen und einen kompletten Film erstellen. Sehen Sie das als realistisches Szenario?
In manchen Fällen, aber es gibt da auch ein Gleichgewicht. Letztlich liegt der Grund dafür, dass Schauspieler*innen und Animateur*innen bei der Erstellung einer Figur zusammenarbeiten, in den subtilen Nuancen der schauspielerischen Leistung, die nicht-deterministisch sind. Beispielsweise könnten wir die gesamte Gesichtsanimation für eine Figur zusammen mit den Stems (Tonspur) der Schauspieler*innen einspeisen, um ein Modell zu trainieren, das auf der Basis neuer Tonspuren Gesichtsanimationen produziert.
Während dies die Menge an Gesichtsanimationen reduzieren mag, die per Hand erledigt werden müssen, können Sie darauf wetten, dass in vielen Szenen nach wie vor künstlerische Interpretation erforderlich ist, um für das Erzählen der Geschichte den richtigen Ton und die richtigen Nuancen zu treffen. Deshalb greifen wir auf Machine-Learning-gestützte Workflows zurück, die den Künstler*innen dabei helfen, Arbeit zu eliminieren, ohne sie jemals ersetzen zu wollen.
Science-Fiction- und Comicautor*innen und -zeichner*innen denken sich schon seit langem Welten aus, in denen sich Maschinen über menschliche Kontrolle hinausentwickelt haben. Im Film ‚Captain Marvel‘ aus dem Jahr 2019 kommt eine sogenannte Supreme Intelligence vor und Animal Logic erhielt den Auftrag, mehrere Sequenzen für den Film zu erstellen. Wie lässt sich etwas so Abstraktes wie AI auf der Leinwand darstellen?
Es ist genauso eine Herausforderung, wie menschliche Intelligenz auf der Leinwand darzustellen. Ich hatte das große Glück, an der Eröffnungssequenz von Fight Club zu arbeiten, einer Tour durch die feuernden Neuronen im Gehirn der Hauptfigur, die die schwierige Situation widerspiegeln sollte, in der sie sich befand. Ich denke, man muss sich gestalterische Freiheiten nehmen, um dem Publikum die Intention visuell zu vermitteln, da der eigentliche Prozess ziemlich langweilig anzusehen wäre. Animal Logic hat die Animation für „Happy Feet“ gemacht, die 2007 einen Oscar gewann | © Warner Bros Manche AI-Befürworter stellen sich eine Welt vor, in der Maschinen zeitaufwändige, monotone und gefährliche Aufgaben übernehmen und Menschen so dafür freistellen, sich auf kreative und intuitive Dinge zu konzentrieren. Ist es in Ihrer Branche überhaupt möglich, eine Grenze zwischen diesen Bereichen zu ziehen?
Ja. Wie bereits erwähnt, wollen wir unser Hauptaugenmerk darauf richten, Aufgaben aus dem Workflow der Künstler*innen zu entfernen, damit sie sich auf ihre Kreativität konzentrieren können. Der Fokus liegt dabei auf dem Unterstützen statt dem Ersetzen von Workflows. Es ist überraschend, wie viele Stunden man jeden Tag mit der Vorbereitung auf das bisschen kreative Zeit verliert, für das ein*e Künstler*in ausgebildet und eingestellt wurde! Ein leitendes Prinzip für uns bei Animal Logic lautet „Künstler*innen machen Kunst“, und maschinelles Lernen versucht, uns das Betreten von Neuland bei der Erreichung dieses Ziels zu ermöglichen.
Wir haben einen Punkt erreicht, an dem das Kinopublikum kaum noch zwischen echten und computergenerierten Elementen unterscheiden kann. Besteht die Gefahr, dass das Publikum den Bezug zur Realität verliert?
Nein, ich glaube nicht, dass Fotorealismus der Vorläufer für einen Verlust an Menschlichkeit oder Realität ist. Die Menschen verlieren heute in Computerspielen, Online-Chats und anderen Medien auch ohne realistische Grafiken den Bezug zur Realität. Vielmehr bin ich überzeugt, dass wir, wenn wir mehr Interaktionen ein menschliches Gesicht verleihen würden, dazu beitragen könnten, die Menschen in engeren Kontakt mit der Menschlichkeit zu bringen als früher. Ich sage dies inmitten einer globalen Pandemie, in der ich zuhause festsitze und dennoch in der Lage bin, täglich meine Mitarbeiter*innen in aller Welt zu sehen und mit ihnen in Kontakt zu sein. Ich kann mir nicht vorstellen, wie sehr bei dieser Erfahrung die Grenzen der Realität ohne Videokonferenztechnik verschwommen wären, und bessere Grafiken in den Medien werden diesen Trend fortsetzen.
Von 2006 bis 2011 haben Sie für DreamWorks Animation gearbeitet. Haben Sie seitdem technologische Veränderungen erlebt, die die Positionen der großen Namen in der Branche signifikant verändert haben?
Ich denke, die großen Namen sind auch heute noch da, aber es gab ein paar grundlegende Veränderungen, die von der Technologie möglich gemacht wurden. Letztlich ist das, was die heutigen großen Namen von denen von morgen unterscheidet, die Frage, ob sie in Forschung und Entwicklung investieren, um neuere Arbeitsmethoden zu ermöglichen. Solange Firmen weiterhin in Innovation investieren, haben sie die Chance, an der Spitze der Branche zu bleiben.
Darin Grant, Technologievorstand von Animal Logic, sprach mit Jochen Gutsch vom Goethe-Institut über die aktuelle Arbeit der Firma und den Einsatz von AI in Zeichentrickfilmen.
Man hat den Eindruck, die Liste hochkarätiger Projekte, an denen Animal Logic beteiligt war, wird mit jedem Tag länger. Woran arbeiten Sie im Moment?
Unsere Studios in Sydney und Vancouver arbeiten momentan an Super Pets von Warner Brothers, einem Zeichentrickfilm in Spielfilmlänge, der 2022 in die Kinos kommen soll. Unser Studio in Sydney schloss kürzlich die Fortsetzung zu Peter Hase ab, die das Publikum Anfang 2021 zu sehen bekommen wird. Darin Grant | © Darin Grant
Müssen Sie als Technologievorstand die Details der Datenspeicherung verstehen – Rendern, Programmieren und das Entwerfen von Algorithmen – oder geht es bei Ihrer Rolle eher um Außenbeziehungen und strategische Führung?
Beides ist gleich wichtig. Strategische Führung und der Aufbau der besten externen Partnerschaften erfordern ein Verständnis davon, wie unsere Künstler*innen und Support-Teams Technologie im Alltag benutzen. Für mich umfasst Führung dabei nicht zuletzt, die Probleme zu verstehen und diejenigen, die sie am besten lösen können, in die Lage zu versetzen, das auch zu tun. Neben dem Formulieren einer Vision bedeutet das auch, unserem Team auf jede nur erdenkliche Weise den Weg freizumachen, damit es diese Vision auch umsetzen kann.
Die Produktion von Zeichentrickfilmen ist notorisch zeitaufwändig und ressourcenintensiv. Welche Schritte in diesem Prozess könnten durch maschinelles Lernen und AI rationalisiert werden?
Es gibt ein paar zentrale Bereiche, in denen AI hilfreich sein kann. Alles Quantitative bietet sich hier an. Wenn maschinelles Lernen dasselbe Ergebnis erzielen kann wie eine rechnerisch komplexere Lösung, dann ist das einen genaueren Blick wert. Dinge wie Rendern (ein Bild aus einer 3D-Szene erstellen) und Simulation (die Animation von Wasser, Kleidung, Fell oder sogar einer Explosion mithilfe von Mathematik statt durch künstlerische Interpretation) sind Bereiche, in denen dank maschinellem Lernen bereits entscheidende Durchbrüche verzeichnet wurden.
Knifflig wird es in den Bereichen, wo maschinelles Lernen qualitative Arbeit verbessern kann. Wie kann man einer Maschine beibringen, dass etwas besser ist, wenn man es nicht beweisen kann? In solchen Fällen greifen wir auf Machine-Learning-gestützte Workflows zurück. Auf dem kreativen Weg zur Erstellung unserer Inhalte sind nach wie vor viele zeitaufwändige Aufgaben zu erledigen. Einiges davon haben Computer bereits ohne maschinelles Lernen erreicht.
Die „Zwischenphasenzeichner“-Rolle in der traditionellen Animation, bei der ein Mensch die fehlenden Phasen zwischen den von den Animateur*innen erstellten Kernposen ergänzt, wurde auch ohne maschinelles Lernen durch Maschinen ersetzt. Nun sollten wir unser Augenmerk darauf richten, was die nächsthöheren Aufgaben sind, mit deren Hilfe wir unseren hochtalentierten Leuten die Arbeit erleichtern können, ohne sie ersetzen zu wollen. Wir suchen nach Wegen, um mithilfe von Technologie mehr Kreativität zu ermöglichen.
Wenn Maschinen darauf trainiert werden können, diese fehlenden Phasen zu ergänzen, und ständig besser werden, könnten diese Kernposen vielleicht immer weiter auseinanderliegen und Computerprogrammen so immer mehr kreativen Freiraum lassen. Im Extremfall könnten Maschinen letztlich den gesamten Prozess übernehmen und einen kompletten Film erstellen. Sehen Sie das als realistisches Szenario?
In manchen Fällen, aber es gibt da auch ein Gleichgewicht. Letztlich liegt der Grund dafür, dass Schauspieler*innen und Animateur*innen bei der Erstellung einer Figur zusammenarbeiten, in den subtilen Nuancen der schauspielerischen Leistung, die nicht-deterministisch sind. Beispielsweise könnten wir die gesamte Gesichtsanimation für eine Figur zusammen mit den Stems (Tonspur) der Schauspieler*innen einspeisen, um ein Modell zu trainieren, das auf der Basis neuer Tonspuren Gesichtsanimationen produziert.
Während dies die Menge an Gesichtsanimationen reduzieren mag, die per Hand erledigt werden müssen, können Sie darauf wetten, dass in vielen Szenen nach wie vor künstlerische Interpretation erforderlich ist, um für das Erzählen der Geschichte den richtigen Ton und die richtigen Nuancen zu treffen. Deshalb greifen wir auf Machine-Learning-gestützte Workflows zurück, die den Künstler*innen dabei helfen, Arbeit zu eliminieren, ohne sie jemals ersetzen zu wollen.
Science-Fiction- und Comicautor*innen und -zeichner*innen denken sich schon seit langem Welten aus, in denen sich Maschinen über menschliche Kontrolle hinausentwickelt haben. Im Film ‚Captain Marvel‘ aus dem Jahr 2019 kommt eine sogenannte Supreme Intelligence vor und Animal Logic erhielt den Auftrag, mehrere Sequenzen für den Film zu erstellen. Wie lässt sich etwas so Abstraktes wie AI auf der Leinwand darstellen?
Es ist genauso eine Herausforderung, wie menschliche Intelligenz auf der Leinwand darzustellen. Ich hatte das große Glück, an der Eröffnungssequenz von Fight Club zu arbeiten, einer Tour durch die feuernden Neuronen im Gehirn der Hauptfigur, die die schwierige Situation widerspiegeln sollte, in der sie sich befand. Ich denke, man muss sich gestalterische Freiheiten nehmen, um dem Publikum die Intention visuell zu vermitteln, da der eigentliche Prozess ziemlich langweilig anzusehen wäre. Animal Logic hat die Animation für „Happy Feet“ gemacht, die 2007 einen Oscar gewann | © Warner Bros Manche AI-Befürworter stellen sich eine Welt vor, in der Maschinen zeitaufwändige, monotone und gefährliche Aufgaben übernehmen und Menschen so dafür freistellen, sich auf kreative und intuitive Dinge zu konzentrieren. Ist es in Ihrer Branche überhaupt möglich, eine Grenze zwischen diesen Bereichen zu ziehen?
Ja. Wie bereits erwähnt, wollen wir unser Hauptaugenmerk darauf richten, Aufgaben aus dem Workflow der Künstler*innen zu entfernen, damit sie sich auf ihre Kreativität konzentrieren können. Der Fokus liegt dabei auf dem Unterstützen statt dem Ersetzen von Workflows. Es ist überraschend, wie viele Stunden man jeden Tag mit der Vorbereitung auf das bisschen kreative Zeit verliert, für das ein*e Künstler*in ausgebildet und eingestellt wurde! Ein leitendes Prinzip für uns bei Animal Logic lautet „Künstler*innen machen Kunst“, und maschinelles Lernen versucht, uns das Betreten von Neuland bei der Erreichung dieses Ziels zu ermöglichen.
Wir haben einen Punkt erreicht, an dem das Kinopublikum kaum noch zwischen echten und computergenerierten Elementen unterscheiden kann. Besteht die Gefahr, dass das Publikum den Bezug zur Realität verliert?
Nein, ich glaube nicht, dass Fotorealismus der Vorläufer für einen Verlust an Menschlichkeit oder Realität ist. Die Menschen verlieren heute in Computerspielen, Online-Chats und anderen Medien auch ohne realistische Grafiken den Bezug zur Realität. Vielmehr bin ich überzeugt, dass wir, wenn wir mehr Interaktionen ein menschliches Gesicht verleihen würden, dazu beitragen könnten, die Menschen in engeren Kontakt mit der Menschlichkeit zu bringen als früher. Ich sage dies inmitten einer globalen Pandemie, in der ich zuhause festsitze und dennoch in der Lage bin, täglich meine Mitarbeiter*innen in aller Welt zu sehen und mit ihnen in Kontakt zu sein. Ich kann mir nicht vorstellen, wie sehr bei dieser Erfahrung die Grenzen der Realität ohne Videokonferenztechnik verschwommen wären, und bessere Grafiken in den Medien werden diesen Trend fortsetzen.
Von 2006 bis 2011 haben Sie für DreamWorks Animation gearbeitet. Haben Sie seitdem technologische Veränderungen erlebt, die die Positionen der großen Namen in der Branche signifikant verändert haben?
Ich denke, die großen Namen sind auch heute noch da, aber es gab ein paar grundlegende Veränderungen, die von der Technologie möglich gemacht wurden. Letztlich ist das, was die heutigen großen Namen von denen von morgen unterscheidet, die Frage, ob sie in Forschung und Entwicklung investieren, um neuere Arbeitsmethoden zu ermöglichen. Solange Firmen weiterhin in Innovation investieren, haben sie die Chance, an der Spitze der Branche zu bleiben.