Metal Gear Solid 2: Erlebt den genialen Trailer von der E3 2000 in 4K!

Es ist natürlich ein kompletter Zufall, aber an dem Tag, an dem Metal Gear Solid-Schöpfer Hideo Kojima auf Twitter darüber sinniert, dass KI irgendwann das Remastering alter Spiele übernehmen wird, veröffentlichen wir von Digital Foundry ein Video, das maschinelles Lernen einsetzt, um die die alte MGS2-Präsentation von der E3 2000 aufzufrischen. Meiner Meinung nach ist das Original einer der besten Spiele-Trailer aller Zeiten - und aus einer Reihe von Gründen ist es nicht ganz einfach, dieses Video so zu sehen, wie es ursprünglich gedacht war. Für uns war es deshalb unwiderstehlich, die beste existierende Archivversion auszugraben und sie mit Hilfe von KI hochzuskalieren.

Der Trailer an sich ist einfach unglaublich, selbst heute noch - und das aus einer Reihe von Gründen. Zunächst einmal war es ein echtes Echtzeit-Showcase. Die PlayStation 2 lieferte Bilder in einer Qualität, wie wir sie noch nie zuvor gesehen hatten - echtes "Next-Gen"-Feeling, noch bevor das Gerät in Europa veröffentlicht wurde. Zweitens ging es bei der gezeigten Technologie nicht nur um Grafik, sondern auch um Systeme. In den neun Minuten intensiver Action bekamen wir Mechanismen zur Umweltzerstörung, KI, Stealth, körperteilspezifischen Schaden und vieles mehr zu sehen. Und schließlich gab es auch Regie, mit Filmkameras, die die Action einfingen: Der MGS-Trailer erinnerte in Sachen Präsentation an James Cameron und Michael Bay und wahrscheinlich noch viele weitere Inspirationen Kojimas. Ja, es gab auch Hinweise auf die Geschichte, aber darüber hinaus hatte Kojima keine Angst, auch Humor einzubauen. Der Trailer hat uns mit seinem Inhalt umgehauen und uns am Ende mit einem Lächeln im Gesicht zurückgelassen.

Dadurch, dass der Trailer im Sommer 2000 veröffentlicht wurde, war die Verbreitung einer Version in angemessener Qualität problematisch war, vor allem online. Um die Jahrtausendwende gab es im Internet keine vernünftige Plattform für die Videowiedergabe - und YouTube ist bis heute voll von grauenhaften Versionen des Originals, in niedriger Auflösung und mit niedriger Bildrate. Ich habe damals für ein PlayStation-Magazin gearbeitet, und Konami hat uns eine Beta-SP-Version des Trailers für unsere Cover-DVDs zur Verfügung gestellt. Aber das Band wurde zurückgeschickt und eine PAL-konvertierte Wiedergabe ist alles, was wir noch haben.

Glücklicherweise gibt es jedoch eine Version des Materials in guter Qualität, wenn auch in sehr begrenzter Stückzahl. Konami selbst erkannte, dass man mit diesem Trailer etwas Besonderes in der Hand hatte und veröffentlichte ihn in Japan auf DVD, sodass wir ihn endlich in seinen ursprünglichen 60 Bildern pro Sekunde bewundern konnten. Mein Kollege John Linneman bearbeitete das Asset liebevoll und teilte es 2017 auf YouTube - und diese DVD ist die Grundlage für die hochskalierte KI-Version.

Topaz Video Enhance AI ist das Tool, das ich zu diesem Zweck verwendet habe, und die Aufgabe, die sich damit stellt, ist gewaltig. Wir haben eine 480i-Quelle. Das bedeutet, um eine 4K60-Version zu erstellen, muss das Deep-Learning-Modell mit nur 240 Zeilen des Quellbildes pro Frame arbeiten. Neuere Versionen des Tools enthalten Verarbeitungsmodelle, die für Interlaced-Quellen entwickelt wurden - genauer gesagt zwei. Eines ist für Zeilensprungmaterial aus Quellen niedriger Qualität wie VHS-Kassetten konzipiert, während das andere auf DVDs und 1080i-Bänder ausgerichtet ist.

Die Ergebnisse sind wirklich faszinierend: Der Text lässt sich leicht hochskalieren, ebenso wie die HUD-Elemente, die zu sehen sind, wenn Snake seine Betäubungspistole benutzt. Am eindrucksvollsten ist der Umgang des Modells mit Yoji Shinkawas kultigem Artwork, das später im Trailer gezeigt wird. Andernorts sind die Ergebnisse gemischt, aber immer interessant. Die im Trailer gezeigten Innenbereiche wurden geschickt bearbeitet, und es ist wirklich bemerkenswert, wie bei den Außenaufnahmen im Sturm die Details dramatisch erhöht wurden - vielleicht zu sehr, bis hin zur Überschärfung an einigen Stellen. Elemente wie die Soldatenkleidung, die an Klarheit und Schärfe gewinnen, sind leicht zu verarbeiten, aber die Art und Weise, wie das KI-Modell Details innerhalb des Sturms findet, ist kaum zu glauben. Die größte Einschränkung ergibt sich aus der Tatsache, dass MGS2 seinerzeit im Grunde genommen ein Field-Rendering-Spiel war, das immer nur 240 Zeilen pro Frame lieferte. Das KI-Modell ist nicht darauf trainiert, die gröbsten Sägezahnkanten zu glätten, und in einigen Szenen gibt es kaum einen visuellen Gewinn - nur eine zusätzliche Klarheit.

Wie Kojima jedoch sagt, liegt die Zukunft in der künstlichen Intelligenz, und Tools wie Topaz Video Enhance AI werden bereits in der gesamten Branche eingesetzt, vor allem für Remaster von Spielen. Texturen werden von KI "remastert", während Full-Motion-Videosequenzen, die mit einer niedrigeren Auflösung gerendert wurden, durch KI-Upscaling erheblich profitieren. Je sauberer die Originalquelle ist, desto mehr kann die KI daraus machen. Aber das Material hat einen gewissen KI-Look. Bei meinen Experimenten habe ich die Erfahrung gemacht, dass die tatsächliche Anpassung des Ausgangsbildes nur begrenzt oder gar nicht möglich ist und die Verarbeitungsmodelle selbst wie keinerlei Transparenz bieten. Die User wissen nicht, wie sie funktionieren und wie wir ihre Ergebnisse verbessern können, wenn sie etwas falsch machen. Im Falle meiner Bemühungen hier muss ich mich fragen, wie viel besser die Ergebnisse wären, wenn die Trainingsdaten für die KI ausschließlich aus Videospielen stammen würden.

Die Technologie ist sehr aufregend, aber wir stehen noch ganz am Anfang und haben noch einen langen Weg vor uns. Deep Learning hat nicht nur in Bezug auf die Intelligenz, sondern auch auf die Geschwindigkeit noch einiges Verbesserungspotenzial: Der komplette Trailer ist etwa neun Minuten lang, die Verarbeitung des Materials brauchte aber etwa drei Stunden. Und das mit einer KI, die das Material ohne zusätzliche Hilfe studiert. Nvidia DLSS hat gezeigt, dass eine gezieltere Anwendung, die direkt in eine Spiel-Engine eingebunden ist, um Größenordnungen schnellere und bessere Ergebnisse liefert - und kurz- bis mittelfristig werden wir hier wahrscheinlich die interessantesten und dramatischsten Beispiele dafür sehen, wie Deep Learning die Qualität der Spiele, die wir spielen, radikal verbessern kann.