De techniek achter The Matrix: van bullet time tot Unreal Engine 5

Film · VFX · Real-time De techniek achter The Matrix: van bullet time tot Unreal Engine 5 Vier films, ruim twintig jaar, en telkens dezelfde vraag: hoe laat je een camera bewegen door een moment dat stilstaat? Van 120 fotocamera's in een cirkel tot digitale acteurs en een stad van 15 vierkante kilometer die realtime rendert. $ ./trace_program --target=reality Wake up, Neo... volg het witte konijn Toen The Matrix op 31 maart 1999 in de Amerikaanse bioscopen kwam, dachten de meeste kijkers dat ze naar een actiefilm keken. Wat ze zagen was iets anders: een demonstratie van een idee dat sindsdien niet meer uit beeld is weggegaan, namelijk dat een camera niet langer een fysiek voorwerp hoeft te zijn. De film won vier Oscars, waaronder die voor beste visuele effecten, en werd het startpunt van een reeks van vier films waarvan de eerste drie nog steeds de meest bekeken zijn. Dit is het verhaal van de techniek erachter. Niet als lijstje trivia, maar als lijn: elke film loste een probleem op dat de vorige had gecreeerd, en dat leidde uiteindelijk tot een game-engine die een hele stad in realtime tekent. ~120fotocamera's in de bullet time-opstelling van de eerste film 27 dagenopnametijd voor alleen al de Burly Brawl in Reloaded 2.300visuele-effectenshots in Resurrections uit 2021 01Bullet time is geen slow motion De bekendste truc van de film wordt bijna altijd verkeerd uitgelegd. Slow motion is beeld dat je sneller opneemt dan je het afspeelt. Bullet time is iets anders: de tijd staat vrijwel stil, terwijl de camera met hoge snelheid door de scene beweegt. Dat kan geen enkele echte camera, want een camera die in een tiende seconde vijf meter aflegt, bestaat niet. De oplossing van visual-effectssupervisor John Gaeta en effectenhuis Manex Visual Effects was om de camerabeweging op te knippen in losse fotocamera's. Rond de honderdtwintig stuks, opgesteld langs de exacte baan die de virtuele camera moest volgen, allemaal gericht op hetzelfde punt en tot op de millimeter uitgelijnd met lasers. Elke camera schiet een enkel beeldje. Speel je die beeldjes achter elkaar af, dan lijkt het alsof een camera langs de acteur vliegt terwijl die in de lucht hangt. Wat er echt gebeurde tussen de camera's Vooraf uitgerekend, niet gefilmdDe hele beweging werd eerst als 3D-animatie ontworpen in Softimage. Pas daarna wisten ze waar elke camera fysiek moest staan. Groen doek, acteur aan dradenDe opname zelf gebeurde tegen een groen doek, met de acteur aan kabels. Die kabels werden er later beeld voor beeld uit gepoetst. Tussenbeelden verzinnenHonderdtwintig camera's leveren honderdtwintig beeldjes, veel te weinig voor een vloeiende beweging. Software interpoleerde extra beelden tussen de standpunten in, zodat de camera niet hakkelt. Achtergrond uit foto'sDe omgeving werd niet als 3D-set gebouwd maar gereconstrueerd uit foto's van de echte set. Met fotogrammetrie werd daar een ruimtelijk model uit afgeleid waar de virtuele camera doorheen kon. Maanden per shotVoor een enkele bullet time-shot stond volgens de makers ongeveer negen maanden werk, van eerste ontwerp tot eindbeeld. Dat vierde punt is technisch het interessantst en werd destijds nauwelijks opgemerkt. Het heet image-based rendering: in plaats van een decor na te bouwen in de computer gebruik je echte foto's als bron, meet je de ruimte op, en projecteer je die foto's terug op een grof 3D-model. Het resultaat oogt fotografisch, want het is fotografie. Manex schreef er tientallen eigen plug-ins voor. Dezelfde denkwijze zit vandaag in fotogrammetrie-apps op je telefoon en in de Gaussian splatting waar de industrie nu mee speelt. De overgrootvader van bullet time: Eadweard Muybridge zette in 1878 een rij camera's langs een renbaan om te bewijzen dat een paard tijdens de galop even helemaal los van de grond komt. Hetzelfde principe, honderdtwintig jaar eerder. Afbeelding: Eadweard Muybridge via Wikimedia Commons, publiek domein Want nieuw was het idee niet. Muybridge deed het in 1878 met een rij fotocamera's langs een renbaan, Etienne-Jules Marey ontwikkelde in dezelfde periode zijn chronofotografie, en in de jaren tachtig en negentig maakten kunstenaars als Tim Macmillan al time-slice-opnamen. Wat de film toevoegde was schaal, precisie en, cruciaal, een virtuele camera die zich niets meer aantrok van waar de fotocamera's stonden. 02Vier maanden trainen voor iets dat de computer niet kon Het is verleidelijk om de eerste film als digitaal wonder te zien, maar juist de fysieke voorbereiding maakt de effecten geloofwaardig. Keanu Reeves, Carrie-Anne Moss, Laurence Fishburne en Hugo Weaving trainden maanden voor de opnamen onder leiding van choreograaf Yuen Woo-ping, die uit de Hongkongse actiecinema kwam. Reeves deed dat zelfs met een net geopereerde nek. Keanu Reeves trainde maanden onder leiding van Yuen Woo-ping voordat er ook maar een camera draaide, met een net geopereerde nek. Afbeelding: Marybel Le Pape via Wikimedia Commons, CC BY-SA 4.0 Dat is geen achtergrondweetje maar een technische keuze. Omdat de acteurs de bewegingen zelf konden uitvoeren, kon de camera lang op ze blijven staan zonder snelle montage of dubbelgangers. En daar komt bullet time binnen: het effect valt alleen op als je gelooft dat er een echt lichaam in de lucht hangt. Draadwerk, harnassen en trampolines deden het zware werk, de computer poetste alleen het gereedschap weg. 03De groene regen kwam uit een kookboek Het beeldmerk van de serie, de vallende groene tekens, is ontworpen door Simon Whiteley. De glyphs komen niet uit een lettertype maar uit de Japanse kookboeken van zijn vrouw: hij scande karakters uit onder andere sushirecepten, spiegelde en vervormde ze, en mengde ze met cijfers en Romeinse letters. Japanse lezers herkennen daarom wel katakana-achtige vormen, maar kunnen er geen recept uit lezen. De groene zweem over de hele Matrix-wereld is een even bewuste keuze van cameraman Bill Pope: alles wat binnen de simulatie speelt heeft een groene stemming, alles in de echte wereld is koel en blauw. Voor de kijker werkt dat als een onbewust bordje "u bevindt zich hier". De Nokia 8110, de telefoon uit de eerste film. Voor de opnamen werd de klep omgebouwd tot een verende constructie, iets wat het echte toestel niet had. Nokia bracht in 2018 een moderne heruitgave uit. Afbeelding: krystof.k en nmuseum via Wikimedia Commons, CC BY-SA 3.0 04Reloaded en Revolutions: het probleem van honderd Smiths De twee vervolgen werden achter elkaar opgenomen, van maart 2001 tot augustus 2002, samen met de speelfilmbeelden voor de game Enter the Matrix. Het budget van Reloaded lag rond de 127 tot 150 miljoen dollar en de film haalde wereldwijd ruim 741 miljoen dollar op. Voor de snelwegachtervolging bouwde de productie iets wat je zelden ziet: een eigen snelweg. Op de oude start- en landingsbanen van de gesloten marinevliegbasis Alameda werd anderhalve mijl asfalt aangelegd, met vangrails, lantaarnpalen en middenberm. General Motors leverde ruim driehonderd auto's die voor de opnamen zijn gesloopt. Het is een van de laatste grote actiesequenties uit dat tijdperk die grotendeels echt is uitgevoerd. De banen van de voormalige Naval Air Station Alameda, waar de productie een anderhalve mijl lange snelweg neerlegde voor de achtervolging in Reloaded. Afbeelding: Atomic Taco via Wikimedia Commons, CC BY-SA 2.0 Het echte probleem zat elders. Neo moest vechten tegen honderd exemplaren van agent Smith. Met de aanpak van de eerste film was dat onbetaalbaar: bullet time vroeg weken voorbereiding voor een handvol seconden met twee of drie acteurs. Warner richtte daarom een eigen effectenstudio op, ESC Entertainment, met John Gaeta en Kim Libreri, en die bouwden iets wat de industrie sindsdien niet meer heeft losgelaten. Universal Capture, stap voor stap Het gezicht wordt dataActeurs werden vanuit meerdere hoge-resolutiecamera's tegelijk opgenomen terwijl ze hun tekst speelden. Niet alleen de vorm, ook de textuur en de manier waarop huid vervormt. Scannen op micrometerniveauMet scanners van Arius 3D werden de gezichten van onder meer Keanu Reeves en Hugo Weaving ingelezen met een detailniveau in de orde van tientallen micrometers. Beweging van echte vechtersOp een grote motion-capturevloer legden acht tot elf stuntmannen de choreografie van Yuen Woo-ping vast, die vervolgens op de digitale Smiths werd gezet. Een camera die niet bestaatOmdat alles nu data was, kon de camera door de scene bewegen op snelheden en langs paden die fysiek onmogelijk zijn. Dat is virtuele cinematografie: kadreren nadat de opname klaar is. Renderen en mengenDe beelden werden gerenderd met mental ray en zo gemonteerd dat de overgang tussen de echte acteur en zijn digitale dubbelganger onzichtbaar bleef. Die Burly Brawl kostte naar schatting veertig miljoen dollar en zevenentwintig opnamedagen. Het resultaat is niet perfect, en dat weten de makers zelf ook: sommige shots ogen inmiddels als een spelcutscene. Maar het was de eerste keer dat een digitale versie van een bekend gezicht in close-up werd gebruikt in een grote film, en dat opende de deur naar alles wat daarna kwam. De Academy erkende dat in 2015 met een Technical Achievement Award voor George Borshukov, Dan Piponi en Kim Libreri. Hugo Weaving. Zijn gezicht was een van de eerste die op micrometerniveau werd gescand om als volwaardige digitale dubbelganger in close-up te functioneren. Afbeelding: Siebbi via Wikimedia Commons, CC BY 3.0 De eerste film bewees dat je een camera kon bevrijden van de statiefkop. De vervolgen bewezen dat je ook de acteur kon bevrijden van het moment van opnemen. De kern van wat er tussen 1999 en 2003 veranderde 05Resurrections: voor het eerst digitaal, en tegen de klok in The Matrix Resurrections uit december 2021 is de eerste film in de reeks die niet op film maar digitaal is opgenomen, met camera's van RED. Regisseur Lana Wachowski koos bewust voor een compleet andere aanpak: veel daglicht in plaats van het gestileerde groen, twee camera's die vaak tegelijk draaiden en veel ruimte voor improvisatie op de set. Cameraman John Toll begon eraan, waarna operator Daniele Massaccesi na de coronastop doorging als tweede director of photography. De film telt ongeveer 2.300 effectenshots, gemaakt door onder meer DNEG, Framestore en One of Us, onder leiding van Dan Glass. Twee dingen zijn technisch de moeite waard. Bullet time andersom. In plaats van de camera te bevrijden, wordt de tijd nu tegen Neo gebruikt. Voor scenes waarin twee personages in hetzelfde beeld op verschillende snelheden bewegen, gebruikte de crew een stereoscopische opstelling: twee identiek uitgelijnde RED Rangers die exact hetzelfde beeld filmen, de een op 120 beelden per seconde, de ander op 8. In de nabewerking zijn die twee lagen in elkaar geschoven. Een game-engine in de bioscoop. Voor de dojoscene leunde DNEG zwaar op Unreal Engine, met realtime rendering op 4K. Dat is het punt waarop filmeffecten en games technisch definitief in elkaar overlopen. Lana Wachowski, die met haar zus Lilly de eerste drie films regisseerde en bij Resurrections alleen achter de camera stond. Afbeelding: Anna Hanks via Wikimedia Commons, CC BY 2.0 06The Matrix Awakens: de cirkel is rond Twee weken voor de bioscooprelease van Resurrections verscheen op 9 december 2021 iets wat achteraf misschien wel belangrijker is voor de techniek: The Matrix Awakens: An Unreal Engine 5 Experience, een gratis demo voor PlayStation 5 en Xbox Series X en S, gemaakt door Epic Games samen met Lana Wachowski, regisseur James McTeigue en, opnieuw, John Gaeta. De demo begint als een filmscene met digitale versies van Keanu Reeves en Carrie-Anne Moss, en zakt dan door naar een speelbare stad. Die stad is geen filmset maar een gesimuleerde wereld, en de cijfers zijn stevig. OnderdeelOmvang Stadsoppervlakongeveer 15,8 vierkante kilometer Gebouwencirca 7.000, opgebouwd uit modulaire onderdelen Auto's45.073 geparkeerd, waarvan 38.146 bestuurbaar Wegen en stoepenruim 260 km weg en 512 km stoep, met 1.248 kruisingen Straatverlichting27.848 lantaarnpalen, als lichtgevend materiaal in plaats van losse lampen Dat draait op twee technieken uit Unreal Engine 5. Nanite streamt geometrie met miljarden driehoeken zonder dat iemand handmatig versimpelde versies van modellen hoeft te maken. Lumen berekent licht en weerkaatsingen dynamisch, met raytracing in realtime, waardoor die duizenden ramen en lantaarns echt licht geven in plaats van dat het erin geschilderd is. De stad zelf is grotendeels procedureel gegenereerd, dus door regels beschreven in plaats van gebouw voor gebouw neergezet. Waarom dat zo mooi past. In 1999 moest de crew een virtuele camera nabouwen met honderdtwintig fotocamera's en negen maanden rekentijd per shot. In 2021 doet een spelcomputer van vijfhonderd euro hetzelfde soort camerabeweging zestig keer per seconde, in een stad die niet bestaat. Dat is precies het idee waar de films over gingen. 07De tijdlijn 1878Muybridge fotografeert een galopperend paard met een rij camera's, het principe achter bullet time. 31 maart 1999The Matrix komt uit, wint vier Oscars en maakt bullet time wereldberoemd. maart 2001 tot augustus 2002Reloaded en Revolutions worden achter elkaar opgenomen, inclusief de eigen snelweg op Alameda. 15 mei 2003Reloaded introduceert Universal Capture en de digitale acteur in close-up. 5 november 2003Revolutions sluit de trilogie af met een van de grootste digitale veldslagen van dat moment. 2015De Academy bekroont Universal Capture met een Technical Achievement Award. 9 december 2021The Matrix Awakens laat zien wat Unreal Engine 5 in realtime kan. 22 december 2021Resurrections verschijnt, de eerste digitaal opgenomen film uit de reeks. nuEen vijfde film is in ontwikkeling bij Warner Bros., geschreven en geregisseerd door Drew Goddard, met Lana Wachowski als uitvoerend producent. Een releasedatum is er nog niet. 08Wat ervan overblijft Van de vier films is de eerste veruit de invloedrijkste, en dat komt niet doordat hij de duurste effecten had. Hij had de goedkoopste van de reeks, gebouwd op fotocamera's, groene doeken en heel veel voorbereiding. De vervolgen brachten de technische doorbraak die vandaag overal zit, van digitale dubbelgangers in Marvel-films tot verjongde acteurs, maar ze kregen er nooit dezelfde waardering voor. Het aardigste aan deze reeks is misschien wel dat elke film een technische wedde deed die niet zeker was. Honderdtwintig camera's in een cirkel, een gescand gezicht in close-up, een game-engine als renderfarm. Drie keer viel het kwartje. En als er straks echt een vijfde film komt, is de interessante vraag niet wie er terugkeert, maar welke techniek dan de nieuwe gok mag zijn. Bronnen Wikipedia, Bullet time (techniek, voorlopers en uitvoering) befores & afters, VFX Artifacts: The Bullet Time rig from The Matrix Paul Debevec, image-based rendering en The Matrix Wikipedia, The Matrix Reloaded (snelweg op Alameda, Burly Brawl, budget en opbrengst) befores & afters, The Matrix Reloaded is 20: what it did for digital humans was HUGE befores & afters, Inside the Burly Brawl IndieWire, How VFX Cracked the New Bullet Time Code American Cinematographer, Back to The Matrix Epic Games, Introducing The Matrix Awakens: An Unreal Engine 5 Experience Epic Games, DNEG creates The Matrix Resurrections dojo scene with Unreal Engine Snopes, The Matrix rain of green code was inspired by sushi recipes Screen Rant, The Matrix 5 Gets Encouraging Update From Director Drew Goddard

De techniek achter The Matrix: van bullet time tot Unreal Engine 5

Reacties 0

Meer tech artikelen

AI bouwt AI: Claude leidt nu een kwart van het onderzoek bij Anthropic

Switch 2 haalt de achterstand in: VRR komt eindelijk naar de tv

Apple vouwt open: de iPhone Duo en een lineup zonder instapmodel