VR staat op het punt om voor altijd te veranderen Filmmaking Hier is hoe

Hollywood heeft het over virtual reality. Op de Oculus Connect-conferentie vorige maand sprak een hele reeks Hollywood-alums over de technologie en de toepassingen ervan in het maken van films.

Ondertussen beginnen zware hitters in de industrie zwaar te wegen. James Cameron haat het. David Attenborough maakt er een documentaire over. De recente (excellente) film Interstellar had een VR-ervaring die het promootte.

Virtual reality is een nieuwe manier om met je kijker te communiceren en veel mensen met een achtergrond in traditionele films vinden de mogelijkheden opwindend. Virtuele realiteit, in plaats van alleen maar een venster naar een nieuwe wereld te bieden, stelt regisseurs in staat om de controle over de hele wereld rond de kijker te nemen.

Wat kunt u doen met een VR-camera?

Er is niet veel fantasie voor nodig om enthousiast te worden over het idee van VR-camera's. Filmmakers konden het publiek letterlijk confronteren met hun personages en ze onderdompelen in spectaculaire, bizarre werelden. Fotografen kunnen hele scènes vastleggen, bevroren in de tijd, door iedereen worden bekeken, waar ook ter wereld.

Documentariërs kunnen het publiek meenemen naar plaatsen die ze anders nooit zouden kunnen bezoeken. Ze konden een VR-camera naar de bodem van de oceaan sturen en kijkers in het midden van de verzonken balzaal van de Titanic laten staan. Natuurdocumentaires kunnen tijd en ruimte manipuleren, gebruikers onder mieren zo groot als honden brengen of meeslepende time lapse-sequenties bouwen. NASA kan een VR-camera op een Mars-rover plaatsen en miljoenen mensen op de rode planeet laten staan.

Er zijn natuurlijk ook meer alledaagse toepassingen:

Een van de sleutels tot het succes van consumenten-VR zijn stereoscopische panoramische kattenvideo's.

- John Carmack (@ID_AA_Carmack) 6 november 2014

Live VR-video kan ook heel aantrekkelijk zijn. Sportspellen kunnen op afstand worden bezocht, VR-camera's zouden iedereen op de rechterstoel plaatsen. Zelfs toerisme kan virtueel zijn.

Gebruikers kunnen een eenvoudige telepresence-robot huren (misschien een Segway met een VR-camera die op het stuur zit) en deze overal in de wereld besturen. De Segway zou zijn video live streamen, waardoor toeristen virtueel konden worden “teleport” zelf over de planeet om overal te verkennen. Het lijkt veilig om te zeggen dat VR de wereld gaat veranderen. Waarom Virtual Reality-technologie je geest in 5 jaar zal opvlammen. Waarom Virtual Reality-technologie je geest in 5 jaar zal opvlammen De toekomst van virtual reality omvat het volgen van hoofd-, oog- en expressies, gesimuleerde aanraking , en veel meer. Deze verbazingwekkende technologieën zullen over 5 jaar of minder voor u beschikbaar zijn. Lees verder .

VR-filmmaken kent echter vele uitdagingen. Hoe kunnen regisseurs de camera bewegen terwijl ze de kijker comfortabel houden? Hoe snijden regisseurs films zonder de toeschouwer te desoriënteren? Hoe zorgen ze ervoor dat de kijker de juiste richting op kijkt om belangrijke plotgebeurtenissen te vangen? Hebben close-ups zelfs zin??

Maar de grootste problemen zijn misschien de praktische: hoe neem je content op voor virtual reality? Het weergeven van live VR-inhoud voor games is rekenintensief, maar conceptueel eenvoudig. Het vastleggen van het echte leven vormt daarentegen een aantal ernstige uitdagingen.

Panoramische camera

De eenvoudigste oplossing (en momenteel de meest gebruikte) is een eenvoudige panoramische video-opname. In dit schema wordt een bal met conventionele camera's gebruikt om video in elke richting op te nemen en de resultaten worden samen met software samengevoegd om een ​​naadloze sfeer van video te creëren. Deze zijn vergelijkbaar met de panorama's die u maakt. 5 Tips om panoramische foto's te maken met uw smartphone 5 Tips om panoramische foto's te maken met uw smartphone Panoramische beelden van adembenemende landschappen zien er bijna altijd fantastisch uit, maar ze kunnen heel moeilijk te maken zijn. Met behulp van een smartphone zijn er verschillende technieken en trucs die u kunt gebruiken om de beste resultaten te krijgen. Lees meer e met uw telefoon, maar tegelijkertijd opgenomen in videoformaat. De uitvoer van het proces ziet er ongeveer zo uit:

Dit is eenvoudig en goedkoop. Je kunt een panoramische camera voorbestellen voor ongeveer $ 700, maar het heeft beperkingen. Het belangrijkste is het gebrek aan diepte: de panorama's worden weergegeven op een oneindig grote bol, zodat de parallax tussen je ogen nul is, zelfs voor delen van het beeld die echt diepgang zouden moeten hebben, zoals een persoon die naast je staat.

Ondanks deze tekortkoming is de ervaring van panoramische video nog steeds verrassend gaaf, vooral voor inhoud die zich op afstand afspeelt (luchtfotografie is een goed voorbeeld). Ongeveer een week geleden heb ik een Oculus Rift-app gebouwd die een virtuele cockpit in de video hierboven geeft, en de resultaten zijn overtuigend: het voelt als rijden in een onderzeeër omringd door zeeschildpadden ter grootte van kleine gebouwen.

Beschouw dit soort VR-inhoud als een persoonlijk super-IMAX-theater waarin je staat opgehangen in het midden van een enorm bolvormig scherm. Het gevoel van plaats geboden door sferische video is al iets dat onmogelijk is met traditionele gereedschappen voor filmmaken. Zelfs met zijn beperkingen, is dit waarschijnlijk wat de meeste VR-video in de nabije toekomst gaat lijken. Richard Attenborough's documentaire (“The Conquest of the Skies“) wordt opgenomen in dit formaat.

Stereo Panoramische camera

Stel dat een regisseur niet tevreden is met de beperking van monoscopische panorama's. Een voor de hand liggende uitbreiding van de technologie is het samenbrengen van 3D-technologie naast elkaar. Plezier in de oudheid: hoe maak je 3D-beelden om zonder bril te bekijken Plezier in de oudheid: hoe maak je 3D-beelden om te bekijken zonder bril Geloof het of niet, je hebt geen 3D-bril nodig om overtuigend realistische 3D-beelden (of films) te ervaren. Je moet jezelf gewoon maken “scheel”. In wezen kijk je naar twee afbeeldingen, en door opzettelijk ... Lees meer. Hiervoor heeft de hardware twee parallelle camera's nodig die naar elke richting zijn gericht, ongeveer 6,3 cm verschoven. Vervolgens maakt de camera gebruik van software om twee panoramische beelden aan elkaar te naaien: één voor het linkeroog en één voor het rechteroog. Het verschil tussen hen creëert de illusie van diepte. Producten die deze ervaring ondersteunen zijn beschikbaar, hoewel ze duur zijn ($ 995, plus de kosten van tien GoPro-camera's).

In een poging om dit soort inhoud meer mainstream te maken, heeft Samsung onlangs aangekondigd “Project Beyond”, een panoramische VR-stereocamera voor de Oculus-Samsung Gear VR mobiele hoofdtelefoon. Het huidige prototype heeft de vormfactor van een kleine puck en gebruikt 17 HD-camera's en maakt een gigapixel per seconde aan gegevens.

Bij 30 fps komt dat neer op panoramaframes die ongeveer 15 megapixels per oog hebben, of ongeveer 50.000 pixels per oog per visuele graad. Prijsinformatie is nog steeds een mysterie en Samsung benadrukt dat dit geen voltooid project is. Je kunt hun voorbeeldvideo hieronder bekijken.

Stereo-panorama's zijn duidelijk een betere ervaring dan hun monoscopische broers - grote dingen zien er groot uit, kleine dingen zien er klein uit, objecten hebben diepte en positie, en het voelt veel meer alsof je er bent. Dat gezegd hebbende, de ervaring is nog steeds verre van perfect. Zoals John Carmack in zijn Oculus Connect-keynote beschrijft, hebben stereopanorama's veel problemen.

“... stereoscopische panorama's, of het nu nog steeds is of video's, zijn absoluut een hack. Er is - we weten wat recht is en dat klopt niet. Wat ze uiteindelijk doen is dat je plakjes hebt genomen van meerdere camera's, dus recht voor je is het de juiste stereo voor een para-wijs en dan is het hier juist voor. Maar dat betekent dat als je kijkt naar wat goed was voor de ogen hier, maar vanuit je ooghoek hier naar kijkt, het beslist niet goed is. Het is niet de juiste ongelijkheid voor de ogen.

En dan nog erger als je je hoofd op deze manier draait [rolt hoofd], wordt het allemaal erg slecht, omdat het recht voor de ogen is opgesteld. Dus dit was interessant. We hebben het spul waarvan we in principe weten dat dit op een of andere manier kan worden vergiftigd. Dit kan een heel slechte ervaring zijn als mensen waar je veel tijd doorbrengt, overvallen zijn. [...]

Dit zijn technische problemen die misschien kunnen worden opgelost door betere hardware. Er is echter een diepere kwestie: wat gebeurt er als je je hoofd beweegt? De panorama's voor beide ogen worden nog steeds weergegeven in het oneindige: fysiek bewegen van je hoofd zal resulteren in het misselijkmakende gevoel dat de wereld met je meebeweegt, vooral als er objecten in je buurt zijn. Er is geen eenvoudige manier om erachter te komen hoe een stereoscopisch beeld eruit zou zien vanuit een nieuw oogpunt.

Ondanks deze beperkingen zijn stereo panoramische ervaringen nog steeds overtuigend. Het Gear VR-platform zal zich concentreren op dit soort ervaringen, omdat ze kunnen worden gemaakt met moderne hardware en kunnen worden weergegeven zonder de renderingmogelijkheden van de hardware te belasten. Stereo-panorama's zullen waarschijnlijk de gouden standaard zijn voor de productie van VR-inhoud, althans voor de komende jaren.

Dieptecamera's

Een alternatief voor het vastleggen van twee naast elkaar liggende afbeeldingen (zoals bij traditionele 3D-films) is om vast te leggen wat bekend staat als dieptebeelden: één enkel beeld vastgelegd vanuit een enkel perspectief, dat een extra kleurkanaal bevat dat de afstand tot de lens opslaat van de betreffende pixel.

Als je dat hebt, kan software virtuele camera's simuleren die het beeld vanuit een nieuw perspectief bekijken, en zorg je ervoor dat je altijd een nieuw, correct beeld hebt van elk oog. Het is mogelijk om panoramische dieptebeelden te genereren die een natuurlijke beweging en rotatie van het hoofd mogelijk maken op een manier die niet mogelijk is met stereopanorama's. Er zijn een paar technologieën die u kunt gebruiken om deze dieptebeelden vast te leggen.

Vliegtijd

De versie van deze technologie waarmee u waarschijnlijk het meest vertrouwd bent, is de versie die wordt gebruikt in de Kinect. De Kinect V2 (de versie gebundeld met de Xbox One) is afhankelijk van wat bekend staat als een tijd-van-de-vluchtcamera.

De theorie hier is duidelijk: camera's voor de vluchttijd zijn infraroodcamera's die niet alleen kunnen registreren waar licht de sensor raakt, maar ook wanneer licht valt op de sensor, met een nauwkeurigheid van enkele microseconden. Dit gaat gepaard met een kleurenvideocamera en een infraroodstroboscooplicht. Aan het begin van elk frame knippert de IR-flitser, waardoor de scène zeer kort wordt verlicht. Door te bepalen hoe lang het duurt voordat elke pixel de flits observeert, kan de camera aan de lichtsnelheid afleiden hoe ver weg elke pixel van de camera verwijderd is.

Deze technologie is enorm krachtig. Hackers hebben een aantal ongelooflijke dingen gedaan 5 Microsoft Xbox Kinect-hacks die je geest zullen bezighouden 5 Microsoft Xbox Kinect-hacks die je geest zullen doen Lees er meer over. Door meerdere Kinects in een overlappende configuratie te gebruiken, kan het mogelijk zijn om een ​​panorama van een scène te maken, met een precieze dieptewaarde voor elke pixel, die in de virtuele realiteit zou kunnen worden gerenderd om een ​​meeslepende ervaring met de juiste diepte te creëren.

Om een ​​idee te krijgen van de soorten resultaten die deze aanpak oplevert, bekijk deze video met de uitvoer van alleen de dieptecamera van de Kinect V2.

Dit is een diepte-beeld van hoge kwaliteit - veel detail, zuivere randen en niet te veel ruis. Er zijn echter enkele beperkingen: het grootste voorbehoud is dat de Kinect in dit voorbeeld een binnenscène opneemt met zorgvuldig gecontroleerde lichtomstandigheden.

In scenario's in de echte wereld (en vooral buitenshuis) kan omgevingsinstraling door direct en indirect zonlicht en door gloeilampen de nauwkeurigheid verminderen. Er is ook een meer fundamenteel probleem, namelijk dat de tijd van de camera's op de vlucht afhankelijk is van actieve verlichting. Dat legt een aantal harde limieten op hoe ver ze kunnen zien. Ze kunnen ook niet goed overweg met transparante en reflecterende oppervlakken. En omdat de dieptesolutie wordt beperkt door de nauwkeurigheid van de timing, zijn camera's voor de vluchttijd niet erg handig voor het opnemen van kleine voorwerpen, waardoor spelen met schaal onmogelijk wordt.

Lichtveld

Een andere technologie voor het maken van dieptebeelden staat bekend als 'lichtveldfotografie' Lytro Light Field Camera: Snap Happy of Photo Gimmick? Lytro Light Field Camera: Snap Happy of Photo Gimmick? Beschreven door een medewerker als "de eerste grote verandering in fotografie sinds de fotografie werd uitgevonden", is de Lytro lichtveldcamera zeker een revolutionair apparaat. De camera schudt de boel door veel van de zware ... Lees meer .

Zo werkt het: bij conventionele fotografie stelt de cameralens het invallende licht scherp op een sensor. Elk element van de sensor registreert de hoeveelheid licht die deze raakt. Lichtveldcamera's gebruiken een speciale sensor, waarin elk “pixel” is eigenlijk een kleine lens met veel sensoren eronder. Hierdoor kan de camera niet alleen meten hoeveel licht elke pixel raakt, maar ook de hoek waarin het licht binnenkomt.

Dit is om enkele redenen nuttig. De eenvoudigste toepassing is dat eindgebruikers na het nemen van een monster van het grote 'lichtveld' een foto opnieuw kunnen focussen nadat deze is gemaakt. De applicatie die interessant is voor VR, is dat lichtveldcamera's ook, overigens, dieptecamera's zijn! De hoek van het invallende licht van een object is een functie van hoe ver het object zich van de lens bevindt, in verhouding tot de grootte van de lensopening. Ver weg objecten produceren licht dat bijna loodrecht op de lens staat. Zeer nabije objecten produceren licht dat bijna parallel is. Hieruit is het mogelijk om (zeer nauwkeurig) de dieptekaart van een afbeelding te bepalen.

Hieronder ziet u enkele resultaten van een videocamera met een klein lichtveld en hoe de afbeelding er uit ziet als een andere hoek.

Omdat het een passief proces is, worden de bereiklimiet en ruimtelijke nauwkeurigheid bepaald door de resolutie en de grootte van het diafragma, en niets anders. Dat betekent dat door gebruik te maken van vergrotende lenzen, het mogelijk is om lichtvelddiepte-afbeeldingen van vrijwel elk object op elke schaal onder alle omstandigheden te maken. Om een ​​voorbeeld te krijgen van wat mogelijk is met grotere, nauwkeurigere lichtvelden, bekijk deze video, die gebruik maakt van verschillende frames van een handheld lichtveldcamera om een ​​veel groter lichtveld te simuleren. Het genereert er een redelijk overtuigende 3D-geometrie van.

Lichtveldcamera's zijn een veel minder ontwikkelde technologie dan de tijd van de vliegcamera's (er is momenteel slechts één lichtveldcamera op de consumentenmarkt en deze ondersteunt geen video-opname). Dat gezegd hebbende, met meer ontwikkelingstijd zouden lichtveldcamera's op de lange termijn een veel robuustere diepgangsvideo-ervaring moeten bieden.

Omgaan met disocclusion

Er is één groot probleem met dieptevideo's die het vermelden waard zijn: hoofdbeweging. Ja, het is mogelijk om diepte-video's opnieuw te projecteren naar nieuwe perspectieven, en alle pixels komen terecht waar ze zouden moeten zijn. Dieptevideo maakt je niet ziek. Helaas introduceren ze een nieuw probleem: disocclusion.

Wanneer je je hoofd zo beweegt dat je naar een deel van de wereld kijkt dat niet zichtbaar is in het originele beeld of panorama, krijg je een smerig visueel artefact: een schaduw. Om een ​​idee te krijgen van waar ik het over heb, bekijk deze video:

In die video heeft een programmeur de Kinect gehackt om een ​​dieptevideo weer te geven van wat hij in de ruimte ziet. Door de virtuele camera te verplaatsen, reprojecteert hij de scène vanuit een aantal perspectieven.

Het is een Kinect van de eerste generatie, dus de videofeed is een beetje glitchy, maar de resultaten zijn behoorlijk indrukwekkend. Het grootste nadeel, dat duidelijk wordt naarmate hij de camera begint te draaien, zijn de schaduwen in de scène. Het deel van de muur achter zijn lichaam heeft een enorme, persoon-vormige gat uitgesneden: het deel dat de camera niet kan zien en heeft geen gegevens voor. Deze zwarte schaduwen verschijnen in diepere panorama's zodra je hoofd begint te bewegen. Dus, hoe gaan VR-camera's om met deze gaten? Welnu, er zijn een paar benaderingen voor dit probleem:

Meer camera's

De eenvoudigste oplossing is om de spullen eigenlijk gewoon op te nemen rond hoeken en achter occluderende oppervlakken. Om dit te doen, voeg je meer camera's toe - veel meer. Om mensen in staat te stellen hun hoofd naar bijvoorbeeld een meter in een willekeurige richting te bewegen, moet de camera worden uitgebreid om een ​​2-meterbrede bol met hoge FOV-dieptecamera's te maken, zodat software elk gezichtspunt kan samenvoegen binnen de bol.

Dit is de meest robuuste aanpak, maar ook de minst praktische. Een bol van twee meter met camera's is geen mooie, draagbare steadicam, het is een installatie en een dure. Dit kan praktisch zijn voor sommige high-end Hollywood-producties, maar zeker niet voor de meeste echte toepassingen. U kunt hieronder een prototype van dit idee zien, geïmplementeerd in de vorm van een live 3D teleconferentieapplicatie:

Scène Reconstructie

Een andere benadering, als de videomaker voornamelijk enkele dynamische objecten tegen een statische achtergrond opneemt, is om een ​​dieptecamera te gebruiken om de omgeving in kaart te brengen voordat deze begint met filmen, en deze gegevens te gebruiken om gaten in de opgenomen beelden in te vullen. Dit kan automatisch worden gedaan met een techniek genaamd SLAM (Simultaan Lokaliseren en Mappen), die automatisch vele dieptebeelden samenvoegt om een ​​volledige 3D-kaart van een scène te maken. De resultaten zien er ongeveer zo uit:

Dit werkt redelijk goed, maar is niet geschikt voor alle situaties. Het is niet moeilijk je voor te stellen om een ​​scène te filmen in een drukke openbare ruimte, waar veel van de achtergrond bestaat uit mensen die zich verplaatsen en elkaar afsluiten. Het vastleggen van een enkele statische versie van die scène om de gaten in te vullen is eenvoudigweg niet mogelijk. Verder is het voor documentaire, live video- of nieuwsdoeleinden niet praktisch om de omgeving van tevoren uitputtend in kaart te brengen.

Gewoon dingen verzinnen

De laatste benadering van het probleem is om terug te grijpen naar het gebruikelijke antwoord in gevallen waarin u niet over voldoende gegevens beschikt: regelrechte leugens.

Het inzicht hier is dat de kijker in het echte leven niet opstaat en probeert rond te lopen. Ze gaan zitten, en waar de software echt voor moet corrigeren, zijn kleine variaties in pose, veroorzaakt doordat de kijker leunt en verschuift in hun stoel - de disocclusions zullen gewoon niet zo groot zijn. Dat betekent dat de gegevens die worden gebruikt om de gaten in te vullen niet echt accuraat hoeven te zijn, het moet er alleen maar aan te passen zijn. Degenen onder jullie die hebben gespeeld met photoshop's contentbewuste beeldvulling (of zijn concurrenten Snapheal voor Mac: de Superhero Image Healer [Giveaway] Snapheal voor Mac: de Superhero Image Healer [Giveaway] SnapHeal voor Mac ($ 14,99) is hier om je te redden foto's, en het doet het prima, deze week zullen we 25 exemplaren van Snapheal voor Mac ter waarde van $ 375 weggeven, als ... Lees meer) weten waar dit naartoe gaat.

Het blijkt dat onderzoekers in vrij goede algoritmen zijn gekomen om gaten in live videostreams in realtime in te vullen. U kunt hieronder enkele voorbeelden bekijken:

Stel je voor dat een dieptebeeld wordt ontbonden in lagen, ze één voor één worden afgetrokken om te kijken waar schaduwen mogelijk kunnen optreden, en dan dit soort in-painting algoritmen gebruiken om plausibele afbeeldingen te genereren om de gaten te vullen.

Dit is een beetje moeilijker dan een eenvoudige 2D-in-schilderij, omdat het algoritme ook redelijke dieptewaarden voor de gaten moet berekenen, maar veel van dezelfde technieken kunnen worden gebruikt. Deze benaderingen zullen niet perfect werken in alle situaties, maar zolang die artefacten minder opdringerig zijn dan grote zwarte gaten in de wereld, geldt dat nog steeds als een overwinning.

Hoe lang duurt het voordat ze klaar zijn?

Met VR-camera's, zelfs meer dan andere dingen, is perfect de vijand van het goede.

Zelfs met de beste technologie die het geld kan kopen en beeldmateriaal dat zorgvuldig is gepland om occlusie-fouten te minimaliseren, zouden de resultaten nog steeds niet perfect zijn. Spiegelende highlights zijn bijvoorbeeld lichtvlekken op glanzende oppervlakken, die afhankelijk van de positie van je hoofd van positie verschillen, omdat ze afhankelijk zijn van licht dat onder een heel specifieke hoek wordt weerkaatst.

Spiegelende hooglichten opgenomen in de beste VR-video verschijnen als witte witte vlekken op het oppervlak en kijken niet recht in de buurt van objecten tijdens de beweging van het hoofd. Dat is een beperking die moeilijk zal zijn om rond te komen. Bovendien is het invullen van occlusieve fouten in gecompliceerde scènes met veel bewegende objecten moeilijk - perfect doen is onmogelijk en zal nog lang duren.

Het zal nog jaren en misschien zelfs tientallen jaren duren voordat VR-camera's een perfecte ervaring bieden op dezelfde manier als traditionele 2D-films. Dat is de opoffering die je doet om een ​​fundamenteel krachtiger medium te ervaren.

Met dat gezegd, komt er in de nabije toekomst heel cool werk voor de boeg. Elke optie die in dit artikel wordt genoemd, kan echt waardevolle ervaringen opleveren. Samsung's aankondiging van “Project Beyond” is een veelbelovend teken van wat komen gaat.

De Oculus Rift is gepland om ergens in 2015 te lanceren, en verkoopcijfers in de miljoenen eenheden lijken geen uitputtingsslag. Als virtual reality van de grond komt zoals het lijkt, zal er snel een enorme technologische vooruitgang plaatsvinden.

De vraag naar inhoud zal ervoor zorgen dat VR-camera's steeds beter en kleiner en goedkoper worden om aan de vraag te voldoen. Het zal waarschijnlijk niet lang duren voordat een apparaat dat minder kost dan een nieuwe telefoon en past in de palm van je hand een overtuigende, comfortabele VR-opname van alles zal bieden - en dat zal heel, heel gaaf zijn.

Wat zou jij doen met je eigen VR-camera? Op wat voor soort inhoud ben je het meest opgewonden? Laat het ons weten in de comments!

Image Credits: brilconcept via Shutterstock

Ontdek meer over: Virtual Reality, Virtual World.