Kan Virtual Reality het snoer doorsnijden?

Laten we geen woorden verknoeien: ik ben zichtbaar opgewonden door Valve's nieuwe Virtual Reality-headset Valve & HTC kondigen nieuwe VR-headset aan tegen kerst 2015 Valve & HTC kondigen nieuwe VR-headset aan tegen kerst 2015 De nieuwe VR-headset van Valve is de beste die de wereld ooit heeft gehad gezien. Krijgt Oculus een kans? Lees verder .

De Vive, gemaakt in samenwerking met HTC, biedt een perfecte tracking van je hoofd en twee controllers, een comfortabele resolutie van 2160 x 1200 en een ultrascherp 90-zijdige OLED-display. Het komt dit jaar uit en biedt interactieve VR-ervaringen die zorgen voor een duurzaam gevoel van fysieke aanwezigheid in de virtuele scène.

Om een ​​idee te krijgen van hoe goed het volgen is, bekijk deze video van “De galerij,” een VR-game die op de Vive wordt gespeeld.

De uitdaging van Free-roaming Virtual Reality

De Vive is fantastisch. Als je echter de recensies leest van de prototype-headsets die binnen druppelen, merk je dat een specifieke klacht blijft opduiken.

Venture Beat:

“Tijdens mijn proef met het prototype droeg ik een riem om een ​​bundel koorden uit de weg te houden - en nu ik erover nadenk, moet Valve iemand met me hebben laten rondlopen om te zorgen dat ik niet struikel over een speling die ik heb gemaakt toen ik door de kamer liep.”

PC MAG:

“Omdat het een volledig interactieve, rondreizende ervaring is, moet u het meubilair uit het midden van een kamer verwijderen en proberen niet over de kabel te struikelen die terugloopt naar de pc.”

Gizmodo:

“En dat is waarschijnlijk het belangrijkste zwakke punt met HTC Vive. Het is als The Matrix dat voelt echt, maar ook dat je op een pc bent aangesloten met een kabel die uit je achterhoofd komt. Dat zal af en toe uw vrije beweging beperken en is soms (maar niet vaak, naar mijn ervaring) een struikelgevaar. Het is geen heel groot probleem maar toch merkbaar.”

Een deel hiervan is omdat de headset een prototype is met vijf kabels (de consumentenversie zou er maar één moeten hebben, een gecombineerde USB- en HDMI-kabel die de headset met de pc verbindt). Het probleem lijkt echter van fundamenteel belang te zijn voor bedrade headsets waarmee u vrij kunt lopen. Bekijk ons ​​Probeer de Oculus Rift Crescent Bay op CES 2015 Bekijk ons ​​Probeer de Oculus Rift Crescent Bay op CES 2015 De Oculus Rift Crescent Bay is een gloednieuw prototype dat laat een aantal opwindende verbeteringen in virtual reality-technologie zien. We proberen het uit op CES 2015. Lees meer. Koorden zijn een struikelgevaar, en ook gewoon een beetje jammer. Ze voorkomen dat je je VR-apparaat de kamer uit kunt, laat staan ​​het huis.

Dit wordt een groter probleem omdat we VR beginnen te gebruiken als een basisinterface voor onze besturingssystemen.

We hadden niet lang pc's voordat we een mobiele versie van de ervaring wilden (laptops, smartphones en tablets). VR zal op dezelfde manier werken, vooral nu we augmented reality-functies gaan integreren in de lijn van Microsoft HoloLens 8 Real-World Uses voor Microsoft HoloLens 8 Real-World Gebruik voor Microsoft HoloLens Microsoft's HoloLens is cool, maar wat gaat u eigenlijk gebruiken het voor? We raken de meest opwindende mogelijkheden kwijt. Lees verder .

Helaas blijkt het loskoppelen van VR-headsets van pc's een grote technologische uitdaging en een die we nog steeds niet weten op te lossen. Er zijn echter twee veelbelovende technologieën aan de horizon die kunnen helpen om het probleem op te lossen.

Oplossing # 1: pc-streaming

Een voor de hand liggende benadering van het programma is om uw pc te gebruiken om de virtuele wereld weer te geven en vervolgens de gegenereerde afbeeldingen naar de headset te streamen via wifi (zoals Steamlink, dat games van uw pc naar uw tv streamt). Het probleem met deze aanpak is latency. In virtual reality wilt u de vertraging tussen bewegen en het zien van die beweging op het scherm minimaliseren. Over het algemeen wordt aangenomen dat de sweet spot minder dan 20 milliseconden bedraagt.

Moderne videostreaming kan tot minder dan een milliseconde van latency optreden, wat een goed begin is. Helaas is een ongecomprimeerde 1440p 90hz-videostream bijna 8 gigabit per seconde aan gegevens. WiFi-routers voor consumenten kunnen ongeveer 100 megabit verwerken. Zelfs de allerbeste industriële routers zijn maximaal verkrijgbaar met ongeveer 800 megabit, acht keer minder dan nodig is. Om dit te verhelpen, moet u de afbeeldingen comprimeren voordat u ze verzendt. Het compressie- en decompressieproces voegt ongeveer 80 ms latentie toe, wat zullen maak je ziek.

Er zijn een paar mogelijke oplossingen voor dit probleem:

Verbeterde bandbreedte

Eén benadering is proberen te vergroten hoeveel bandbreedte beschikbaar is. 5G-netwerken, die over vijf jaar beschikbaar zijn, kunnen snelheden van ongeveer één terabit per seconde mogelijk maken, waarmee futuristische 8K-HMD's zonder compressie zouden kunnen worden verwerkt. In de nabije toekomst kon Li-Fi (een internettechnologie gebaseerd op snel pulserende LED's) overdrachtsnelheden van 10 GB / s toestaan ​​bij zeer lage latencies, wat de komende jaren draadloze versies van VR-headsets van de huidige generatie mogelijk zou maken, hoewel de technologie nog niet beschikbaar is voor consumenten.

Dit is waarschijnlijk de beste oplossing voor het probleem, maar het zal voor minimaal een jaar of twee niet beschikbaar zijn voor consumenten, kan duur zijn en de resolutie zal waarschijnlijk achterblijven bij de meest geavanceerde bedrade headsets totdat de juiste 5G-netwerken aankomen.

Lokaal kromtrekken

Een complexere optie zou zijn om de wachttijd van 80 ms te accepteren en daar achteraf voor te corrigeren door het oude beeld naar de nieuwe hoofdpositie te verdraaien. Dit levert nog steeds enige input lag op, maar niet de misselijkmakende head-motion soort.

De standaard benadering van dit soort problemen is asynchrone time-warp, die gegevens verzamelt van de pc en deze vervormt met een kleine GPU op de headset om de oude afbeelding vanuit een nieuw perspectief weer te geven, waardoor de headset ondanks de hoge latency vloeiend kan worden bijgewerkt.

Op het eerste gezicht lijkt dit een magische kogel. Helaas zijn er enkele grote vangsten. Om Michael Antonov, een Oculus-onderzoeker, te citeren,

“Positioneringsjutter is een van de meest voor de hand liggende artefacten met timewarp die alleen is georiënteerd. Wanneer u uw hoofd beweegt, wordt alleen de extra rotatiecomponent weerspiegeld in de ATW-gegenereerde afbeeldingen, terwijl elke verplaatsing van de translatiekop sinds het frame werd weergegeven, wordt genegeerd. Dit betekent dat wanneer je je hoofd heen en weer beweegt, of zelfs alleen je hoofd roteert dat je ogen vertaalt, je meerdere beelden zult zien trillen op objecten die dicht bij je in de buurt zijn.

[...]

Een mogelijke manier om de positie van de jutter aan te pakken, is het uitvoeren van volledige positionele kromtrekken, waarbij zowel fixatie van de vertaling als de richting wordt toegepast op het origineel gemaakte frame. Bij positionele kromtrekken moet rekening worden gehouden met de diepte van het origineel weergegeven frame, waarbij delen van het beeld met verschillende hoeveelheden worden verplaatst. Een dergelijke verplaatsing genereert echter disocclusie-artefacten aan objectranden, waar gebieden met spaties worden blootgelegd die geen gegevens in het oorspronkelijke frame bevatten.”

Er zijn verschillende technieken voor het maken van gegevens om de gaten gemaakt door positionele timewarp te vullen, maar ze laten allemaal artefacten achter, en degenen met de minste artefacten zijn de meest computationeel dure. Het probleem is vergelijkbaar met het probleem waarmee VR-diepgangsvideo's worden weergegeven. VR staat op het punt om filmmaken voor altijd te veranderen: hier is hoe VR het leven van filmmaken voor altijd zal veranderen: hier is hoe virtual reality een nieuwe manier is om met je kijker en veel mensen te communiceren met een achtergrond in traditioneel filmmaken vind je de mogelijkheden spannend. Lees verder .

Om dit probleem perfect op te lossen, moeten ontwikkelaars een manier vinden om extra gegevens te verzenden om de gaten te vullen. Een paar mogelijke benaderingen:

• Ren afgelegen en nabije veldobjecten afzonderlijk en stream beide afbeeldingen
• Render een lichtveld, dat opnieuw kan worden geprojecteerd door grote kopverschuivingen zonder disocclusie
• Ontwikkel uiterst geavanceerde hoofdbewegingsmodellen en gebruik voorspelling om disocclusion-fouten te minimaliseren

Het is niet duidelijk wat de beste oplossing hier is. Geen enkele van de benaderingen die we kennen is perfect en sommige ervan vereisen meer onderzoek. Uitzoeken of re-projectie een goed idee is, komt er op neer hoeveel we de artefacten kunnen minimaliseren. Het is een veelbelovende mogelijkheid, maar er zijn veel onbeantwoorde vragen.

Oplossing # 2: lokale weergave

Een compleet andere strategie is om de pc te vergeten en de rendering lokaal op de headset uit te voeren. Dit is hoe Microsoft's HoloLens en Samsung Gear VR werken. Er is niet veel bekend over de HoloLens Five Questions over 'Project HoloLens' van Microsoft Vijf vragen over Microsoft's 'Project HoloLens' De nieuwe Augmented Reality-headset van Microsoft is heel opwindend - maar kunnen ze de fundamentele problemen van AR oplossen? Meer lezen, maar de Gear VR heeft een aantal ernstige beperkingen. De mobiele GPU kan enkele bescheiden VR-ervaringen aan (met intensieve optimalisatie), maar nauwelijks. Warmtebeheer is een probleem, de resolutie en verversingssnelheid stijgen niet tot het niveau dat nodig is voor aanwezigheid in de scène, en de headset heeft geen positionele tracking. Een deel hiervan is te wijten aan de beperkingen van mobiele technologie en zal snel beter worden, gesteund door het tij van de wet van Moore.

Sommige van deze problemen zijn echter het gevolg van het moeten engineeren rond een smartphone die niet is ontworpen voor VR. Als je vanaf het begin een mobiele VR-headset zou bouwen, zou je veel dingen anders kunnen doen. Ontwerpers kunnen beschikken over twee geavanceerde mobiele GPU's, een zeer hoog verversingsscherm en een grote batterij. Ze konden ook componenten verspreiden voor een betere gewichtsverdeling en hittemanagement. De resulterende vormfactor lijkt misschien veel op de Sony Morpheus.

Of, als ingenieurs ambitieus wilden worden, konden ze iets meer als mini-pc bouwen: een klein draagbaar blok van computronium met een of meer laptop-GPU's, een ventilator en een grote batterij. Dit apparaat zou een vormfactor hebben die vergelijkbaar is met die van een Walkman en zou een HMD via een enkele kabel aansturen.

De huidige NVIDIA-vlaggenschip GPU, de GTX 980, die Oculus intern gebruikt, is slechts ongeveer 40% sneller dan zijn mobiele tegenhanger, de 980M, en het is klein. Het is waarschijnlijk mogelijk om er twee in een heuptasje te passen, met ruimte over voor de rest van het lef van een kleine mobiele pc.

Opmerking voor hardwareproducenten: laat de pers onder geen beding uw product beschrijven als een 'heuptasje'.

Deze vormfactor zou zwaarder zijn dan een op zichzelf staande headset, om nog maar te zwijgen van de dure - achterkant van de envelop math suggereert een prijs van ongeveer $ 2500. Het is mogelijk dat moderne consumenten niet geïnteresseerd zijn in producten die onpraktisch zijn. Het is echter de enige manier voor een mobiele VR-headset om prestaties concurrerend te laten zijn met pc-VR, en ik vermoed dat hardcore gamers en andere onbetwistbaar geld ervoor zullen gaan. Er is een lange geschiedenis van nerds die voorop lopen in de technologie door bereid te zijn producten te dragen waardoor ze er belachelijk uitzien.

Op dit moment hebben mobiele headsets last van een onvermogen om positionele tracking te bieden, waardoor een misselijkmakend gevoel ontstaat dat de wereld aan je romp is vastgemaakt wanneer je probeert te bewegen. Dit probleem kan echter binnenkort worden opgelost. Op de korte termijn, Valve's “vuurtoren” positionele trackingtechnologie is een geweldige oplossing: de laserprojectors zijn dom, wat betekent dat ze kunnen worden betegeld om grote ruimtes te beslaan en kunnen vele apparaten tegelijk bedienen. Dientengevolge, zou het volgen van vuurtoren in de komende jaren een goedkope dienst kunnen worden die huizen en bedrijven bieden, net zoals WiFi tegenwoordig is, waardoor je mobiele VR-hardware in de meeste binnenruimten kunt gebruiken.

Op de langere termijn, naarmate de dieptecamera's de resolutie en het ruisniveau verbeteren, zou het mogelijk moeten worden om ze te gebruiken voor positionele tracking, met voldoende precisie om een ​​gevoel van VR-aanwezigheid te bieden. Dit zorgt voor zelfstandige VR-producten die geschikt zijn voor gebruik buitenshuis en augmented reality.

De toekomst van mobiele VR

Op de lange termijn zijn mobiele headsets waar VR-technologie naartoe gaat.

We kunnen de wiskunde van de wet van Moore berekenen door uit te vogelen hoeveel verdubbelingen we er niet vanaf kunnen om fotorealistische virtuele werelden op mobiele apparaten weer te geven. High-end pc's zijn misschien vijf verdubbelingen (een andere generatie van de console) om geen fotorealistische spelervaringen bij 1080p te kunnen leveren. Voor VR hebben we één verdubbeling nodig voor 3D en nog eens drie voor weergave op het 8K-per-oog dat nodig is om onscherpte en het schermdeureffect te elimineren. Om rekening te houden met het mobiele platform, hebben we ongeveer vier verdubbelingen nodig om high-end pc's te bereiken.

Als je alle verdubbelingen optelt en vermenigvuldigt met de anderhalf jaar gedicteerd door de wet van Moore, krijg je ongeveer twintig jaar (2035), wat het punt is waarop niemand het verschil kan zien tussen een VR-scène die op een smartphone is weergegeven en één weergegeven op een high-end gaming-pc. Op dat moment is er geen reden om ooit nog een PC-gestuurde headset te gebruiken.

Tot die dag komt, vermoed ik dat we zowel bekabelde als draadloze door VR-pc gestuurde VR-headsets een tijdje zullen zien. Draadloze headsets zullen handiger zijn, maar bedrade headsets zullen een betere resolutie bieden - tenminste tot 5G-netwerken volledig volgroeid zijn.

Aan de andere kant van de kloof zullen mobiele headsets zich blijven verbeteren en marktaandeel van de pc wegscheppen als we ver genoeg de curve van afnemende opbrengsten opgaan, waarbij steeds meer mensen bereid zijn om een ​​bescheiden hoeveelheid trouw op te offeren voor flexibiliteit . De concurrentie zal hevig zijn en hopelijk goed voor de consument. Persoonlijk kan ik niet wachten.

Opgewonden voor draadloze headsets? Weet u van een technologie die we hebben gemist? Laat het ons weten in de comments!

Beeldcredits: Barone Firenze Via Shutterstock, “Isan is op te nemen ... ”, door Edvvc, “Phubby,” door Kevin Lin, “HTC VR,” door HTC, “Steam Link,” door Valve, “de wet van Moore,” door Wikimedia

Ontdek meer over: Virtual Reality.