Vijf vragen over Microsoft's Project HoloLens

Woensdagochtend toonde Microsoft een project waaraan ze zeven jaar hebben gewerkt, een augmented reality-headset genaamd Project HoloLens.

De visie is ambitieus: ze willen de manier waarop mensen omgaan met computers fundamenteel veranderen door een bril te bouwen die virtuele en echte inhoud vloeiend in de fysieke ruimte van de gebruiker kan mengen. Dit is vergelijkbaar met virtual reality-technologie Waarom Virtual Reality-technologie je geest in 5 jaar zal opvlammen Waarom Virtual Reality-technologie je geest in 5 jaar zal opvlammen De toekomst van virtual reality omvat head-, eye- en expression-tracking, gesimuleerde aanraking en nog veel meer. Deze verbazingwekkende technologieën zullen over 5 jaar of minder voor u beschikbaar zijn. Meer lezen, maar fundamenteel krachtiger. Bovendien willen ze alle verwerking lokaal op de bril doen - geen computer, geen telefoon, geen kabels. Ze lanceren zelfs een speciale versie van Windows, alleen voor de nieuwe hardware. Dit is het volgende stadium in de technologische evolutie voor al deze AR-games Augmented Reality Apps: Useful, of Just Hype? MakeUseOf test Augmented Reality Apps: nuttig of gewoon hype? MakeUseOf-tests In 2011 voorspelden analisten de opkomst van mobiele Augmented Reality-apps. De ontluikende technologie zou een revolutie teweegbrengen in de manier waarop we omgaan met onze mobiele apparaten. Flash-forward twee jaar en tientallen AR-apps vullen allemaal ... Lees Meer dat je ooit op je telefoon hebt geïnstalleerd en sindsdien niet meer hebt aangeraakt.

Hun tijdschema is nog ambitieuzer dan hun doelen: ze willen dit voorjaar ontwikkelaarskits verzenden en het consumentenproduct “tijdens het Windows 10-tijdsbestek”. Dit is het veld.

Dit klinkt allemaal goed, maar ik geef toe dat ik behoorlijk sceptisch ben.

De technologieën die Microsoft gebruikt, hebben serieuze, fundamentele uitdagingen, en tot nu toe heeft Microsoft erg mondjesmaat gehouden over hoe (of als) ze ze hebben opgelost. Als ze ze niet hebben opgelost, is hun doel om binnen een jaar te verzenden heel zorgwekkend. Het laatste dat VR en AR nodig hebben, is een groot bedrijf dat een ander halfbakken product als de Kinect verzendt. Denk aan de Project Natal-demo van 2009?

Zonder verder oponthoud, hier zijn de vijf belangrijkste dingen die ik graag zou willen weten over de HoloLens.

Is dit een lichtveld display?

Om dit te begrijpen, moeten we een beetje dieper in 3D kijken, en hoe het werkt. Om de sensatie van een echte, tastbare 3D-wereld te krijgen, integreren onze hersenen een heleboel verschillende soorten informatie. We krijgen diepgaande aanwijzingen over de wereld op drie belangrijke manieren:

• Stereo diepte - de ongelijkheid tussen wat onze beide ogen zien. Dit doen is hoe 3D-films werken
• Motion parallax - subtiele bewegingen van ons hoofd en romp geven ons extra diepte-aanwijzingen voor objecten die verder weg zijn
• Optische focus - wanneer we ons op iets concentreren, vervormen de lenzen van onze ogen fysiek tot het in focus komt; Objecten in de buurt van het veld vereisen meer lensvervorming, die diepte-informatie geeft over waar we naar kijken

Optische focus is eenvoudig om zelf te controleren: sluit een oog en houd je duim omhoog voor een muur aan de andere kant van de kamer. Verplaats vervolgens uw focus van uw miniatuur naar het oppervlak erachter. Als je langs je duim kijkt, wordt je duim onscherp omdat de lens van je oog nu minder vervormd is en het licht dat eruit komt niet correct kan verzamelen.

VR-headsets zoals de Oculus Rift leveren de eerste twee aanwijzingen uiterst nauwkeurig, maar niet de laatste, wat verrassend goed werkt: onze ogen gaan standaard volledig ontspannen, omdat de optica de beelden focusseert omdat door het licht oneindig ver weg komt. Het ontbreken van de richtwaarde voor het optische focus is niet realistisch, maar leidt meestal niet tot afleiding. Je kunt nog steeds heel coole game-ervaringen hebben 5 Oculus Rift-spelervaringen die je wegblazen 5 Oculus Rift-gamingervaringen die je wegblazen Nu de tweede generatie Oculus Rift-ontwikkelingskit in handen is van ontwikkelaars overal ter wereld, laten we eens kijken naar enkele van de beste dingen die tot nu toe de Rift hebben geraakt. Meer lezen zonder.

In augmented reality is het probleem anders, omdat je licht van echte en virtuele objecten moet mengen. Het licht van de echte wereld zal natuurlijk op verschillende diepten worden scherpgesteld. De virtuele inhoud zal echter allemaal gefocust zijn op een vaste, kunstmatige afstand die wordt bepaald door de optica - waarschijnlijk op oneindig. Virtuele objecten zien er niet uit alsof ze echt deel uitmaken van de scène. Ze zullen onscherp zijn als je naar echte dingen kijkt op dezelfde diepte en omgekeerd. Het is niet mogelijk om je oog vloeiend over de scène te bewegen terwijl je het scherpstelt, zoals je normaal doet. De tegenstrijdige dieptewoorden zullen op zijn best verwarrend zijn en in het slechtste geval misselijk.

Om dit op te lossen, hebt u iets nodig dat een lichtvelddisplay wordt genoemd. Lichtvelddisplays zijn displays die een reeks kleine lenzen gebruiken om op verschillende dieptes tegelijkertijd gefocusseerd licht weer te geven. Hierdoor kan de gebruiker zich op natuurlijke wijze op het scherm concentreren en lost het probleem dat hierboven is beschreven (voor augmented reality) op.

Er is echter een probleem: lichtveldweergaven wijzen in feite een enkel 2D-scherm toe op een driedimensionaal lichtveld, wat betekent dat elk “diepte pixel” dat de gebruiker waarneemt (en bestaat op een bepaalde scherptediepte in de scène) bestaat in feite uit licht van vele pixels op het originele scherm. Hoe fijner de diepte is die u wilt weergeven, hoe meer resolutie u moet opgeven.

Over het algemeen hebben lichte velden ongeveer een achtvoudige resolutie afnemen om voldoende diepte nauwkeurigheid te geven. De beste beschikbare microdisplays hebben een resolutie van ongeveer 1080p. Ervan uitgaande dat één high-end microdisplay elk oog aandrijft, zou dat de werkelijke resolutie van de headset van Microsoft slechts ongeveer 500 x 500 pixels per oog, minder zelfs dan de Oculus Rift DK1, maken. Als het scherm een ​​hoog gezichtsveld heeft, zijn virtuele objecten onbegrijpelijke blobs van pixels. Als dat niet het geval is, zal onderdompeling proportioneel lijden. We komen nooit echt door de lens heen (alleen computerreproductie van wat de gebruiker ziet), dus we hebben geen idee hoe de gebruikerservaring echt is.

Het is mogelijk dat Microsoft een nieuwe oplossing voor dit probleem heeft bedacht, om het gebruik van een lichtveldweergave mogelijk te maken zonder de afweging van de oplossing. Microsoft is echter uiterst cagey geweest over hun weergavetechnologie, waardoor ik vermoed dat dit niet het geval is. Dit is de beste uitleg die we tot nu toe hebben gekregen (van de BEDRADE demo).

Om de beelden van Project HoloLens te maken, kaatsen lichte deeltjes miljoenen keren rond in de zogenaamde lichtmotor van het apparaat. Dan komen de fotonen in de twee lenzen van de bril, waar ze tussen de lagen blauw, groen en rood glas ricocheren voordat ze de achterkant van je oog bereiken.

Dit soort beschrijving van de technologie zou praktisch alles kunnen betekenen (hoewel, in redelijkheid tegenover Microsoft, de hardware wel indruk maakte op WIRED, hoewel het artikel weinig details bevatte).

We zullen niet zeker meer weten voordat Microsoft technische specificaties begint te publiceren, waarschijnlijk over maanden. Nog een opmerking over nit picking: is het echt nodig om het project te verdrinken in zoveel marketing-spreken? De toegewezen processor die ze gebruiken voor head-tracking wordt a genoemd “holografische processor” en de afbeeldingen worden gebeld “hologrammen,” zonder specifieke reden. Het product is fundamenteel cool genoeg dat het echt niet nodig is om het zo te vergulden.

Is het volgen goed genoeg?

De HoloLens-headset van het project heeft een hoge camera met een scherptediepte die erop is bevestigd (zoals de Kinect), die wordt gebruikt om te achterhalen waar de headset zich in de ruimte bevindt (door te proberen het dieptebeeld dat hij ziet in lijn te brengen met zijn wereldmodel, samengesteld van eerdere diepteafbeeldingen). Hier is hun live demo van de headset in actie.

Het volgen is indrukwekkend gezien het feit dat het geen markeringen of andere cheats gebruikt, maar zelfs in die video (onder zwaar gecontroleerde omstandigheden), zie je een zekere mate van wiebelen: de tracking is niet volledig stabiel. Dat is te verwachten: dit soort inside-out tracking is extreem moeilijk.

De grote les van de verschillende Oculus Rift-prototypen Bekijk ons ​​Probeer de Oculus Rift Crescent Bay op CES 2015 Bekijk ons ​​Probeer de Oculus Rift Crescent Bay op CES 2015 De Oculus Rift Crescent Bay is een gloednieuw prototype dat een aantal opwindende verbeteringen laat zien in virtual reality-technologie. We proberen het uit tijdens CES 2015. Read More is dat nauwkeurigheid van tracking erg belangrijk is. Jittery-tracking is alleen vervelend als het om een ​​paar objecten in een grotendeels stabiele echte wereld gaat, maar in scènes zoals de Mars-demo toonden ze in hun conceptvideo, waar bijna alles wat je ziet virtueel is, onnauwkeurig volgen kan leiden tot een gebrek aan “aanwezigheid” in de virtuele scène, of zelfs simulatorziekte. Kan Microsoft de tracking naar de standaard halen die door Oculus is bepaald (sub-millimeter tracking-nauwkeurigheid en minder dan 20 ms totale latency) door hun verzenddatum aan het eind van dit jaar??

Hier is Michael Abrash, een VR-onderzoeker die voor zowel Valve als Oculus heeft gewerkt, en die over het probleem heeft gesproken

[Omdat er altijd vertraging is bij het genereren van virtuele afbeeldingen, [...] is het erg moeilijk om virtuele en echte afbeeldingen zo nauwkeurig te registreren dat het oog het niet opmerkt. Stel dat u een echt colablikje hebt dat u in een AR Pepsi-blik wilt veranderen door een Pepsi-logo over het Coke-logo te trekken. Als het tientallen milliseconden duurt om het Pepsi-logo opnieuw te tekenen, zal elke keer dat u uw hoofd draait, het effect zijn dat het Pepsi-logo een paar graden verschuift ten opzichte van het blikje en een deel van het colokonogram zichtbaar wordt; dan springt het Pepsi-logo terug naar de juiste plaats wanneer u stopt met bewegen. Dit is duidelijk niet goed genoeg voor harde AR

Kan het scherm zwart tekenen?

Een ander probleem naast scherptediepte en tracking heeft te maken met het tekenen van donkere kleuren. Meer licht toevoegen aan een scène is relatief eenvoudig, met behulp van straalsplitsers. Licht uitnemen is een stuk moeilijker. Hoe maak je delen van de echte wereld selectief donker? Als u een selectief transparant LCD-scherm plaatst, wordt het niet geknipt, omdat het niet altijd op de juiste focus kan worden geplaatst om te blokkeren waar u naar kijkt. De optische hulpmiddelen om dit probleem op te lossen, tenzij Microsoft ze in het geheim heeft uitgevonden, bestaan ​​gewoonweg niet.

Dit is van belang, want voor veel van de toepassingen die Microsoft op de markt brengt (zoals het kijken naar Netflix aan je muur), moet de headset echt het vermogen hebben om het licht dat van de muur komt te verwijderen, anders heeft je film altijd een zichtbaar stucwerkpatroon overlay hiermee: het is onmogelijk voor afbeeldingen om echte objecten in de scène te blokkeren, waardoor het gebruik van de headset sterk afhankelijk is van de omgevingslichtomstandigheden. Terug naar Michael Abrash:

[S] Tot dusverre is niets van dit soort opgedoken in de AR-industrie of literatuur en tenzij en totdat het gebeurt, kan harde AR, in de SF-zin die we allemaal kennen en liefhebben, niet gebeuren, behalve in de buurt van duisternis.

Dat betekent niet dat AR uit de tafel is, maar dat het nog een tijdje een zachte AR zal zijn, gebaseerd op additieve blending [...] Nogmaals, denk doorzichtig zoals “Ghostbusters.” Hoge-intensiteit virtuele afbeeldingen zonder donkere gebieden zullen ook werken, vooral met de hulp van regionale of wereldwijde verduistering - ze zullen gewoon niet als een deel van de echte wereld lijken.

Hoe zit het met occlusie?

“afsluiting” is de term voor wat er gebeurt wanneer het ene object voor het andere voorbijgaat en je ervan weerhoudt om te zien wat erachter zit. Om virtuele landschappen als een tastbaar deel van de wereld te laten voelen, is het belangrijk dat echte objecten virtuele objecten occluderen: als u uw hand voor een stuk virtuele beeldspraak ophoudt, zou u niet in staat moeten zijn om deze te doorzien uw hand. Vanwege het gebruik van een dieptecamera op de headset, is dit eigenlijk mogelijk. Maar bekijk de live demo opnieuw:

Over het algemeen regelen ze zorgvuldig de camerahoeken om te voorkomen dat echte objecten voorbijgaan aan virtuele objecten. Wanneer de demonstrator echter interactie heeft met het Windows-menu, kunt u zien dat haar hand het helemaal niet afsluit. Als dit buiten het bereik van hun technologie valt, is dat een zeer slecht teken voor de levensvatbaarheid van hun consumentenproduct.

En over die gebruikersinterface ...

Is dit echt de laatste gebruikersinterface?

De gebruikersinterface die door Microsoft in hun demovideo's wordt getoond, lijkt te werken met een combinatie van blik en handtracking om een ​​cursor in de virtuele scène te besturen, terwijl spraakbesturing wordt gebruikt om tussen verschillende opties te selecteren. Dit heeft twee grote nadelen: je lijkt op het kleine kind in de Shining dat met zijn vinger praat, maar wat nog belangrijker is, het vertegenwoordigt ook een fundamenteel gebrekkig ontwerpparadigma.

Historisch gezien waren de beste gebruikersinterfaces interfaces die fysieke intuïties over de wereld naar de virtuele wereld brengen. De muis bracht klikken, slepen en vensters. Touch interface bracht veeg om te scrollen en knijpen om te zoomen. Beide waren van cruciaal belang om computers toegankelijker en nuttiger te maken voor de algemene bevolking - omdat ze fundamenteel intuïtiever waren dan eerder.

VR en AR geven je als ontwerper veel meer vrijheid: je kunt UI-elementen overal in een 3D-ruimte plaatsen en ervoor zorgen dat de gebruikers er op natuurlijke wijze interactie mee hebben, alsof het fysieke objecten zijn. Een enorm aantal voor de hand liggende metaforen suggereert zichzelf. Raak een virtueel UI-element aan om het te selecteren. Knijp ernaartoe en pak het op en verplaats het. Schuif het uit de weg om het tijdelijk op te slaan. Verpletteren om het te verwijderen. Je kunt je voorstellen een gebruikersinterface te bouwen die zo volkomen intuïtief is dat er geen uitleg voor nodig is. Iets dat je grootmoeder meteen kan oppikken, omdat het is gebouwd op een fundament van fysieke basisintuïties dat iedereen opbouwt gedurende een leven lang interactie met de wereld. Neem even de tijd en luister naar deze slimme persoon die beschrijft wat meeslepende interfaces kunnen zijn.

Met andere woorden, het lijkt mij (voor mij voor de hand liggend) dat een meeslepende gebruikersinterface zou moeten zijn tenminste zo intuïtief als de touch-interfaces waarmee de iPhone pionierde voor 2D-multitouch-schermen. Een interface bouwen rond het manipuleren van een VR “muis” is een stap terug en stelt diep technologische tekortkomingen in hun hand-trackingtechnologie bloot of een fundamenteel misverstand over wat interessant is aan dit nieuwe medium. Hoe dan ook, het is een zeer slecht teken dat dit product meer is dan een kolossale, Kinect-schaal flop.

Hopelijk heeft Microsoft de tijd om hierover feedback te krijgen en een betere baan te krijgen. Als voorbeeld is hier een interface ontworpen door één hobbyist voor de Oculus Rift DK2 en de Leap Motion. Een meeslepende UI ontworpen door een groot bedrijf moet op zijn minst zo goed zijn.

Een teken van dingen die gaan komen

Over het algemeen ben ik uiterst sceptisch over het HoloLens-project als geheel. Ik ben erg blij dat een bedrijf met de middelen van Microsoft dit probleem onderzoekt, maar ik ben bang dat ze een product proberen te overhaasten zonder een aantal kritieke onderliggende technische problemen op te lossen of een goed UI-paradigma vast te leggen. De HoloLens is een teken van wat komen gaat, maar dat betekent niet dat het product zelf een goede ervaring zal bieden aan consumenten.

Image Credit: met dank aan Microsoft

Ontdek meer over: Augmented Reality, Microsoft, Virtual Reality.