Microsoft toont nieuwe HoloLens-demo's tijdens Build Conference

De aankomende HoloLens-headset van Microsoft is het eerste geavanceerde augmented reality-apparaat dat aan het publiek is getoond. Helaas heeft Microsoft zo de mond vol dat we er niet echt veel van afweten.

Vandaag hebben we tijdens de Build Developer Conference van Microsoft in San Francisco nog een verleidelijke kijk op de technologie. De demo zelf is glanzend maar niet erg informatief. We kunnen echter enkele belangrijke details uitzoeken door tussen de regels door te lezen. In dit geval, wat Microsoft ervoor koos niet te laten zien, is informatiever dan wat ze deden.

De demo

Verschillende van de technici van HoloLens kwamen op het podium om te laten zien wat voor nieuwe demo's ze voor de hardware hebben ontwikkeld. Eén demo speelt zich af als een recreatie van het deprimerend schaarse appartement van een ingenieur en bedekt de muren en de vloer met virtuele apps en speelgoed. Een ander brengt een aantal doktoren ertoe om een ​​model van een menselijk lichaam te laten zien en vervolgens uit elkaar te halen. Eindelijk, een kitrobot groeit een expressief, virtueel bovenlichaam en ontvouwt een groot statuspaneel, waardoor het in realtime kan worden geknepen.

The Devil, The Details

Tot nu toe, zo indrukwekkend - maar veel van mijn eerste vragen over de HoloLens Five Questions over Microsoft's "Project HoloLens" Vijf vragen over Microsoft's "Project HoloLens" De nieuwe Augmented Reality-headset van Microsoft is erg opwindend - maar kunnen ze de fundamentele problemen van AR oplossen? ? Meer informatie blijft onbeantwoord. Laten we eens wat dichterbij kijken.

afsluiting

Voelt de demo je een beetje op? Bekijk de bewegingen van de camera zorgvuldig. Het is niet alleen de gebruikelijke onbeholpen beursbeurs. Bekijk de demo opnieuw en zoek naar momenten waar een mens voor een virtueel object voorbijgaat.

Dit heet afsluiting, en het is een moeilijk probleem in augmented reality. Om dit fenomeen correct weer te geven, moet de HoloLens de wereld snel en nauwkeurig genoeg in kaart brengen om het silhouet van de persoon uit het virtuele beeld te verwijderen. Anders heb je een diepteconflict: je stereovisie vertelt je dat het virtuele object zich achter de persoon bevindt, maar dat het erbovenop wordt weergegeven. Zoals we hebben geleerd van virtual reality, zijn dit soort conflicten schokkend en vernietigen de illusie dat de objecten waarmee je in contact bent tastbare delen van de wereld zijn.

De demo doet veel moeite om dit te voorkomen. Je kunt zien dat de camera-operator reageert wanneer een van de mensen op het podium naar een virtueel object toe beweegt en beweegt om te voorkomen dat ze elkaar overlappen. De hele demo is uitvoerig gechoreografeerd. Als je in de eerste demo uit de stoel stapt, komt de man op het podium voor een virtuele robot te staan ​​- en de camera wordt handig op een ander moment ergens anders heen gestuurd.

Ze verpesten het maar een paar keer. Tijdens de robotdemonstratie passeert de robot kort voor een paar virtuele punten op de vloer en een van de presentators stapt erop. In beide gevallen is er een diepteconflict: je blijft de virtuele stippen door de echte objecten zien, wat impliceert dat Microsoft nog geen oplossing voor dit probleem heeft.

We kunnen meer bewijs hiervan zien in dezelfde demo, wanneer een visualisatie wordt weergegeven van de kaart van de omgeving van de headset. Als je er frame voor frame doorheen kijkt en goed kijkt, kun je op verschillende manieren zien dat de kaart onjuist is: de tafel staat op een verhoogd platform, dat een vage uitstulping in de kaart wordt. De robot is ook zichtbaar op de kaart, maar alleen als een kleine brok. De randen van het bureau ontbreken. U kunt deze problemen waarschijnlijk de schuld geven van de beperkte resolutie van de Kinect-dieptesensor in de headset. Hoe dan ook, er is gewoon niet genoeg precisie om virtuele objecten correct te occluderen.

Laten we hier duidelijk zijn: dit kan een showstopper zijn. Het doel van de HoloLens is om op een overtuigende manier real en virtuele objecten naadloos te combineren. Occlusie is een noodzakelijk onderdeel van de illusie. Occlusie is zo'n krachtig dieptecue dat het toevoegen van een enkele witte lijn aan een video op zichzelf een krachtig 3D-effect kan creëren.

Microsoft is zich hier duidelijk van bewust. Ze tonen occlusie in hun promotiemateriaal. Toch lijkt het er vanuit hun demo's niet op dat ze het daadwerkelijk kunnen doen. Als Microsoft dit probleem niet kan oplossen, hebben ze geen product. Gebruikers leven niet in uitvoerig gechoreografeerde demo's in lege huizen. Ze tolereren geen constante, immersion-breaking renderingsfouten. Ik ben eerlijk gezegd verbaasd dat meer van de technische pers het niet over dit probleem heeft. Ik ben erg benieuwd of Microsoft enig plan heeft om dit probleem op te lossen.

Gebruikersomgeving

Elke keer als ik een video van de HoloLens UI bekijk, was de zin die door mijn hoofd blijft gaan “Gaan we dit echt nog een keer doen??”

Met elk nieuw computerplatform, zowel de pc als smartphones, doorlopen we een cyclus van slechte UI voordat we erachter komen. Het probleem is dat de slechte gebruikersinterfaces op dezelfde manier slecht zijn en dat ze slecht zijn in de zin dat de gebruikersinterface van HoloLens slecht is. Ik zou willen dat we voor een keer het patroon konden herkennen en door konden gaan naar het goede deel. Dit is wat de HoloLens (en elk nieuw platform) verkeerd doet:

• Ten eerste proberen ze oude paradigma's te herscheppen in plaats van nieuwe te creëren. Denk aan de oude Treo-smartphones die zijn gebouwd rond een fysiek toetsenbord en een muis-emulerende stylus. De HoloLens is precies hetzelfde, gebruik je hoofd om een ​​muis te emuleren en je vinger om te klikken. Heck, op een gegeven moment de ingenieur “sleept” een raam door het op zijn hoofd te vergrendelen, iets waar de Océal VR Best Practices-gids expliciet voor waarschuwt. De HoloLens is geen pc en het proberen niet om een ​​pc-gebruikersinterface te gebruiken.
• Ten tweede raken ze ingepakt in de glimmende delen van de interface en creëren ze sierlijke, nutteloze pluis. Weet je nog Clippy? Microsoft Bob? Het kunstleder in de oude app iOS-notities? Dit spul is nutteloze visuele rommel. De virtuele honden- en viskom en robot zijn precies hetzelfde. Hoe vaak moeten we dit doen voordat we ons realiseren dat minimalisme het enige goede idee is?

Terwijl we bezig zijn, de “hologrammen” zelf zijn visueel een puinhoop. Ze kunnen niet beslissen of ze schone ruiten zijn of goofy, cartoonblobs. De UI-elementen zijn veel te groot, vereisen uitgebreide gebaren om te gebruiken, tot en met fysiek rondlopen, wat een slecht ontwerp om veel redenen is.

Als het erop lijkt dat ik hier overstuur van ben, komt het omdat meeslepende gebruikersinterfaces op een dag echt, echt cool zullen worden. De gebruikersinterface van HoloLens die tot nu toe is getoond, is een complete puinhoop en dat is jammer. Een goede gebruikersinterface is het verschil tussen de Treo en de iPhone - tussen een IBM-mainframe en de originele pc met muis en toetsenbord. Het is het verschil tussen speelgoed voor nerds en een wereldveranderende innovatie.

Vormfactor

Er is een belangrijk stuk goed nieuws. Microsoft bracht “honderden” van HoloLens-apparaten naar de show en tonen ze aan de aanwezigen. De laatste keer dat Microsoft demo's maakte, werden mensen vastgebonden in omvangrijke bedrade headsets. De headsets die op het podium werden gebruikt, waren rekwisieten die alleen een zwart-witbeeld in lage resolutie konden weergeven. De presentator geeft echter duidelijk aan dat de headsets zijn “houdt gewoon van degenen die je vandaag op het podium hebt gezien.” Met andere woorden, Microsoft heeft met succes de hardware van HoloLens geminiaturiseerd om in een draagbare vormfactor te passen, wat geweldig nieuws is.

Hier is de ervaring van één ontwikkelaar met de nieuwe hardware:

“Ik ging 'op de bouwplaats' en ze plaatsten de blauwdrukken op de muur. Toen zag ik hoe een deur eruit zou zien en zag dat er een balk in de weg zat. We verplaatsten de deur weg en voegde een laag toe met elektriciteit en sanitair, en zagen dat er een pijp in de weg zat. Ik 'staarde en klikte' op de pijp en liet een stemtoon achter voor de loodgieter om de pijp weg te bewegen.

Toen kwam ik terug in de rol van de loodgieter en haalde mijn briefje terug (hij hing daar), staarde en klikte en hoorde mijn eigen opgenomen stem.

Het dragen van het apparaat moet even wennen zijn. Het was niet super goed aangepast en drukte een beetje op mijn neus. Maar ik denk dat ik het op tijd beter kan aanpassen.

Het holografische gebied is minder uitgebreid dan ik dacht. Het is een rechthoek voor je ogen, maar als je een goed zijzicht hebt (zoals ik heb), is het een beetje verontrustend omdat het hologram wordt bijgesneden wanneer je het hoofd beweegt.

Al met al is het buitengewoon indrukwekkend en ik kan niet wachten om me ervoor te ontwikkelen.”

Hoewel de schrijver opmerkt dat het apparaat nog steeds een laag gezichtsveld heeft, lijkt hij onder de indruk van de hardware in het algemeen, wat een veelbelovend teken is. Uiteindelijk wordt AR een krachtigere en flexibelere vervanger van VR - wat al een verbazingwekkende technologie is. Waarom Virtual Reality-technologie in 5 jaar je geest zal laten schieten. Waarom Virtual Reality-technologie je geest in 5 jaar zal overladen De toekomst van virtual reality omvat hoofd-, oog- en expressie-tracking, gesimuleerde aanraking en nog veel meer. Deze verbazingwekkende technologieën zullen over 5 jaar of minder voor u beschikbaar zijn. Lees verder . De grote vraag is - hoe ver weg zijn wij?

Ondersteuning voor ontwikkelaars

Hoewel het niet werd vermeld in de aankondigingsvideo, kondigde Microsoft ook aan dat, via hun partnerschap met Unity, er ook volledige ondersteuning zal zijn voor de HoloLens in Unity, een van de meest gebruikte hulpmiddelen voor de ontwikkeling van indiegames. De ondersteuning omvat de mogelijkheid om de HoloLens te renderen en op verschillende manieren invoer van het apparaat te krijgen. Zowel Unity Free als Unity Pro krijgen gratis HoloLens-ondersteuning. Hoewel de integratie nog niet voltooid is, geeft Microsoft al korte cursussen op de Build-conferentie met behulp van de prototype Unity-integraties, om ontwikkelaars een eerste blik te geven op wat coderen voor AR zal zijn.

Dit is een welkome maar geen verrassende zet. Elk nieuw platform leeft of sterft aan de kwaliteit van de inhoud van de lancering, en de HoloLens vormen hierop geen uitzondering. Bovendien heeft Microsoft zich altijd ingezet voor ontwikkelaarsrelaties.

Prototype Fever

De HoloLens kruipt langzaam naar de commerciële realiteit. Ik heb diepe bedenkingen bij enkele van de beperkingen van de hardware, maar het apparaat is ontegensprekelijk cool. 8 Gebruik in de echte wereld voor Microsoft HoloLens 8 Gebruik in de echte wereld voor Microsoft HoloLens De HoloLens van Microsoft is cool, maar waar gebruik je deze dan voor? We raken de meest opwindende mogelijkheden kwijt. Meer lezen, en zoiets zal op een dag zeer nuttig zijn. Ben je enthousiast voor de HoloLens? Heb je de kans gekregen om er een te proberen tijdens de conferentie? Ik wil gewoon een virtuele viskom? Laat het ons weten in de comments!

Ontdek meer over: Microsoft, Virtual Reality, Windows 10.