Inhoud

• Beperkte energiebegroting
• Bandbreedte en hoge resoluties
• Lage latentie en weergavepanelen
• Audio en sensoren
• Ontwikkelaars en software
• Afronden

We duiken eindelijk diep in de revolutie, zoals sommigen zeggen, met voldoende hardware- en softwareproducten op de markt en bronnen die binnenstromen om innovaties aan te sporen. We zijn echter meer dan een jaar verder sinds het grote product in deze ruimte wordt gelanceerd en we wachten nog steeds op die geweldige toepassing om van virtual reality een succes te maken. Terwijl we wachten, blijven nieuwe ontwikkelingen virtuele realiteit tot een meer haalbare commerciële optie maken, maar er zijn nog een aantal technische obstakels die moeten worden overwonnen, met name in de mobiele VR-ruimte.

Beperkte energiebegroting

De meest voor de hand liggende en goed besproken uitdaging voor mobiele virtual reality-toepassingen is het veel beperktere energiebudget en thermische beperkingen in vergelijking met zijn desktop-pc-equivalent. Het uitvoeren van intensieve grafische toepassingen op een batterij betekent dat componenten met een lager vermogen en efficiënt energieverbruik nodig zijn om de batterij te sparen. Bovendien betekent de nabijheid van verwerkingshardware tot de drager dat het thermische budget ook niet kan worden verhoogd. Ter vergelijking: mobiel werkt meestal binnen een sub-4 watt limiet, terwijl een desktop VR GPU gemakkelijk 150 watt of meer kan verbruiken.

Het wordt algemeen erkend dat mobiele VR desktophardware niet zal matchen voor brute kracht, maar dat betekent niet dat consumenten geen meeslepende 3D-ervaringen eisen met een scherpe resolutie en met hoge framesnelheden.

Het wordt algemeen erkend dat mobiele VR niet zal overeenkomen met desktophardware voor brute kracht, maar dat betekent niet dat consumenten geen meeslepende 3D-ervaringen zullen eisen met een scherpe resolutie en met hoge framesnelheden, ondanks het beperktere vermogen begroting. Tussen het bekijken van 3D-video, het verkennen van 360 graden nagebouwde locaties en zelfs gamen, zijn er nog steeds genoeg use cases die geschikt zijn voor mobiele VR.

Terugkijkend op uw typische mobiele SoC, creëert dit extra problemen die minder vaak worden gewaardeerd. Hoewel mobiele SoC's een fatsoenlijke octa-core CPU-opstelling en wat opvallend GPU-vermogen kunnen bevatten, is het niet mogelijk om deze chips op volledige tilt te laten draaien, vanwege zowel het stroomverbruik als de eerder genoemde thermische beperkingen. In werkelijkheid wil de CPU in een mobiele VR-instantie zo kort mogelijk werken, waardoor de GPU het grootste deel van het beperkte energiebudget kan verbruiken. Dit beperkt niet alleen de beschikbare middelen voor gamelogica, fysicaberekeningen en zelfs mobiele achtergrondprocessen, maar belast ook essentiële VR-taken, zoals draw-oproepen voor stereoscopische weergave.

De industrie werkt al aan oplossingen hiervoor, die niet alleen van toepassing zijn op mobiel. Multiview-rendering wordt ondersteund in OpenGL 3.0 en ES 3.0, en werd ontwikkeld door medewerkers van Oculus, Qualcomm, Nvidia, Google, Epic, ARM en Sony. Multiview maakt stereoscopische weergave mogelijk met slechts één tekenaanroep, in plaats van één voor elk gezichtspunt, waardoor de CPU-vereisten worden verminderd en ook de GPU vertex-taak wordt verkleind. Deze technologie kan de prestaties met 40 tot 50 procent verbeteren. In de mobiele ruimte wordt Multiview al ondersteund door een aantal ARM Mali- en Qualcomm Adreno-apparaten.

Een andere innovatie die naar verwachting in toekomstige mobiele VR-producten zal verschijnen, is een geavanceerde weergave. In combinatie met eye-trackingtechnologie verlicht foveated rendering de belasting van een GPU door alleen het exacte brandpunt van de gebruiker op volledige resolutie weer te geven en de resolutie van objecten in het perifere zicht te verminderen. Het vormt een mooie aanvulling op het menselijke visiesysteem en kan de GPU-belasting aanzienlijk verminderen, waardoor energie wordt bespaard en / of meer energie wordt vrijgemaakt voor andere CPU- of GPU-taken.

Bandbreedte en hoge resoluties

Hoewel de verwerkingskracht beperkt is in mobiele VR-situaties, is het platform nog steeds onderworpen aan dezelfde vereisten als andere virtual reality-platforms, waaronder de eisen van weergavepanelen met lage latentie en hoge resolutie. Zelfs degenen die VR-schermen hebben bekeken met een QHD-resolutie (2560 x 1440) of de 1080 × 1200-resolutie van de Rift-headset per oog, hebben waarschijnlijk een beetje last van de beeldhelderheid. Aliasing is vooral problematisch omdat onze ogen zo dicht bij het scherm zijn, waarbij randen er bijzonder ruw uitzien of gekarteld zijn tijdens beweging.

Hoewel de verwerkingskracht beperkt is in mobiele VR-situaties, is het platform nog steeds onderworpen aan dezelfde vereisten als andere virtual reality-platforms, waaronder de eisen van weergavepanelen met lage latentie en hoge resolutie.

De brute force-oplossing is het verhogen van de schermresolutie, waarbij 4K de volgende logische progressie is. Apparaten moeten echter een hoge verversingssnelheid behouden, ongeacht de resolutie, waarbij 60Hz als minimum wordt beschouwd, maar 90 of zelfs 120Hz veel meer de voorkeur heeft. Dit belast het systeemgeheugen met twee tot acht keer meer dan de apparaten van vandaag. De geheugenbandbreedte is al beperkter in mobiele VR dan in desktopproducten, die sneller toegewezen grafisch geheugen gebruiken in plaats van een gedeelde pool.

Mogelijke oplossingen om te besparen op grafische bandbreedte zijn het gebruik van compressietechnologieën, zoals ARM en AMD's Adaptive Scalable Texture Compression (ASTC) -standaard of het verliesloze Ericsson Texture Compression-formaat, beide officiële uitbreidingen van OpenGL en OpenGL ES. ASTC wordt ook ondersteund in hardware in de nieuwste Mali GPU's van ARM, Nvidia's Kepler en Maxwell Tegra SoC's en de nieuwste geïntegreerde GPU's van Intel, en kan in sommige scenario's op meer dan 50 procent bandbreedte besparen in vergelijking met het gebruik van niet-gecomprimeerde texturen.

Het gebruik van textuurcompressie kan de bandbreedte, latentie en geheugen die vereist zijn voor 3D-toepassingen aanzienlijk verminderen. Bron - ARM.

Andere technieken kunnen ook worden geïmplementeerd.Het gebruik van mozaïekpatroon kan een meer gedetailleerd ogende geometrie creëren van eenvoudiger objecten, zij het door een aantal andere substantiële GPU-bronnen te vereisen. Uitgestelde weergave en Voorwaartse pixeldoding kunnen voorkomen dat occlusiepixels worden weergegeven, terwijl Binning / Tiling-architecturen kunnen worden gebruikt om de afbeelding op te splitsen in kleinere rasters of tegels die elk afzonderlijk worden weergegeven, die allemaal op bandbreedte kunnen besparen.

Als alternatief, of bij voorkeur aanvullend, kunnen ontwikkelaars offers brengen aan beeldkwaliteit om de stress op de systeembandbreedte te verminderen. Geometrische dichtheid kan worden opgeofferd of agressiever worden gebruikt om de belasting te verminderen, en hoekpuntgegevensresolutie kan worden verlaagd tot 16-bits, lager dan de traditioneel gebruikte 32-bits nauwkeurigheid. Veel van deze technieken worden al in verschillende mobiele pakketten gebruikt en samen kunnen ze de bandbreedte verminderen.

Geheugen is niet alleen een belangrijke beperking in de mobiele VR-ruimte, maar het is ook een vrij grote verbruiker van energie, vaak gelijk aan het verbruik van de CPU of GPU. Door besparingen op geheugenbandbreedte en -gebruik te realiseren, zouden draagbare virtual reality-oplossingen een langere levensduur van de batterij moeten hebben.

Lage latentie en weergavepanelen

Over latentiekwesties gesproken, tot nu toe hebben we alleen VR-headsets met OLED-displaypanelen gezien en dit is vooral te wijten aan snelle pixel-schakeltijden van minder dan een milliseconde. Historisch gezien is LCD in verband gebracht met ghosting-problemen met zeer snelle verversingsfrequenties, waardoor ze nogal ongeschikt zijn voor VR. LCD-schermen met een zeer hoge resolutie zijn echter nog steeds goedkoper om te produceren dan OLED-equivalenten, dus het overschakelen naar deze technologie kan helpen om de prijs van VR-headsets naar een goedkoper niveau te brengen.

De beweging naar fotonlatentie moet minder dan 20 ms zijn. Dit omvat het registreren en verwerken van beweging, het verwerken van afbeeldingen en audio en het bijwerken van het display.

Displays zijn een bijzonder belangrijk onderdeel in de algehele latentie van een virtual reality-systeem, en maken vaak het verschil tussen een onberispelijke en een sub-par-ervaring. In een ideaal systeem moet de latentie van motion-naar-foton - de tijd die nodig is om uw hoofd te bewegen en het beeldscherm reageert - minder dan 20 milliseconden zijn. Het is duidelijk dat een scherm van 50 ms hier niet goed is. Idealiter moeten panelen minder dan 5 ms zijn om ook sensor- en verwerkingslatentie te kunnen verwerken.

Momenteel is er een afweging tussen kosten en prestaties die OLED begunstigt, maar dit kan snel veranderen. Lcd-panelen met ondersteuning voor hogere verversingsfrequenties en lage zwart-wit-responstijden die gebruik maken van geavanceerde technieken, zoals knipperend achterlicht, zouden goed kunnen passen. Japan Display liet vorig jaar net zo'n paneel zien, en we kunnen zien dat andere fabrikanten vergelijkbare technologieën ook aankondigen.

Audio en sensoren

Hoewel veel van de veelvoorkomende virtual reality-onderwerpen draaien om de beeldkwaliteit, vereist meeslepende VR ook ruimtelijke nauwkeurige 3D-audio met hoge resolutie en sensoren met lage latentie. In de mobiele wereld moet dit allemaal worden gedaan binnen hetzelfde beperkte energiebudget dat van invloed is op de CPU, GPU en geheugen, wat nog meer uitdagingen met zich meebrengt.

We hebben eerder de latentiekwesties van de sensor aangeraakt, waarbij een beweging moet worden geregistreerd en verwerkt als onderdeel van de latentielimiet voor beweging van minder dan 20 ms. Als we bedenken dat VR-headsets 6 graden beweging gebruiken - rotatie en gier in elk van de X-, Y- en Z-as - plus nieuwe technologieën zoals eye-tracking, is er een aanzienlijke hoeveelheid constante gegevens die moeten worden verzameld en verwerkt, allemaal met minimale latency.

Oplossingen om deze latentie zo laag mogelijk te houden, vereisen vrijwel een end-to-end aanpak, waarbij hardware en software beide in staat zijn om deze taken parallel uit te voeren. Gelukkig voor mobiele apparaten is het gebruik van speciale low-power sensorprocessors en altijd-aan-technologie heel gebruikelijk, en deze werken op redelijk laag vermogen.

Voor audio is 3D-positie een techniek die lang wordt gebruikt voor gaming en dergelijke, maar het gebruik van een head-gerelateerde overdrachtsfunctie (HRTF) en convolution reverb-verwerking, die vereist zijn voor realistisch klinkende bronpositionering, zijn behoorlijk processorintensieve taken. Hoewel deze op de CPU kunnen worden uitgevoerd, kan een speciale digitale signaalprocessor (DSD) dit soort processen veel efficiënter uitvoeren, zowel qua verwerkingstijd als qua vermogen.

Door deze functies te combineren met de grafische en weergavevereisten die we al hebben genoemd, is het duidelijk dat het gebruik van meerdere gespecialiseerde processors de meest efficiënte manier is om aan deze behoeften te voldoen. We hebben gezien dat Qualcomm veel van de heterogene rekenmogelijkheden van zijn vlaggenschip en de meest recente mobiele Snapdragon-platforms maakt, die een verscheidenheid aan verwerkingseenheden combineren in een enkel pakket met mogelijkheden die goed passen bij het voldoen aan veel van deze mobiele VR-behoeften. We zullen waarschijnlijk het type kracht van pakketten zien in een aantal mobiele VR-producten, waaronder zelfstandige draagbare hardware.

Ontwikkelaars en software

Ten slotte is geen van deze hardware-verbeteringen veel goed zonder softwaresuites, game-engines en SDK's om ontwikkelaars te ondersteunen. We kunnen tenslotte niet elke ontwikkelaar het wiel voor elke toepassing opnieuw laten uitvinden. De ontwikkelingskosten laag houden en de snelheden zo snel mogelijk houden, is van cruciaal belang als we een breed scala aan toepassingen gaan zien.

Vooral SDK's zijn essentieel voor het implementeren van belangrijke VR-verwerkingstaken, zoals Asynchronous Timewarp, lensvervormingscorrectie en stereoscopische weergave. Om nog maar te zwijgen over energie-, thermische en verwerkingsbeheer in heterogene hardware-opstellingen.

Gelukkig bieden alle grote hardwareplatformfabrikanten SDK's aan ontwikkelaars, hoewel de markt nogal gefragmenteerd is, wat leidt tot een gebrek aan platformoverschrijdende ondersteuning. Google heeft bijvoorbeeld zijn VR SDK voor Android en een speciale SDK voor de populaire Unity-engine, terwijl Oculus zijn Mobile SDK heeft gebouwd in samenwerking met Samsung voor de Gear VR. Belangrijk is dat de Khronos-groep onlangs haar OpenXR-initiatief heeft onthuld, dat beoogt een API te bieden voor alle belangrijke platforms op zowel apparaat- als applicatieniveau-lagen, om gemakkelijker platformoverschrijdende ontwikkeling te vergemakkelijken. OpenXR zou ergens vóór 2018 ondersteuning in zijn eerste virtual reality-apparaat kunnen zien.

Afronden

Ondanks enkele problemen is technologie in ontwikkeling, en tot op zekere hoogte al hier, die mobiele virtual reality werkbaar maakt voor een aantal toepassingen. Mobiele VR heeft ook een aantal voordelen die niet van toepassing zijn op desktop-equivalenten, waardoor het een platform blijft dat investeringen en intriges waard is. De draagbaarheidsfactor maakt van mobiele VR een aantrekkelijk platform voor multimedia-ervaringen en zelfs licht gamen, zonder dat kabels op een krachtigere pc hoeven te worden aangesloten.

Bovendien maakt het enorme aantal mobiele apparaten op de markt dat steeds meer wordt uitgerust met virtual reality-mogelijkheden, het het platform bij uitstek om de grootste doelgroep te bereiken. Als virtual reality een mainstream platform moet worden, heeft het gebruikers nodig en is mobiel het grootste gebruikersbestand dat er is.