Inhoud
De hype voor virtual reality is de afgelopen jaren zeker verdwenen, vanwege een combinatie van dure hardware, zo goede prestaties en bewegingsziekte en een gebrek aan gebruikersinhoud. De industrie zit momenteel vast in een beetje een kip versus ei-scenario, waar een gebrek aan consumenten investeringen in hoogwaardige inhoud afschrikt. Meer krachtige en kosteneffectieve VR-hardware voor de massa is nodig om de impasse te doorbreken.
Arm wil een aantal van deze technologische hindernissen overwinnen met zijn allereerste display processor (DPU) die speciaal is ontworpen voor VR: de Mali-D77. Kortom, de Mali-D77 ontlast veelvoorkomende VR-verwerkingstaken van de GPU, waardoor middelen vrijkomen voor hogere framesnelheden en tegelijkertijd bewegingsziekte wordt verminderd.
Binnen de arm Mali-D77
Een groot deel van de Mali-D77 is gebaseerd op de Mali-D71 van 2017 voor vlaggenschip-smartphones en andere hoogwaardige applicaties. Het heeft dezelfde compressiedecoder, layer scaling, HDR-ondersteuning en kleurbeheereenheden. Het nieuwe ontwerp is echter geoptimaliseerd om 3K-resoluties bij 120 fps te ondersteunen, met ondersteuning voor 4K-resoluties tot 90 fps.
De belangrijkste veranderingen komen in de vorm van twee gloednieuwe hardwareversnellingseenheden voor VR-toepassingen. De Mali-D77 ondersteunt lenscorrectie en asynchrone tijdwarp in hardware, in plaats van deze algoritmen op de GPU uit te voeren. Arm schat dat dit ongeveer 15 procent van de GPU-middelen kan vrijmaken, wat kan worden gebruikt om de framesnelheid te verhogen. Het verplaatsen van deze belasting naar de DPU levert ook een besparing op van 40% bandbreedte en 180 mW vermogen per VR-laag. Leuk.
Lenscorrectie is vereist in VR-headsets om de lichtkromming van de lenzen van de headset te compenseren. Vatvervorming wordt toegepast op elk weergegeven frame om het speldenkussenvervormingseffect van de lenzen te compenseren. Zie dit als overcompensatie of "omgekeerde vervorming" zodat de lensvervorming uiteindelijk het juiste beeld weergeeft. Traditioneel gebeurt dit op de GPU, wat extra cycli en tijd in beslag neemt. De Mali-D77 doet dit allemaal op de DPU.
Bovendien voert de Mali-D77 chromatische aberratiecorrectie uit met een vergelijkbare omgekeerde vervormingsmethode. Wanneer dit wordt toegepast, worden beeldkleuren correct weergegeven over de gehele lens, inclusief in de hoeken waar kleurscheidingsvervorming kan optreden.
Wat is asynchrone tijdwarp?
Lenscorrectie is nogal vanzelfsprekend, maar Asynchrone tijdwarp is een beetje meer betrokken. Hier gebruikt Arm de beeldschermprocessor om afbeeldingen te roteren, scheeftrekken en kromtrekken om de bewegingen van de drager te compenseren, terwijl de GPU of andere latentie van de weergavepijplijn wordt beperkt.
Met huidige generatie hardware, wordt X, Y, Z-asbewegingsvolging bijgewerkt synchroon met de GPU, omdat de GPU de verandering in beeld moet weergeven elke keer dat u beweegt. Met Asynchronous Timewarp worden de twee niet langer samen bijgewerkt. Je kunt je hoofd verplaatsen tussen GPU-frame-updates en de Mali-D77 kan het huidige frame kromtrekken zodat deze overeenkomt met je hoofdbeweging.
Dit is een subtiel effect, want het duurt slechts een fractie van een seconde tussen gerenderde frames en neemt de noodzaak voor snelle rendering van de framesnelheid niet weg. Het verhoogt echter de vloeibaarheid en vloeiendheid van beweging en beweging, omdat updates nog vaker kunnen optreden dan de GPU-framesnelheid. De ontkoppeling tussen het bewegen van je lichaam en het zien van een visuele update is de belangrijkste oorzaak van bewegingsziekte in VR, dus de Mali-D77 kan in dit opzicht veel helpen.
X-, Y-, Z-asbewegingsgegevens worden rechtstreeks vanuit de CPU naar de Mali-D77 geleid, waarbij het GPU-stadium volledig wordt omzeild. Dit is een heel andere manier om dingen te doen en daarom moeten ontwikkelaars een nieuwe set ontwikkelingstools en -technieken gebruiken. Dit is misschien wel de grootste hindernis met de D77. Gelukkig werken de ingenieurs van Arm nauw samen met initiatieven zoals OpenXR, dus we konden in de toekomst een API-aankondiging zien voor vereenvoudigde ondersteuning voor ontwikkelaars.
Over het algemeen is de Arm Mali-D77 een intelligente en logische progressie van het heterogene computeridee om enkele van de grootste hardwareproblemen van virtual reality op te lossen. Er zijn nog andere hindernissen in de draadloze communicatie, tracking en kostensegmenten van VR die nog moeten worden opgelost voordat de reguliere acceptatie kan worden heroverwogen, maar de Mali-D77 helpt bij het oplossen van enkele prestatieproblemen.
