Grondeloze XR-technologieën in het tijdperk van gedistribueerde computing

Hoe de transformatie van Wireless Edge zal helpen bij de ontwikkeling van fotorealistische mobiele systemen voor augmented reality.

Augmented Reality (Extended Reality, XR) biedt gebruikers momenteel revolutionaire mogelijkheden, maar om een nog grotere realisme en een nieuw niveau van onderdompeling te bereiken, rekening houdend met de beperkingen van de prestaties en koeling van dunne draagbare apparaten, is een flinke uitdaging.

Een blik op de toekomst: dunne en stijlvolle augmented reality-brillen

Met de transformatie van Wireless Edge-systemen (draadloze systemen die werken op het snijvlak van netwerk en apparaat) begint een nieuw tijdperk van gedistribueerde computing, waarin 5G-technologieën, informatieverwerking op de apparaten zelf en edge-cloud computing actief zullen worden ingezet. Deze transformatie moet helpen bij het vinden van geoptimaliseerde oplossingen.

Het beste van twee werelden

Wat als we alle voordelen van mobiele XR-apparaten konden combineren met de prestaties van XR-systemen op basis van pc? Mobiele augmented reality-gadgets zijn de toekomst van XR, omdat ze overal en altijd gebruikt kunnen worden, zonder voorbereiding en zonder draden. Implementatie van XR op basis van pc, hoewel het misschien niet als de toekomst van augmented reality kan worden beschouwd, heeft een belangrijk voordeel: het is niet beperkt wat betreft energieverbruik en koelingssystemen, wat op zijn beurt intensievere berekeningen mogelijk maakt. Dankzij 5G-netwerken met lagere latentie en hoge bandbreedte plannen we het beste van beide benaderingen te combineren. Het verdelen van rekenlasten met behulp van 5G-technologie zal de beste van twee werelden bieden - een grenzeloze mobiele XR-ervaring en fotorealistische graphics in dunne en betaalbare XR-headsets. Hierdoor krijgen gebruikers in alle opzichten 'grenzeloze' mogelijkheden, omdat ze zich kunnen verbinden met augmented reality waar ze ook willen, en de mate van onderdompeling in XR-toepassingen zal nog hoger worden.

Technologieën voor grenzeloze augmented reality bieden het beste van mobiele XR-apparaten en apparaten die zijn aangesloten op een pc

Verbetering van de efficiëntie van gegevensverwerking voor augmented reality op het apparaat

Werken met grafisch ontwerp in systemen voor uitgebreide realiteit vereist grote rekenkracht en is gevoelig voor responstijden. Voor een juiste verdeling van de berekeningen is een systematische aanpak nodig. Laten we bekijken hoe het gebruik van edge computing in de cloud kan helpen om de verwerking op het apparaat efficiënter aan te vullen en systemen voor onbegrensde uitgebreide realiteit met fotorealistische graphics te creëren (meer details zijn te vinden in onze webinar).

Wanneer een gebruiker van een XR-systeem zijn hoofd draait, bepaalt de verwerking op het apparaat de positie van het hoofd en stuurt deze gegevens via een 5G-kanaal met minimale latentie en hoge servicekwaliteit naar de edge cloud. Dit systeem gebruikt de ontvangen gegevens over de hoofdpositie om een gedeeltelijke rendering van de volgende afbeelding te maken, deze gegevens te coderen en terug te sturen naar de XR-headset. Vervolgens decodeert de headset het laatst ontvangen pakket en, gebruikmakend van de regelmatig bijgewerkte gegevens over de veranderingen in de hoofdpositie, gaat verder met de visualisatie en aanpassing van de afbeelding om de motion-to-photon latency (de tijd tussen het veranderen van de hoofdpositie van de gebruiker en de weergave van de afbeelding in de headset) te minimaliseren. Laten we niet vergeten dat volgens deze maatstaf alle verwerking binnen 20 milliseconden moet zijn voltooid. Overschrijding van deze drempel leidt tot ongemak voor de gebruiker en vermindert de mate van onderdompeling in de augmented reality.

De berekeningen op het apparaat worden aangevuld met edge computing in de cloud en een 5G-kanaal met lage responstijden.

Zoals je ziet, vereist het verkrijgen van een kwalitatief hoogstaand onderdompelingseffect in XR een systematische aanpak met een lage responstijd en hoge betrouwbaarheid, waardoor 5G-netwerken met hun minimale latentie en hoge bandbreedte een cruciaal element zijn voor XR. Naarmate de 5G-netwerken verbeteren en hun dekking toeneemt, zullen gebruikers kunnen genieten van fotorealistische graphics in XR-applicaties op veel locaties en zullen ze erop kunnen vertrouwen dat de premium autonome XR-ervaring toegankelijk blijft dankzij effectieve berekeningen op het apparaat zelf.

En dit is een cruciaal punt dat we nogmaals moeten onderstrepen: gegevensverwerking op het apparaat blijft een uiterst belangrijke factor in alle scenario's. In offline modus is de 'edge' computing op het apparaat verantwoordelijk voor alle berekeningen die verband houden met XR. In samenwerking met het systeem voor edge cloud computing zal de 'edge' verwerking de XR-headset in staat stellen om energiezuinige, hoogwaardige visualisatie en tracking met lage latentie te bieden.

Het creëren van 'grenzeloze' augmented reality

Qualcomm Technologies is al bezig met het ontwikkelen van krachtige autonome mobiele XR-oplossingen en blijft de leider in de promotie van 5G-technologieën over de hele wereld. Maar we kunnen onze ideeën voor 'grenzeloze' XR niet alleen waarmaken. We werken actief samen met de grootste spelers in de XR- en 5G-ecosystemen, waaronder OEM-fabrikanten en contentmakers, dienstverleners en infrastructuur, aangezien de architectuur van gescheiden rendering een systeemoplossing is.

De deelnemers aan de XR- en 5G-ecosystemen moeten samenwerken om de technologieën van 'grenzeloze' XR werkelijkheid te maken.

Als gevolg van synergie zullen alle deelnemers aan het XR-ecosysteem profiteren van de actieve ontwikkeling ervan, en die winst wordt 'consumptiegroei' genoemd. Bijvoorbeeld, telecomoperators zullen profiteren van de transformatie van Wireless Edge in het algemeen, maar laten we de voordelen van de ontwikkeling van grenzeloze XR bekijken. Ten eerste, met de komst van 5G-netwerken zal verbeterde breedband capaciteit verhogen, de responstijd verlagen en gegarandeerde serviceklassen bieden, wat de mogelijkheid creëert voor rijkere en interactievere XR-toepassingen. Ten tweede, naarmate operators de capaciteiten voor edge cloud computing uitbreiden, kunnen ze de eindgebruikers volkomen nieuwe diensten aanbieden, zoals XR-toepassingen met fotorealistische graphics.

Wij geloven dat de nieuwe revolutionaire gebruikerservaring een groot voordeel zal zijn, inclusief samenwerking in real-time, multiplayer games met fotorealistische graphics, een nieuwe generatie video's met ondersteuning voor zes vrijheidsgraden, educatieve apps met onderdompeling en gepersonaliseerd winkelen zoals nooit tevoren. Deze mogelijkheden inspireren ons en daarom hopen we op een vruchtbare samenwerking met andere leden van het ecosysteem — dit werk zal helpen onze visie op XR te realiseren.

Bron: habr.com