Ongeveer een jaar geleden publiceerde ik een artikel . Hierin werden de voor- en nadelen van verschillende diensten voor cloudgaming op zwakke pc's geanalyseerd. Tijdens het spelen testte ik elke dienst en deelde uiteindelijk mijn algemene indrukken.
In de reacties op dat en andere soortgelijke artikelen deelden lezers vaak hun indrukken over verschillende gamingdiensten. Er kwamen vaak tegenstrijdige meningen naar voren over hetzelfde. Voor sommigen was alles perfect, terwijl anderen vanwege lag en haperingen niet konden spelen. Toen kwam het idee op om de kwaliteit van deze diensten onder verschillende omstandigheden te beoordelen — van ideaal tot dramatisch. Het gaat om de kwaliteit van netwerken, want niet elke gebruiker kan pronken met een snelle en probleemloze verbinding, toch? Kortom, hieronder volgt een beoordeling van de diensten met simulatie van verschillende netwerkkwaliteiten.
Wat is eigenlijk het probleem?
Zoals hierboven vermeld — het is de kwaliteit van de verbinding. En specifieker — het verlies van pakketten tijdens het spelen. Hoe hoger het verlies, hoe meer problemen de gamer ondervindt, en hoe minder tevreden hij is met het spel. En zelden heeft iemand een ideale verbinding, zoals glasvezel naar het apparaat, met een exclusieve en niet gedeelde internetverbinding voor alle bewoners van een appartementencomplex.
Ter referentie — bij een verbindingssnelheid van 25 Mbit/s zijn voor de overdracht van 1 frame/beeld 40-50 datapakketten nodig. Hoe meer pakketten verloren gaan, hoe slechter de kwaliteit van het beeld wordt, en hoe meer lag en haperingen er merkbaar zijn. In bijzonder zware gevallen wordt spelen gewoon onmogelijk.
Natuurlijk kan de cloudservice zelf geen invloed uitoefenen op de breedte en stabiliteit van de verbinding van de gebruiker (hoewel dat natuurlijk geweldig zou zijn). Maar het is wel mogelijk om verschillende manieren te overwegen om verbindingsproblemen te verhelpen. Welke diensten het beste met dit probleem om kunnen gaan — dat zullen we hieronder zien.
Wat vergelijken we precies?
Een gewone pc (Intel i3-8100, GTX 1060 6 GB, 8GB RAM), GeForce Now (de Russische versie met servers in Moskou), , , , . Op alle diensten, behalve Stadia, onderzoeken we de kwaliteit van het spel in ‘The Witcher’. Op het moment van schrijven van dit artikel was dit spel niet beschikbaar op Google Stadia, dus moest ik een ander spel testen — ‘Odyssey’.
Wat zijn de testomstandigheden en -methoden?
We testen vanuit Moskou. Provider - MGTS, tarief 500 Mb/s, bekabelde verbinding, geen WiFi. De grafische kwaliteit instellingen in de diensten nemen we standaard over, resolutie - FullHD.
Met behulp van het programma simuleren we netwerkproblemen, in het bijzonder, dataverlies van verschillende soorten en volumes.
Gelijke enkele verliezen. Dit is wanneer er slechts 1 pakket verloren gaat en de verliezen min of meer gelijkmatig zijn verdeeld. Zo betekenen gelijke verliezen van 10% dat van de 100 pakketten elk 10e pakket verloren gaat, maar altijd slechts 1 pakket. Het probleem doet zich meestal voor bij vervormingen (scherming) op de verbinding van client naar server.
We testen gelijke verliezen van 5%, 10%, 25%.
Ongelijke massale verliezen, wanneer in één moment direct 40-70 pakketten achter elkaar verloren gaan. Dergelijke verliezen ontstaan meestal bij problemen met netwerkapparatuur (routers enz.) bij de gebruiker of de provider. Ze kunnen gerelateerd zijn aan bufferoverbelasting van netwerkapparatuur op de verbinding 'gebruiker - server'. WiFi met dikke muren kan ook dergelijke verliezen veroorzaken. Overbelasting van het draadloze netwerk door een groot aantal apparaten is een andere oorzaak, zeer typerend voor kantoren en appartementencomplexen.
We testen ongelijke verliezen van 0,01%, 0,1%, 0,5%.
Hieronder analyseer ik al deze gevallen en voeg ik een videovergelijking toe voor de duidelijkheid. Aan het einde van het artikel geef ik een link naar de ruwe, niet-bewerkte gameplayvideo's van alle diensten en gevallen - daar kun je de artefacten uitgebreider bekijken, evenals technische informatie (in alle diensten, behalve Stadia, zijn technische consolegegevens opgenomen; die heb ik bij Stadia niet gevonden).
Laten we beginnen!
Hieronder staan 7 scenario's van de stresstest en video's met tijdstempels (dezelfde video, maar voor het gemak begint in elk punt het bekijken vanaf het juiste moment). Aan het einde van de post staan de originele video's voor elk van de diensten. Een goede vriend heeft me geholpen met het maken van de video, waarvoor mijn dank!
Scenario nr. 1. Ideale omstandigheden. Nul verliezen in het netwerk
Alles zoals het hoort te zijn in een ideale wereld. Geen verbindingsproblemen, geen onderbrekingen, geen ruis, uw toegangspunt is een baken van internet. Onder deze kasachtige omstandigheden presteren bijna alle deelnemers aan de test goed.
PC
In elk scenario hebben we beelden uit de pc-game als referentie genomen. Het is duidelijk dat de netwerkkwaliteit hier geen invloed op heeft; de game wordt lokaal op de pc uitgevoerd. Het hebben van deze beelden beantwoordt de vraag: "voelt het verschil als je in de cloud speelt vergeleken met spelen op je eigen pc?" Onder ideale omstandigheden — voelt het voor de meeste diensten niet anders. We zullen hieronder niet meer over de pc schrijven; onthoud gewoon dat deze er is.
GeForce Now
Alles werkt goed, het beeld is scherp, het proces verloopt soepel, zonder haperingen.
Vortex
Hier verpest Vortex onze ideale wereld. Het had onmiddellijk problemen — het beeld is slechter dan bij alle andere, en er zijn duidelijk 'stutters' merkbaar. Een mogelijke oorzaak is dat de game-servers ver van Moskou zijn geplaatst en bovendien lijkt de hardware op de game-servers zwakker te zijn, waardoor FullHD slecht presteert. In alle tests heeft Vortex zich slecht gedragen. Als iemand positieve ervaringen heeft met Vortex — laat het weten in de reacties, deel waar je speelde en hoe goed het ging.
Playkey
Alles is uitstekend, net als op een lokale pc. Er zijn geen zichtbare problemen zoals haperingen, vertragingen, enz.
Loudplay
De service toont een uitstekend beeld, er zijn geen zichtbare problemen.
Stadia
De game service van Google werkt geweldig, ondanks het feit dat er geen servers in Rusland zijn, en Stadia officieel niet in Rusland werkt. Desondanks gaat alles goed. Jammer dat 'The Witcher' niet beschikbaar was op Stadia op het moment van spelen, maar we kozen voor 'Odyssey' — ook veeleisend, ook over een man die mensen en dieren neerslaat.
Scenario nr. 2. Gelijkmatige verliezen van 5%
In deze test gaat ongeveer elke 20e van de 100 pakketten verloren. Ter herinnering: om één frame te renderen zijn 40-50 pakketten nodig.
GeForce Now
Bij de service van Nvidia gaat alles goed, er zijn geen problemen. Het beeld is iets meer vervaagd dan bij Playkey, maar 'The Witcher' is nog steeds speelbaar.
Vortex
Hier is het nog slechter geworden. Waarom dat is, is niet helemaal duidelijk, waarschijnlijk is er geen redundantie voorzien of is deze minimaal. Redundantie is foutcorrectie van verzonden gegevens (FEC — Forward Error Correction). Deze technologie herstelt gegevens bij gedeeltelijk verlies door netwerkproblemen. Het kan op verschillende manieren worden geïmplementeerd en ingesteld, en op basis van de resultaten lijkt het erop dat de makers van Vortex hierin niet zijn geslaagd. Zelfs met minimale gelijkmatige verliezen is het niet mogelijk om te spelen. Tijdens latere tests 'stierf' Vortex simpelweg.
Playkey
Alles is goed, er is eigenlijk geen groot verschil met de ideale omstandigheden. Het kan helpen dat de servers van het bedrijf ook in Moskou zijn gevestigd, waar de tests zijn uitgevoerd. En wellicht is de eerder genoemde redundantie beter ingesteld.
Loudplay
De service is abrupt onbespeelbaar geworden, ondanks relatief kleine pakketverliezen. Wat kan hiervan de oorzaak zijn? Ik veronderstel dat Loudplay met het TCP-protocol werkt. In dat geval worden nieuwe pakketten niet verzonden totdat een bevestiging van ontvangst van het vorige pakket is ontvangen. Dus als een pakket verloren gaat, is er geen bevestiging van aflevering en worden nieuwe pakketten niet verzonden; het beeld bevriest, en dat is het einde van het verhaal.
Als je UDP gebruikt, is bevestiging van ontvangst van een pakket niet nodig. Voor zover ik kan zien, gebruiken alle andere diensten behalve Loudplay het UDP-protocol. Als dat niet zo is, laat het me dan alstublieft weten in de reacties.
Stadia
Alles is speelbaar. Soms pixeliseert het beeld en zijn er minimale vertragingen. Het is mogelijk dat de foutencorrectie niet perfect werkt, vandaar de lichte artefacten in de verder speelbare stream.
Scenario nr. 3. Gelijke verliezen van 10%
We verliezen elke tiende pakket op de honderd. Dit is al een uitdaging voor de diensten. Om effectief met zulke verliezen om te gaan, zijn technologen voor herstel en/of het opnieuw verzenden van verloren data nodig.
GeForce Now
Bij Geforce zijn er kleine dips in de kwaliteit van de videostream. Voor zover ik kan zien, reageert GFN op netwerkwissen en probeert deze te verminderen. De service verlaagt de bitrate, dat wil zeggen het aantal bits voor gegevensoverdracht. Zo probeert het de belasting op wat hij beschouwt als een niet-kwalitatief voldoende netwerk te verlichten en een stabiele verbinding te behouden. En wat de stabiliteit betreft, daar zijn geen vragen over, maar de videokwaliteit lijdt aanzienlijk. We zien aanzienlijke pixelisatie van het beeld. Aangezien simulatie een constant verlies van 10% van de pakketten veronderstelt, helpt het verlagen van de bitrate niet veel; de situatie normaliseert zich niet.
In de echte wereld zal het beeld waarschijnlijk niet constant slecht zijn, maar schommelend. Wanneer verliezen toenemen, vervaagt het beeld; als de verliezen afnemen, keert het beeld terug naar normaal, enzovoort. Dit helpt de spelervaring niet, uiteraard.
Playkey
Er zijn geen bijzondere problemen. Waarschijnlijk detecteert het algoritme netwerkproblemen, bepaalt het verliespercentage en legt het de nadruk meer op redundantie dan op het verlagen van de bitrate. Bij een gelijkmatige verlies van 10% verandert de beeldkwaliteit praktisch niet, een gebruiker zal dergelijke verliezen waarschijnlijk niet opmerken.
Loudplay
Werkt niet, het is gewoon niet opgestart. Tijdens verdere tests herhaalde de situatie zich. Voor zover ik kan oordelen, past deze service zich op geen enkele manier aan netwerkproblemen aan. Mogelijk is het de TCP-protocol dat hiervoor verantwoordelijk is. De kleinste verliezen verlammen de service volledig. Natuurlijk niet erg praktisch voor het echte leven.
Vortex
Ook grote problemen. Het is niet mogelijk om onder deze omstandigheden te spelen, hoewel het beeld nog aanwezig is en het personage blijft rennen, maar met haperingen. Ik denk dat het ligt aan de slecht uitgevoerde of ontbrekende redundantie. Pakketten gaan vaak verloren en worden op geen enkele manier hersteld. Uiteindelijk degradeert de beeldkwaliteit tot onspeelbare niveaus.
Stadia
Helaas is het hier slecht. Er zijn onderbrekingen in de stroom, waardoor gebeurtenissen op het scherm haperend gebeuren, spelen is extreem moeilijk. Men kan veronderstellen dat het probleem is ontstaan, net als bij Vortex, door minimale of ontbrekende redundantie. Ik heb overlegd met een paar bekenden die 'in het vak' zitten, zij verklaarden dat Stadia waarschijnlijk wacht op de volledige beeldopbouw. In tegenstelling tot GFN probeert het de situatie niet te redden door de bitrate drastisch te verlagen. Daardoor zijn er geen artefacten, maar ontstaan er haperingen en lag (bij GFN daarentegen zijn er minder haperingen/lag, maar door de lage bitrate is het beeld helemaal niet aantrekkelijk).
De andere services lijken ook niet te wachten op de volledige beeldopbouw, maar vervangen het verloren deel door een fragment van de oude afbeelding. Dit is een goede oplossing, in de meeste gevallen zal de gebruiker de truc niet opmerken (30+ frames per seconde), hoewel er soms artefacten kunnen optreden.
Scenario nr. 4. Gelijkmatige verliezen van 25%
Elke vierde pakket gaat verloren. Het wordt steeds angstaanjagender interessanter. Over het algemeen is normale cloudgaming bij zo'n 'doorlatende' verbinding nauwelijks mogelijk. Hoewel sommige deelnemers aan de vergelijking het redelijk goed doen, zij het niet perfect.
GFN
De problemen zijn al behoorlijk merkbaar. De afbeelding is gepixeld en wazig. Spelen is nog steeds mogelijk, maar het is absoluut niet meer wat GFN in het begin bood. En zeker niet de manier waarop mooie games gespeeld moeten worden. De schoonheid is al niet meer te waarderen.
Playkey
De gameplay verloopt redelijk goed. Er is soepelheid, hoewel de afbeelding er wat onder lijdt. Overigens zijn linksboven de cijfers te zien die aangeven hoeveel verloren pakketten worden hersteld. Zoals we zien, wordt 96% van de pakketten hersteld.
Loudplay
Niet opgestart.
Vortex
Je kunt niet spelen, hoe graag je ook wilt; de freezes (het stilzetten van de afbeelding en het hervatten van de videostream vanaf een nieuw fragment) zijn nog meer opgevallen.
Stadia
De service is vrijwel onspeelbaar. De redenen zijn hierboven al genoemd. Er wordt gewacht op het samenstellen van een frame, de redundantie is minimaal; met zulke verliezen is het niet genoeg.
Scenario nr. 5. Ongelijke verliezen 0,01%.
Bij 10.000 pakketten gaat er 1 keer 40-70 pakketten achter elkaar verloren. Dat betekent dat we ongeveer 1 van de 200 frames verliezen. Dit gebeurt soms wanneer de buffer van het netwerkapparaat vol is en alle nieuwe pakketten simpelweg worden weggegooid totdat de buffer weer leeg is. Alle deelnemers aan de vergelijking, behalve Loudplay, hebben dergelijke verliezen in meer of mindere mate aangepakt.
GFN
De afbeelding heeft maar heel weinig kwaliteit verloren, is iets wazig geworden, maar is nog steeds goed speelbaar.
Playkey
Alles is heel goed. Het beeld is soepel, de afbeelding is goed. Je kunt zonder problemen spelen.
Loudplay
De eerste paar seconden was het beeld er, de held liep zelfs. Maar de verbinding met de server ging vrijwel meteen verloren. Oh, dat TCP-protocol. De eerste verlies heeft de service de das omgedaan.
Vortex
Er zijn gewone problemen merkbaar. Freezes, lag en al dat soort dingen. Spelen zou erg moeilijk zijn onder zulke omstandigheden.
Stadia
Speelbaar. Er zijn enkele kleine dalingen merkbaar, het beeld wordt soms gepixeld.
Scenario nr. 6. Ongelijke verliezen 0,1%.
Bij 10.000 pakketten gaat er 10 keer 40-70 pakketten achter elkaar verloren. Dat betekent dat we 10 van de 200 frames verliezen.
Ik zal meteen zeggen dat merkbare problemen zijn opgetreden bij de meeste diensten. Bijvoorbeeld, het beeld hapert, waardoor redundantie hier niet helpt. Dat wil zeggen, er is een positief effect bij het gebruik van redundantietechnologie, maar het is niet groot.
Het punt is dat de reactietijd op de acties van de gebruiker en het spel zelf beperkt is; de videostream moet continu zijn. De stream kan ondanks alle inspanningen van de diensten niet tot een acceptabele kwaliteit worden hersteld.
Er verschijnen artefacten (poging om pakketverlies te compenseren, gegevens zijn onvoldoende) en beelden beven.
GFN
De beeldkwaliteit is aanzienlijk gedaald, de bitrate is duidelijk verlaagd, en dat in hoge mate.
Playkey
Maakt het beter — waarschijnlijk omdat de redundantie goed is ingesteld, plus het bitrate-algoritme verlies niet als hoog beschouwt en de afbeelding niet in een gepixeld geheel verandert.
Loudplay
Niet opgestart.
Vortex
Is opgestart, maar met verschrikkelijke beeldkwaliteit. Er zijn sterke schokken en dalingen duidelijk merkbaar. Spelen onder zulke voorwaarden is vrijwel onmogelijk.
Stadia
Schokken zijn goed merkbaar, dit is een duidelijke indicatie dat er onvoldoende redundantie is. Het beeld bevriest, dan verschijnen er andere frames, wat leidt tot onderbrekingen van de videostream. Spelen is in principe mogelijk als je een grote wens hebt en klinische neiging tot zelfkwelling.
Scenario nr. 7. Ongelijke verliezen 0,5%
Van de 10.000 pakketten gaan 40-70 pakketten er 50 keer achter elkaar verloren. We verliezen 50 frames van de 200.
De situatie is van het type “formele ramp”. Je router vonkt, er is een storing bij de aanbieder, muizen hebben de kabels doorgebeten, maar je wilt nog steeds in de cloud spelen. Welke service moet je kiezen?
GFN
Spelen is al zeer moeilijk, als het al mogelijk is — de bitrate is sterk verlaagd. Frames gaan verloren, in plaats van een normaal beeld zien we 'zeep'. Frames worden niet hersteld — er is onvoldoende informatie voor herstel. Als er überhaupt herstel door GFN is voorzien, roept de agressieve poging van de service om de bitrate te redden twijfels op over zijn gereedheid om met redundantie te werken.
Playkey
Er is vervorming van het frame, het beeld schokt, dat wil zeggen, elementen van afzonderlijke frames worden herhaald. Het is duidelijk dat een groot deel van het 'beschadigde' frame is hersteld uit stukken van het vorige. Met andere woorden, in de nieuwe frames zijn delen van oude frames aanwezig. Maar het beeld is voor de meeste meer of minder scherp. Je kunt spelen, maar in dynamische scènes, bijvoorbeeld in een gevecht waar goede reacties vereist zijn — is het moeilijk.
Loudplay
Niet opgestart.
Vortex
Is opgestart, maar had beter niet opgestart kunnen worden — spelen is hiermee niet mogelijk.
Stadia
De service is onder deze voorwaarden niet speelbaar. Redenen zijn de noodzaak om te wachten op het samenstellen van frames en de zwakke redundantie.
Wie is de winnaar?
De ranking is natuurlijk subjectief. In de reacties kan er worden gediscussieerd. En de eerste plaats is natuurlijk voor de lokale pc. Juist omdat cloudservices extreem gevoelig zijn voor de netwerkkwaliteit, die in de echte wereld vrij onstabiel is, blijft een eigen gaming-pc ongeëvenaard. Maar als je om wat voor reden dan ook geen gaming-pc hebt, bekijk dan de ranking.
- Lokale pc. Verwacht.
- Playkey
- GeForce Now
- Google Stadia
- Vortex
- Loudplay
Als samenvatting wil ik nogmaals benadrukken dat de belangrijkste factor in cloudgaming de veerkracht tegen netwerkproblemen is:
- Welk netwerkprotocol wordt gebruikt. Voor het verzenden van video-streams is het het beste om UDP te gebruiken. Ik vermoed dat Loudplay TCP gebruikt, hoewel ik dat niet met zekerheid kan zeggen. Maar je hebt de testresultaten gezien.
- Is er fouttolerante codering geïmplementeerd? (FEC - Forward Error Correction, ook wel redundantie genoemd). De manier waarop het wordt aangepast aan pakketverlies is ook belangrijk. Zoals we hebben gezien, hangt de kwaliteit van het beeld sterk af van de implementatie.
- Hoe is de bitratesanpassing ingesteld. Als de service de situatie in de eerste plaats met bitrate oplost, heeft dat een grotere impact op het beeld. De sleutel tot succes is een fragiel evenwicht tussen bitrate-manipulaties en redundantie.
- Hoe is de nabewerking ingesteld. Als er problemen optreden, worden frames ofwel weggelaten, hersteld, of samengevoegd met fragmenten van oude frames.
- De nabijheid van servers tot de gamer en de kracht van de hardware beïnvloeden ook aanzienlijk de gamekwaliteit, maar dat geldt ook voor een ideaal netwerk. Als de ping naar de servers te hoog is, is het zelfs op een perfect netwerk niet comfortabel om te spelen. In dit onderzoek hebben we met de ping geen experimenten uitgevoerd.
Zoals beloofd, hier is de link naar.
Bron: habr.com
