About a year ago, I published an article . It analyzed the pros and cons of different services for cloud gaming on low-end PCs. During the gameplay, I tested each service and shared my overall impressions in the end.
In the comments to that and other similar articles, readers often shared their experiences with various gaming services. There were often opposing views on the same service. For some, everything is perfect, while others cannot play due to lags and freezes. Then I had the idea to assess the quality of these services under different conditions—from ideal to terrible. We’re talking about network quality, as users cannot always boast of a fast and trouble-free connection, right? In general, below is an evaluation of the services simulating different network quality.
What is the problem?
As mentioned earlier—it’s the quality of the connection. More specifically—packet loss during gameplay. The higher the loss, the more problems the gamer faces, and the less satisfied they are with the game. After all, very few people have an ideal connection like fiber optics to their device, especially not a dedicated one, but a shared connection with all the residents of an apartment building.
For reference—at a connection speed of 25 Mbps, it takes 40-50 data packets to transmit 1 frame. The more packets are lost, the lower the image quality becomes, and the more noticeable the lags and freezes are. In particularly severe cases, it becomes virtually impossible to play.
Naturally, the cloud service itself cannot influence the bandwidth and stability of the user’s connection (although it would be great, of course). However, different ways to mitigate connection issues can be considered. Which services handle the problem best—we’ll see below.
What exactly are we comparing?
A regular PC (Intel i3-8100, GTX 1060 6 GB, 8GB RAM), GeForce Now (its Russian version with servers in Moscow), , , , . On all services, except Stadia, we study gameplay quality in “The Witcher.” Google Stadia did not have this game at the time of writing, so I had to test another—“Odyssey.”
What are the conditions and testing methodology?
Tester fra Moskva. Udbyder — MGTS, tarif 500 Mbit/s, tilslutning via kabel, ikke WiFi. Grafikindstillingerne i tjenesterne tages som standard, opløsning — FullHD.
Ved hjælp af programmet simulerer vi netværksproblemer, specifikt pakettab af forskellige typer og omfang.
Jævne enkeltstående tab. Dette er, når kun 1 pakke går tabt, og tabene er mere eller mindre jævnt fordelt. Så, jævne tab på 10% betyder, at for hver 100 pakker går hver 10. tabt, men altid kun 1 pakke. Problemet opstår ofte ved forvrængninger (skygger) på kanalen fra klienten til serveren.
Tester jævne tab på 5%, 10%, 25%.
Ujævne masse tab, når der på et givet tidspunkt går 40-70 pakker tabt på én gang. Disse tab opstår ofte ved problemer med netværksudstyr (routere osv.) hos brugeren eller udbyderen. De kan være relateret til bufferoverløb på netværksudstyret i forbindelsen "bruger — server". WiFi med tykke vægge kan også forårsage sådanne tab. Overbelastning af det trådløse netværk på grund af mange enheder er endnu en årsag, meget typisk for kontorer og lejlighedskomplekser.
Tester ujævne tab på 0,01%, 0,1%, 0,5%.
Nedenfor analyserer jeg alle disse tilfælde og vedhæfter en videoreview for illustration. Og til sidst i artiklen giver jeg et link til rå, uredigerede videoer af gameplay fra alle tjenester og tilfælde — her kan du se artefakterne nærmere samt teknisk information (i alle tjenester, undtagen Stadia, er tekniske konsoldata optaget; disse fandt jeg ikke for Stadia).
Lad os komme i gang!
Nedenfor er 7 scenarier for stresstest og videoer med tidsstempler (videoen er den samme, for nemheds skyld starter visningen ved det relevante punkt for hver post). Længst nede i indlægget — de oprindelige videoer for hver af tjenesterne. Videoen blev lavet med hjælp fra en god ven, som jeg takker!
Scenario nr. 1. Ideelle forhold. Nul tab i netværket
Alt, som det burde være i en ideal verden. Ingen forbindelsesproblemer, ingen afbrud, ingen interferens, din adgangsrouter er lyset af internettet. Under sådanne drivhusforhold præsterer næsten alle deltagere i testen værdigt.
PC
I hvert scenarie har vi taget billeder fra PC-spillet som reference. Det er klart, at netværkets kvalitet ikke påvirker dette, da spillet køres lokalt på PC'en. Tilstedeværelsen af disse billeder besvarer spørgsmålet 'kan man mærke forskel, når man spiller i skyen sammenlignet med at spille på sin egen PC?'. Under ideelle forhold, i vores tilfælde — mærkes der ikke forskel hos de fleste tjenester. Vi vil ikke skrive mere om PC'en her, bare husk, at den eksisterer.
GeForce Now
Alt fungerer godt, billedet er klart, og processen forløber glat, uden hak.
Vortex
Her ødelægger Vortex vores ideelle verden. Den fik straks problemer - billedet er dårligere end alle de andre, og der er tydelige 'hak'. En mulig årsag er, at spillernes servere er placeret langt fra Moskva, plus hardwaren på spillerserverne ser ud til at være svagere, og FullHD fungerer dårligt. I alle tests har Vortex klaret sig dårligt. Hvis nogen har en positiv oplevelse med at spille med Vortex - skriv i kommentarerne, del hvorfra du spillede, og hvor godt det gik.
Playkey
Alt er fremragende, lige som på den lokale PC. Der er ingen synlige problemer som hak, lag eller lignende.
Loudplay
Tjenesten viser et fremragende billede, der er ingen synlige problemer.
Stadia
Spiltjenesten fra Google fungerer fremragende, selvom den ikke har servere i Rusland, og Stadia officielt ikke fungerer i Rusland. Ikke desto mindre går alt godt. Det er selvfølgelig ærgerligt, at 'The Witcher' ikke var tilgængelig på Stadia på tidspunktet for spillet, men hvad kan man gøre, vi tog 'Odyssey' - det er også krævende, også om en mand, der fælder mennesker og dyr.
Scenarie nr. 2. Ensartet tab på 5%
I denne test mistes cirka hver 20. pakke ud af 100. Jeg minder om, at der er brug for 40-50 pakker for at gengive et enkelt billede.
GeForce Now
Nvidias tjeneste fungerer godt, der er ingen problemer. Billedet er lidt mere sløret end hos Playkey, men 'The Witcher' er stadig spilbart.
Vortex
Her er situationen blevet endnu værre. Hvorfor - er ikke helt klart, sandsynligvis er der ikke taget højde for redundans, eller den er minimal. Redundans er støjresistent kodning af de overførte data (FEC - Forward Error Correction). Denne teknologi genskaber dataene ved delvis tab på grund af netværksproblemer. Den kan implementeres og konfigureres på forskellige måder, og efter resultaterne at dømme, er skaberne af Vortex ikke lykkedes særlig godt med dette. Selv med små ensartede tab kan det ikke lade sig gøre at spille. Under de følgende tests 'døde' Vortex simpelthen.
Playkey
Alt er godt, der er ikke meget forskel fra de ideelle forhold. Det hjælper muligvis, at virksomhedens servere også er placeret i Moskva, hvor testen blev udført. Og måske er den såkaldte redundans bedre konfigureret.
Loudplay
Tjenesten er pludselig blevet umulig at spille, på trods af relativt lave pakettab. Hvad kan være årsagen? Jeg formoder, at Loudplay arbejder med TCP-protokollen. I så fald, indtil der er bekræftelse på modtagelse af pakken, sendes andre pakker ikke, systemet venter på bekræftelse af levering. Derfor, hvis pakken er gået tabt, vil der ikke være nogen bekræftelse, nye pakker sendes ikke, og billedet fryser; slutningen på historien.
Men hvis man bruger UDP, er der ikke behov for bekræftelse på modtagelse af pakken. Udfra hvad man kan bedømme, bruger alle andre tjenester undtagen Loudplay UDP-protokollen. Hvis det ikke er tilfældet, må du gerne rette mig i kommentarerne.
Stadia
Alt er spillebart. Nogle gange pixeliseres billedet, der er minimale forsinkelser i responsen. Måske fungerer det fejlagtigt med fejlresistent kodning, hvilket giver små artefakter i det overordnede spilleværdige stream.
Scenarie 3. Jævnt tab på 10%
Vi mister hver 10. pakke pr. hundred. Dette er allerede en udfordring for tjenesterne. For effektivt at håndtere sådanne tab er teknikere til genopretning og/eller genudsending af tabte data nødvendige.
GeForce Now
Hos Geforce observeres der små fald i kvaliteten af videostreamen. Udfra hvad man kan bedømme, reagerer GFN på netværksproblemer og forsøger at mindske dem. Tjenesten reducerer bitrate, det vil sige antallet af bits til datatransmission. På den måde forsøger den at mindske belastningen på, hvad den anser for et utilstrækkeligt godt netværk og opretholde en stabil forbindelse. Og der er faktisk ikke spørgsmål om stabilitet, men videoens kvalitet lider tydeligt. Vi ser betydelig pixelisering af billedet. Da simuleringen indebærer et konstant tab på 10% af pakker, hjælper reduktionen af bitrate ikke meget, og situationen normaliseres ikke.
I det virkelige liv vil billedet sandsynligvis ikke være stabilt dårligt, men flydende. Ved øget tab er billedet blevet sløret; tabene er faldet - billedet er vendt tilbage til normal, og så videre. Det er selvfølgelig ikke gavnligt for spilleoplevelsen.
Playkey
Der er ikke nogen særlige problemer. Algoritmen opdager sandsynligvis problemer på netværket, vurderer tabsniveauet og fokuserer mere på redundans end på at reducere bitrate. Således ændrer billedkvaliteten sig praktisk talt ikke ved 10 % jævne tab, og brugeren vil næppe bemærke sådanne tab.
Loudplay
Den fungerer ikke, den startede simpelthen ikke. Under nogle yderligere tests opstod situationen igen. Så langt man kan bedømme, tilpasser denne service sig næppe til netværksproblemer. Måske er det TCP-protokollen, der er skylden. Selv de mindste tab lammer service helt. Det er selvfølgelig ikke særlig praktisk i det virkelige liv.
Vortex
Der er også store problemer. Det er ikke muligt at spille under sådanne forhold, selvom billedet stadig er der, og karakteren fortsætter med at bevæge sig, dog i hak. Jeg tror, det hele ligger i den dårligt implementerede eller manglende redundans. Pakker går ofte tabt og bliver ikke genoprettet. I sidste ende degraderer billedkvaliteten til et uspilbart niveau.
Stadia
Desværre er situationen her dårlig. Der er forstyrrelse i strømmen, hvilket får begivenhederne på skærmen til at ske i hak, og det er ekstremt svært at spille. Man kan formode, at problemet opstod, ligesom i tilfælde med Vortex, på grund af minimal eller ingen redundans. Jeg har konsulteret et par bekendte, der "kender til det", og de sagde, at Stadia sandsynligvis venter på at samle det fulde billede. I modsætning til GFN forsøger den ikke at redde situationen ved kraftigt at sænke bitrate. Resultatet er, at der ikke er artefakter, men der opstår stutter og lag (i modsætning til GFN, hvor der er færre stutter/lag, men billedet er slet ikke tiltalende på grund af den lave bitrate).
De øvrige tjenester ser også ud til ikke at vente på, at det fulde billede er samlet, men erstatter den manglende del med et fragment af det gamle billede. Dette er en god løsning; i de fleste tilfælde mærker brugeren ikke noget mistænkeligt (30+ billeder skifter pr. sekund), selvom der nogle gange kan opstå artefakter.
Scenario nr. 4. Jævne tab på 25%
Hver fjerde pakke går tabt. Det bliver mere og mere skræmmende interessant. Generelt er normal gaming i skyen næppe mulig med en så "hul" forbindelse. Selvom nogle deltagere i sammenligningen klarer sig, omend ikke perfekt.
GFN
Problemerne er allerede meget mærkbare. Billedet er pixeliseret og sløret. Det er stadig muligt at spille, men det er slet ikke det, som GFN tilbød i starten. Og det er bestemt ikke den måde, man skal spille smukke spil på. Man kan slet ikke værdsætte skønheden.
Playkey
Spiloplevelsen fungerer godt. Glidningen er der, selvom billedet lidt lider. For resten, i øverste venstre hjørne - numrene viser, hvor mange mistede pakker der er blevet genoprettet. Som vi kan se, genoprettes 96% af pakkerne.
Loudplay
Startede ikke.
Vortex
Det er ikke muligt at spille, selv med meget stort ønske, fordi fryserne (stop af billedet, genoptagelse af videostrøm fra et nyt fragment) er endnu mere mærkbare.
Stadia
Servicen er næsten ubrugelig. Årsagerne er allerede nævnt ovenfor. Den venter på at samle rammerne, og redundancy er minimal, og med sådanne tab er det ikke nok.
Scenario nr. 5. Ujævne tab på 0,01%.
Ud af 10.000 pakker tabes 40-70 pakker ad gangen én gang. Så vi mister cirka 1 ud af 200 rammer. Det sker, hvis bufferen på netværksenheden er fyldt, og alle nye pakker blot kastes væk, indtil bufferen er fri. Alle deltagere i sammenligningen, undtagen Loudplay, har håndteret sådanne tab i varierende grad.
GFN
Billedet har kun lidt tabt kvalitet, det er blevet en smule tåget, men det er stadig ganske spilbart.
Playkey
Alt fungerer rigtig godt. Billedet er glidende, og billedkvaliteten er god. Det er muligt at spille uden problemer.
Loudplay
De første par sekunder var billedet der, og helten løb endda. Men forbindelsen til serveren blev næsten straks tabt. Åh, denne TCP-protokol. Det første tab ødelagde servicen fuldstændig.
Vortex
Der er nogle almindelige problemer. Fryser, lag og alt det der. Det ville være meget svært at spille under sådanne forhold.
Stadia
Spilbart. Der er mærkbare små fald, og billedet pixeliseres nogle gange.
Scenario nr. 6. Ujævne tab på 0,1%.
Ud af 10.000 pakker tabes 40-70 pakker ad gangen 10 gange. Det betyder, at vi mister 10 ud af 200 rammer.
Jeg vil straks sige, at der er mærkbare problemer hos de fleste tjenester. For eksempel hakker billedet, så redundancy hjælper ikke her. Der er en positiv effekt ved at bruge redundancy-teknologi, men den er ikke stor.
Det er sådan, at reaktionstiden på brugernes handlinger og selve spillet er begrænset, og videostrømmen skal være kontinuerlig. Det er ikke muligt at genoprette strømmen til acceptabel kvalitet uanset servicerne.
Der opstår artefakter (forsøg på at kompensere for pakke tab, der mangler data) og hak i billedet.
GFN
Billedkvaliteten er tydeligt faldet, bitrate er markant lavere.
Playkey
Håndterer det bedre — sandsynligvis fordi redundansen er godt indstillet, plus bitrate-algoritmen vurderer tabene som ikke så høje og forvandler ikke billedet til en pixeleret grød.
Loudplay
Startede ikke.
Vortex
Startede, men med forfærdelig billedkvalitet. Hack og tab er meget mærkbare. Det er næppe muligt at spille under sådanne forhold.
Stadia
Hakket er tydeligt synligt, hvilket er et klart tegn på, at der mangler redundans. Billedet hakker, så dukker der andre rammer op, og der opstår klip i videostrømmen. Det er i princippet muligt at spille, hvis man virkelig ønsker det og har en klinisk tendens til selvpinage.
Scenario nr. 7. Ujævn tab 0,5%
Af 10.000 pakker går 40-70 pakker tabt flere gange i træk. Vi mister 50 billeder ud af 200.
Situationen er af klasse “formelt kaos”. Din router knitre, der er en ulykke hos udbyderen, kablerne er blevet gnasket af mus, men du vil stadig spille i skyen. Hvilken tjeneste skal du vælge?
GFN
Det er allerede meget svært at spille, hvis det overhovedet er muligt — bitrate er meget lavere. Billeder går tabt, i stedet for et normalt billede ser vi 'slør'. Billederne gendannes ikke — der mangler information til at genoprette dem. Hvis GFN overhovedet har en gendannelsesmulighed. Den måde, hvorpå tjenesten prøver aggressivt at redde situationen med bitrate, vækker tvivl om dens evne til at arbejde med redundans.
Playkey
Der er en forvrængning i rammen, billedet ryster, hvilket betyder, at elementer fra enkelte rammer gentages. Det er synligt, at størstedelen af den 'skadede' ramme er blevet genoprettet fra stumperne af de tidligere. Det vil sige, at nye rammer indeholder dele af gamle rammer. Men billedet er forholdsvis klart. Det kan være svært at styre, især i dynamiske scener, som for eksempel i en kamp, hvor god reaktion er nødvendig.
Loudplay
Startede ikke.
Vortex
Startede, men det ville være bedre, hvis det ikke gjorde — det er umuligt at spille dette.
Stadia
Tjenesten er ubrugelig under sådanne forhold. Årsagerne er behovet for at vente på samlingen af rammen og svag redundans.
Hvem er vinderen?
Bedømmelsen er selvfølgelig subjektiv. I kommentarerne kan man diskutere. Og det første sted går selvfølgelig til den lokale PC. Netop fordi cloudtjenester er ekstremt følsomme over for kvaliteten af netværket, og denne kvalitet er ret ustabil i den virkelige verden, forbliver en personlig gaming PC uden konkurrence. Men hvis man af en eller anden grund ikke har en, så se på ranglisten.
- Lokal PC. Forudsigeligt.
- Playkey
- GeForce Now
- Google Stadia
- Vortex
- Loudplay
Som en konklusion vil jeg endnu en gang minde om, at det, der spiller den største rolle i cloud gaming med hensyn til modstandsdygtighed over for netværksproblemer, er:
- Hvilken netværksprotokol der bruges. Til videostreaming er det bedst at bruge UDP. Jeg mistænker, at Loudplay bruger TCP, selvom jeg ikke kender det med sikkerhed. Men få resultatet fra testen har du set.
- Er der implementeret fejltolerant kodning (FEC — Forward Error Correction, også kendt som redundans). Måden, hvorpå den tilpasses tab af pakker, er også vigtig. Som vi så, afhænger kvaliteten af billedet i høj grad af implementeringen.
- Hvordan er bitraten tilpasset. Hvis tjenesten redder situationen primært gennem bitraten, påvirker det billedet mere. Nøglen til succes er en skrøbelig balance mellem manipulationer af bitraten og redundansen.
- Hvordan er postbehandlingen indstillet. Hvis der opstår problemer, bliver billederne enten droppet, genoprettet, eller der tilføjes fragmenter fra gamle billeder.
- Nærheden af serverne til gameren og kraften i hardwaren påvirker også kvaliteten af spillet betydeligt, men det gælder også for et ideelt netværk. Hvis ping til serverne er for høj, kan du ikke spille komfortabelt, selv på et perfekt netværk. I denne undersøgelse eksperimenterede vi ikke med ping.
Som lovet, her er linket til.
Kilde: habr.com
