Cloud-spil: stresstest 5 cloud-spiltjenester med dårligt internet

Cloud-spil: stresstest 5 cloud-spiltjenester med dårligt internet

For omkring et år siden publicerede jeg en artikel "Cloud-spil: førstehåndsvurdering af tjenesternes muligheder for at spille på svage pc'er". Den analyserede fordele og ulemper ved forskellige tjenester til skyspil på svage pc'er. Jeg testede hver tjeneste under spillet og delte mit overordnede indtryk.

I kommentarerne til denne og andre lignende artikler delte læserne ofte deres indtryk af forskellige spiltjenester. Der var ofte modsatrettede meninger om det samme. For nogle er alt perfekt, men for andre kan de ikke spille på grund af forsinkelser og fryser. Så fik jeg ideen til at evaluere kvaliteten af ​​disse tjenester under forskellige forhold - fra ideelle til forfærdelige. Vi taler om kvaliteten af ​​netværk, for brugeren kan ikke altid prale af en hurtig og problemfri kommunikationskanal, vel? Generelt er der under snittet en vurdering af tjenester med en simulering af forskellig kvalitet af netværksdrift.

Hvad er problemet alligevel?

Som nævnt ovenfor - som en sammenhæng. Mere præcist i tabet af pakker under spillet. Jo større tab, jo flere problemer spilleren har, jo mindre tilfreds er han med spillet. Men det er sjældent, at nogen har en ideel kommunikationskanal som fiberoptisk til enheden og med et dedikeret internet i stedet for at deles mellem alle beboerne i en lejlighedsbygning.

Til reference, med en forbindelseshastighed på 25 Mbit/s, kræves der 1-40 datapakker for at transmittere 50 frame/frame. Jo flere pakker der går tabt, jo lavere kvalitet bliver billedet, og jo mere mærkbare forsinkelser og fryser er. I særligt alvorlige tilfælde bliver det simpelthen umuligt at spille.

Naturligvis kan cloud-tjenesten i sig selv ikke på nogen måde påvirke bredden og stabiliteten af ​​brugerens kanal (selvom det selvfølgelig ville være fantastisk). Men det er muligt at forestille sig forskellige måder at udjævne kommunikationsproblemer. Vi vil se nedenfor, hvilke tjenester der bedst håndterer problemet.

Hvad er det præcist, vi sammenligner?

Almindelig pc (Intel i3-8100, GTX 1060 6 GB, 8 GB RAM), GeForce Now (dens russiske version Gfn med servere i Moskva), højt spil, Vortex, Afspilstast, Stadia. På alle tjenester undtagen Stadia studerer vi kvaliteten af ​​spillet i The Witcher. Google Stadia havde ikke dette spil i skrivende stund, så jeg var nødt til at teste et andet - Odyssey.

Hvad er testbetingelserne og metoden?

Vi tester fra Moskva. Udbyder - MGTS, takst 500 Mbit/s, kabelforbindelse, ikke WiFi. Vi indstiller grafikkvalitetsindstillingerne i tjenester til standardopløsningen - FullHD.

Brug af programmet Klodset Vi simulerer netværksproblemer, nemlig tab af pakker af forskellige typer og størrelser.

Ensartede enkelttab. Dette er, når kun 1 pakke går tabt, og tabene er fordelt nogenlunde ligeligt. Et ensartet tab på 10% betyder således, at ud af 100 pakker går hver 10. pakke tabt, men altid kun 1 pakke. Problemet manifesterer sig normalt, når der er forvrængning (afskærmning) på kanalen fra klienten til serveren.

Vi tester ensartede tab på 5 %, 10 %, 25 %.

Ujævne massetab, når 40-70 pakker i træk på et hvilket som helst tidspunkt går tabt. Sådanne tab opstår oftest, når der er problemer med netværksudstyret (routere osv.) hos brugeren eller udbyderen. Kan være forbundet med et bufferoverløb af netværksudstyr på bruger-server kommunikationslinjen. WiFi med tykke vægge kan også forårsage sådanne tab. Overbelastning af det trådløse netværk på grund af tilstedeværelsen af ​​et stort antal enheder er en anden grund, meget typisk for kontorer og lejlighedsbygninger.

Vi tester ujævne tab på 0,01%, 0,1%, 0,5%.

Nedenfor analyserer jeg alle disse sager og vedhæfter en videosammenligning for klarhedens skyld. Og i slutningen af ​​artiklen giver jeg et link til rå, uredigerede gameplay-videoer fra alle tjenester og sager - der kan du se artefakterne mere detaljeret, såvel som teknisk information (i alle tjenester undtagen Stadia, data fra de tekniske konsollen er optaget; Stadia fandt ikke en sådan).

Lad os gå!

Nedenfor er 7 stresstestscenarier og en video med tidsstempler (videoen er den samme, for nemheds skyld på hvert tidspunkt, hvor visningen starter fra det rigtige tidspunkt). Til allersidst i indlægget er de originale videoer for hver af tjenesterne. En god ven hjalp mig med at lave videoen, hvilket jeg takker ham for!

Scenario #1. Ideelle forhold. Nul tab i netværket

Alt er som det skal være i en ideel verden. Der er ingen forbindelsesproblemer, ikke en eneste pause, ingen interferens, dit adgangspunkt er internettets fyrtårn. Under sådanne drivhusforhold klarer næsten alle testdeltagere sig godt.


PC

For hvert scenarie tog vi optagelser fra pc-spillet som reference. Det er klart, at kvaliteten af ​​netværket ikke påvirker det på nogen måde; spillet kører på pc'en lokalt. Tilstedeværelsen af ​​disse rammer besvarer spørgsmålet "er der en forskel, når du spiller i skyen sammenlignet med at spille på din pc." Under ideelle forhold, i vores tilfælde, mærkes dette ikke af de fleste tjenester. Vi vil ikke skrive noget om pc'en nedenfor, bare husk at den findes.

GeForce Now

Alt er fint, billedet er klart, processen går glat, uden friser.

Vortex

Vortex ødelægger vores ideelle verden. Han begyndte straks at få problemer - billedet var værre end alle de andre, plus "bremserne" var tydeligt synlige. Et muligt problem er, at spilserverne er placeret langt fra Moskva, plus at hardwaren på spilserverne ser ud til at være svagere og ikke håndterer FullHD godt. Vortex klarede sig dårligt i alle test. Hvis nogen har en positiv oplevelse med at spille med Vortex, så skriv i kommentarerne, del hvor du spillede fra, og hvor godt alt blev.

Afspilstast

Alt er fint, ligesom på en lokal pc. Synlige problemer som fryser, forsinkelser osv. Ingen.

højt spil

Tjenesten viser et fremragende billede, der er ingen synlige problemer.

Stadia

Spiltjenesten fra Google fungerer perfekt på trods af, at den ikke har servere i Den Russiske Føderation, og generelt fungerer Stadia ikke officielt i Rusland. Alt er dog fint. Det er selvfølgelig ærgerligt, at "The Witcher" ikke var tilgængelig på Stadia på spillets tidspunkt, men hvad kan man gøre, de tog "Odyssey" - også krævende, også om en mand, der hugger mennesker og dyr op.

Scenario nr. 2. Ensartet tab 5 %

I denne test går ca. hver 100. tabt ud af 20 pakker. Lad mig minde dig om, at du skal bruge 40-50 pakker for at gengive en frame.


GeForce Now

Tjenesten fra Nvidia er fin, ingen problemer. Billedet er lidt mere sløret end Playkeys, men The Witcher kan stadig spilles.

Vortex

Det er her, tingene blev endnu værre. Hvorfor er ikke helt klart; højst sandsynligt er redundans ikke givet, eller den er minimal. Redundans er støjbestandig kodning af videresendte data (FEC - Forward Error Correction). Denne teknologi gendanner data, når de er delvist tabt på grund af netværksproblemer. Det kan implementeres og konfigureres på forskellige måder, og efter resultaterne at dømme, lykkedes det ikke skaberne af Vortex med dette. Du vil ikke være i stand til at spille selv med minimale tab. Under efterfølgende tests "døde Vortex simpelthen."

Afspilstast

Alt er fint, der er ingen væsentlig forskel fra ideelle forhold. Måske hjælper det, at virksomhedens servere er placeret i Moskva, hvor testene blev udført. Nå, måske er ovennævnte redundans bedre konfigureret.

højt spil

Tjenesten blev pludselig uspillelig på trods af relativt lave pakketab. Hvad kan der være galt? Jeg vil antage, at Loudplay fungerer med TCP-protokollen. I dette tilfælde, mens der ikke er nogen bekræftelse på modtagelse af pakken, sendes ingen andre pakker, systemet venter på bekræftelse af levering. Følgelig, hvis en pakke går tabt, vil der ikke være nogen bekræftelse på dens levering, nye pakker vil ikke blive sendt, billedet bliver tomt, slutningen af ​​historien.

Men hvis du bruger UDP, vil bekræftelse af modtagelse af pakken ikke være nødvendig. Så vidt det kan vurderes, bruger alle andre tjenester undtagen Loudplay UDP-protokollen. Hvis dette ikke er tilfældet, bedes du rette mig i kommentarerne.

Stadia

Alt er spilbart. Nogle gange bliver billedet pixeleret, og der er minimale svarforsinkelser. Måske fungerer støj-immunkodningen ikke perfekt, derfor de mindre artefakter, når hele streamen kan afspilles.

Scenario nr. 3. Ensartet tab 10 %

Vi mister hver 10. pakke pr. hundrede. Dette er allerede en udfordring for tjenester. For effektivt at håndtere sådanne tab er teknologier nødvendige til at gendanne og/eller gensende tabte data.


GeForce Now

GeForce oplever små fald i videostreamkvaliteten. Så vidt vi kan se, reagerer GFN på netværksproblemer ved at forsøge at afbøde dem. Tjenesten reducerer bithastigheden, det vil sige antallet af bits til datatransmission. På den måde forsøger han at mindske belastningen på, hvad han mener er et netværk af utilstrækkelig høj kvalitet og opretholde en stabil forbindelse. Og der er virkelig ingen spørgsmål om stabilitet, men videokvaliteten lider mærkbart. Vi ser betydelig pixelering af billedet. Nå, da modelleringen forudsætter et konstant tab på 10% af pakker, hjælper reduktion af bithastigheden ikke rigtig, situationen vender ikke tilbage til normalen.

I det virkelige liv vil billedet højst sandsynligt ikke være konsekvent dårligt, men svævende. Tabene steg - billedet blev sløret; tab blev reduceret - billedet vendte tilbage til det normale, og så videre. Dette er selvfølgelig ikke godt for spiloplevelsen.

Afspilstast

Der er ingen særlige problemer. Sandsynligvis opdager algoritmen problemer på netværket, bestemmer niveauet af tab og fokuserer mere på redundans i stedet for at reducere bithastigheden. Det viser sig, at med 10% ensartede tab, forbliver billedkvaliteten stort set uændret, det er usandsynligt, at brugeren vil bemærke sådanne tab.

højt spil

Det virker ikke, det startede bare ikke. Under yderligere test gentog situationen sig. Så vidt det kan vurderes, tilpasser denne tjeneste sig ikke til netværksproblemer på nogen måde. Måske er TCP-protokollen skylden. Det mindste tab vil lamme tjenesten fuldstændig. Ikke særlig praktisk i det virkelige liv, selvfølgelig.

Vortex

Også store problemer. Du kan ikke spille under sådanne forhold, selvom billedet stadig er der, og karakteren fortsætter med at løbe, om end i ryk. Jeg tror, ​​det hele handler om den samme dårligt implementerede eller manglende redundans. Pakker går ofte tabt og kan ikke gendannes. Som et resultat forringes billedkvaliteten til et niveau, der ikke kan afspilles.

Stadia

Desværre er alt dårligt her. Der er en pause i flowet, hvorfor begivenheder på skærmen sker i ryk, hvilket gør det ekstremt svært at spille. Det kan antages, at problemet opstod, som i tilfældet med Vortex, på grund af minimal eller ingen redundans. Jeg rådførte mig med et par venner, der er "vidende", de sagde, at Stadia højst sandsynligt venter på, at rammen bliver samlet. I modsætning til GFN forsøger den ikke at redde situationen ved at sænke bithastigheden fuldstændigt. Som følge heraf er der ingen artefakter, men der opstår frysninger og forsinkelser (GFN har tværtimod færre friser/lags, men på grund af den lave bitrate er billedet fuldstændig uattraktivt).

Andre tjenester ser heller ikke ud til at vente på, at rammen er fuldstændig samlet, og erstatter den manglende del med et fragment af den gamle ramme. Dette er en god løsning, i de fleste tilfælde vil brugeren ikke bemærke fangsten (30+ billeder ændres pr. sekund), selvom der nogle gange kan forekomme artefakter.

Scenario nr. 4. Ensartet tab 25 %

Hver fjerde pakke går tabt. Det bliver mere og mere skræmmende og interessant. Generelt, med sådan en "lækker" forbindelse, er normal spil i skyen næppe mulig. Selvom nogle sammenligningsdeltagere klarer sig, omend ikke perfekt.


Gfn

Problemerne er allerede ret mærkbare. Billedet er pixeleret og sløret. Du kan stadig spille, men det er slet ikke, hvad GFN tilbød i begyndelsen. Og det er bestemt ikke, hvordan smukke spil skal spilles. Skønhed kan ikke længere værdsættes.

Afspilstast

Gameplayet går godt. Der er glathed, selvom billedet lider lidt. Øverst til venstre er i øvrigt tallene, der viser, hvor mange tabte pakker, der er gendannet. Som du kan se, er 96% af pakkerne gendannet.

højt spil

Startede ikke.

Vortex

Du kan ikke spille selv med et meget stærkt ønske, fryser (frysning af billedet, genoptagelse af videostrømmen fra et nyt fragment) er endnu mere mærkbare.

Stadia

Tjenesten er praktisk talt uspillelig. Årsagerne er allerede nævnt ovenfor. Venter på, at rammen skal samles, er redundans minimal, med sådanne tab er det ikke nok.

Scenario #5. Ujævnt tab 0,01%.

For hver 10 pakker går 000-1 pakker tabt i træk. Det vil sige, at vi mister cirka 40 ud af 70 billeder. Det sker, når bufferen på en netværksenhed er fuld, og alle nye pakker simpelthen kasseres (droppes), indtil bufferen er frigivet. Alle sammenligningsdeltagere, undtagen Loudplay, arbejdede af med sådanne tab i en eller anden grad.


Gfn

Billedet har mistet lidt kvalitet og er blevet noget grumset, men alt er ret spilbart.

Afspilstast

Alt er meget godt. Billedet er glat, billedet er godt. Du kan spille uden problemer.

højt spil

De første par sekunder var der et billede, helten løb endda. Men forbindelsen til serveren blev mistet næsten øjeblikkeligt. Åh, denne TCP-protokol. Det allerførste tab skar tjenesten ned ved rødderne.

Vortex

De sædvanlige problemer observeres. Friser, halter og det er alt. Det ville være meget svært at spille under sådanne forhold.

Stadia

Spilbar. Små nedtræk er mærkbare, billedet er nogle gange pixeleret.

Scenario nr. 6. Ujævne tab 0,1 %

For 10 pakker går 000-10 pakker i træk tabt 40 gange. Det viser sig, at vi mister 70 ud af 10 billeder.

Jeg vil med det samme sige, at de fleste tjenester har mærkbare problemer. For eksempel rykker billedet, så her hjælper redundans ikke. Det vil sige, at der er en positiv effekt ved brug af redundansteknologi, men den er lille.

Faktum er, at reaktionstiden på brugerhandlinger og selve spillet er begrænset, videostrømmen skal være kontinuerlig. Det er umuligt at genoprette streamen til acceptabel kvalitet på trods af tjenesternes indsats.

Artefakter vises (et forsøg på at kompensere for tab af pakker, der er ikke nok data) og billedryk.


Gfn

Kvaliteten af ​​billedet er faldet mærkbart, bithastigheden er tydeligvis reduceret, og ganske markant.

Afspilstast

Det klarer sig bedre - sandsynligvis fordi redundansen er godt konfigureret, plus bitrate-algoritmen betragter tab som ikke særlig høje og gør ikke billedet til et pixeleret rod.

højt spil

Startede ikke.

Vortex

Det startede, men med forfærdelig billedkvalitet. Ryk og indsynkning er meget mærkbare. Det er næppe muligt at spille under sådanne forhold.

Stadia

Ryk er tydeligt synlige, dette er en klar indikator på, at der ikke er nok redundans. Billedet fryser, så vises andre rammer, og videostrømmen afbrydes. I princippet kan du spille, hvis du har stor lyst og en klinisk tendens til selvtortur.

Scenario nr. 7. Ujævne tab 0,5 %

For 10 pakker 000 gange går 50-40 pakker tabt i træk. Vi mister 70 billeder ud af 50.

En situation af den "ensartet forbandede" klasse. Din router gnister, din internetudbyder er nede, dine ledninger bliver tygget af mus, men du vil stadig gerne spille i skyen. Hvilken service skal du vælge?


Gfn

Det er allerede meget svært, hvis ikke umuligt, at spille - bithastigheden er blevet kraftigt reduceret. Rammer går tabt, i stedet for et normalt billede ser vi "sæbe". Rammer er ikke gendannet - der er ikke nok information til gendannelse. Hvis GFN overhovedet sørger for genopretning. Den måde, tjenesten aggressivt forsøger at redde situationen med bithastigheder, rejser tvivl om dens vilje til at arbejde med redundans.

Afspilstast

Der er rammeforvrængning, billedet rykker, det vil sige, at elementer af individuelle rammer gentages. Det kan ses, at det meste af den "brudte" ramme blev gendannet fra stykker af den forrige. Det vil sige, at de nye rammer indeholder dele af de gamle rammer. Men billedet er mere eller mindre klart. Du kan styre det, men i dynamiske scener, for eksempel i en kamp, ​​hvor du har brug for en god reaktion, er det svært.

højt spil

Startede ikke.

Vortex

Det startede, men det ville være bedre ikke at starte - du kan ikke spille det.

Stadia

Tjenesten under sådanne forhold er uspillelig. Årsagerne er behovet for at vente på at rammen bliver samlet og dårlig redundans.

Hvem er vinderen?

Bedømmelsen er naturligvis subjektiv. Du kan argumentere i kommentarerne. Nå, det første sted går selvfølgelig til den lokale pc. Det er netop fordi cloud-tjenester er ekstremt følsomme over for netværkskvalitet, og denne kvalitet er ret ustabil i den virkelige verden, at din egen gaming-pc forbliver uovertruffen. Men hvis den af ​​en eller anden grund ikke er der, så se på vurderingen.

  1. Lokal PC. Forventet.
  2. Afspilstast
  3. GeForce Now
  4. Google Stadia
  5. Vortex
  6. højt spil

Som en konklusion, lad mig igen minde dig om, hvad der spiller en vigtig rolle i cloud-spil med hensyn til modstand mod netværksproblemer:

  • Hvilken netværksprotokol bruges. Det er bedst at bruge UDP til at overføre en videostream. Jeg formoder, at Loudplay bruger TCP, selvom jeg ikke ved det med sikkerhed. Men du så testresultaterne.
  • Er støjbestandig kodning implementeret? (FEC - Forward Error Correction, også kendt som redundans). Måden den tilpasser sig til pakketab er også vigtig. Som vi har set, afhænger kvaliteten af ​​billedet væsentligt af implementeringen.
  • Hvordan bitrate tilpasning er konfigureret. Hvis tjenesten redder situationen primært med bitrate, har dette en stærkere effekt på billedet. Nøglen til succes er den delikate balance mellem bitrate-manipulation og redundans.
  • Hvordan efterbehandling er sat op. Hvis der opstår problemer, nulstilles rammerne enten, gendannes eller samles igen med fragmenter af gamle rammer.
  • Nærhed af servere til spillere og hardware strøm også væsentligt påvirke kvaliteten af ​​spillet, men dette gælder også for et ideelt netværk. Hvis ping til serverne er for højt, vil du ikke være i stand til at spille komfortabelt, selv på et ideelt netværk. Vi eksperimenterede ikke med ping i denne undersøgelse.

Som lovet, her er linket til rå videoer fra forskellige tjenester i alle tilfælde.

Kilde: www.habr.com

Tilføj en kommentar