Skyspilling: stresstest 5 skyspilltjenester med dårlig internett

Skyspilling: stresstest 5 skyspilltjenester med dårlig internett

For et år siden publiserte jeg en artikkel "Skyspilling: førstehåndsvurdering av funksjonene til tjenester for å spille på svake PCer". Den analyserte fordeler og ulemper med ulike tjenester for skyspilling på svake PC-er. Jeg testet hver tjeneste under spillet og delte mitt helhetsinntrykk.

I kommentarene til denne og andre lignende artikler delte leserne ofte sine inntrykk av ulike spilltjenester. Det var ofte motstridende meninger om det samme. For noen er alt perfekt, men for andre kan de ikke spille på grunn av forsinkelser og fryser. Så fikk jeg ideen om å vurdere kvaliteten på disse tjenestene under forskjellige forhold – fra ideelle til forferdelige. Vi snakker om kvaliteten på nettverk, fordi brukeren ikke alltid kan skryte av en rask og problemfri kommunikasjonskanal, ikke sant? Generelt ligger under kuttet en vurdering av tjenester med simulering av forskjellig kvalitet på nettdrift.

Hva er problemet uansett?

Som nevnt ovenfor - som en sammenheng. Mer presist, i tap av pakker under spillet. Jo høyere tap, jo flere problemer spilleren har, jo mindre fornøyd er han med spillet. Men det er sjelden at noen har en ideell kommunikasjonskanal som fiberoptikk til enheten, og med et dedikert Internett i stedet for delt mellom alle beboerne i en bygård.

For referanse, med en tilkoblingshastighet på 25 Mbit/s, trengs 1-40 datapakker for å overføre 50 ramme/ramme. Jo flere pakker som går tapt, jo lavere kvalitet blir bildet, og jo mer merkbare forsinkelser og fryser er. I spesielt alvorlige tilfeller blir det rett og slett umulig å spille.

Naturligvis kan ikke skytjenesten i seg selv på noen måte påvirke bredden og stabiliteten til brukerens kanal (selv om det ville være flott, selvfølgelig). Men det er mulig å se for seg ulike måter å utjevne kommunikasjonsproblemer. Vi vil se nedenfor hvilke tjenester som takler problemet best.

Hva er det egentlig vi sammenligner?

Vanlig PC (Intel i3-8100, GTX 1060 6 GB, 8 GB RAM), GeForce Now (den russiske versjonen GFN med servere i Moskva), høyt spill, Vortex, playkey, stadioner. På alle tjenester unntatt Stadia studerer vi kvaliteten på spillet i The Witcher. Google Stadia hadde ikke dette spillet i skrivende stund, så jeg måtte teste et annet - Odyssey.

Hva er testbetingelsene og metodikken?

Vi tester fra Moskva. Leverandør - MGTS, takst 500 Mbit/s, kabeltilkobling, ikke WiFi. Vi setter innstillingene for grafikkkvalitet i tjenester til standard oppløsning – FullHD.

Bruke programmet Klønete Vi simulerer nettverksproblemer, nemlig tap av pakker av ulike typer og størrelser.

Ensartede enkelttap. Dette er når kun 1 pakke går tapt og tapene fordeles mer eller mindre jevnt. Et ensartet tap på 10 % betyr altså at av 100 pakker går hver 10. pakke tapt, men alltid bare 1 pakke. Problemet manifesterer seg vanligvis når det er forvrengning (skjerming) på kanalen fra klienten til serveren.

Vi tester enhetlige tap på 5 %, 10 %, 25 %.

Ujevne massetap, når 40-70 pakker på rad til enhver tid går tapt. Slike tap oppstår oftest når det er problemer med nettverksutstyret (rutere osv.) til brukeren eller leverandøren. Kan være assosiert med bufferoverløp av nettverksutstyr på bruker-server kommunikasjonslinjen. WiFi med tykke vegger kan også forårsake slike tap. Overbelastning av det trådløse nettverket på grunn av tilstedeværelsen av et stort antall enheter er en annen årsak, veldig typisk for kontorer og leilighetsbygg.

Vi tester ujevne tap på 0,01 %, 0,1 %, 0,5 %.

Nedenfor analyserer jeg alle disse sakene og legger ved en videosammenligning for klarhetens skyld. Og på slutten av artikkelen gir jeg en lenke til rå, uredigerte spillvideoer fra alle tjenester og tilfeller - der kan du se på artefaktene mer detaljert, samt teknisk informasjon (i alle tjenester unntatt Stadia, data fra de tekniske konsollen er tatt opp; Stadia fant ikke slike).

La oss gå!

Nedenfor er 7 stresstestscenarier og en video med tidsstempler (videoen er den samme, for enkelhets skyld på hvert punkt visningen starter fra rett øyeblikk). Helt på slutten av innlegget er de originale videoene for hver av tjenestene. En god venn hjalp meg med å lage videoen, som jeg takker ham for!

Scenario #1. Ideelle forhold. Null tap i nettverket

Alt er som det skal være i en ideell verden. Det er ingen tilkoblingsproblemer, ikke et eneste brudd, ingen forstyrrelser, tilgangspunktet ditt er Internetts fyrtårn. Under slike drivhusforhold presterer nesten alle testdeltakerne bra.


PC

For hvert scenario tok vi opptak fra PC-spillet som referanse. Det er tydelig at kvaliteten på nettverket ikke påvirker det på noen måte; spillet kjører på PC-en lokalt. Tilstedeværelsen av disse rammene svarer på spørsmålet "er det en forskjell når du spiller i skyen sammenlignet med å spille på din PC." Under ideelle forhold, i vårt tilfelle, oppleves dette ikke av de fleste tjenester. Vi vil ikke skrive noe om PC-en nedenfor, bare husk at den eksisterer.

GeForce nå

Alt er bra, bildet er klart, prosessen går greit, uten friser.

Vortex

Vortex ødelegger vår ideelle verden. Han begynte umiddelbart å få problemer - bildet var verre enn alle de andre, pluss at "bremsene" var tydelig synlige. Et mulig problem er at spillserverne er plassert langt fra Moskva, pluss at maskinvaren på spillserverne ser ut til å være svakere og takler ikke FullHD godt. Vortex presterte dårlig i alle tester. Hvis noen har en positiv opplevelse av å spille med Vortex, skriv i kommentarfeltet, del hvor du spilte fra og hvor bra alt ble.

playkey

Alt er bra, akkurat som på en lokal PC. Synlige problemer som fryser, etterslep, etc. Nei.

høyt spill

Tjenesten viser et utmerket bilde, det er ingen synlige problemer.

stadioner

Spilltjenesten fra Google fungerer perfekt til tross for at den ikke har servere i den russiske føderasjonen, og generelt fungerer ikke Stadia offisielt i Russland. Men alt er bra. Det er selvfølgelig synd at «The Witcher» ikke var tilgjengelig på Stadia på tidspunktet for spillet, men hva kan du gjøre, de tok «Odyssey» – også krevende, også om en mann som hakker opp mennesker og dyr.

Scenario nr. 2. Ensartet tap 5 %

I denne testen, av 100 pakker, går omtrent hver 20. tapt. La meg minne deg på at for å gjengi én ramme trenger du 40-50 pakker.


GeForce nå

Tjenesten fra Nvidia er bra, ingen problemer. Bildet er litt mer uskarpt enn Playkeys, men The Witcher er fortsatt spillbart.

Vortex

Det var her ting ble enda verre. Hvorfor er ikke helt klart; mest sannsynlig er redundans ikke gitt eller den er minimal. Redundans er støybestandig koding av videresendte data (FEC - Forward Error Correction). Denne teknologien gjenoppretter data når den delvis går tapt på grunn av nettverksproblemer. Det kan implementeres og konfigureres på forskjellige måter, og etter resultatene å dømme, lyktes ikke skaperne av Vortex med dette. Du vil ikke kunne spille selv med små tap. Under påfølgende tester "døde Vortex ganske enkelt."

playkey

Alt er bra, det er ingen vesentlig forskjell fra ideelle forhold. Kanskje det hjelper at selskapets servere er lokalisert i Moskva, hvor testene ble utført. Vel, kanskje den ovennevnte redundansen er bedre konfigurert.

høyt spill

Tjenesten ble plutselig uspillbar, til tross for relativt lave pakketap. Hva kan være galt? Jeg vil anta at Loudplay fungerer med TCP-protokollen. I dette tilfellet, mens det ikke er noen bekreftelse på mottak av pakken, sendes ingen andre pakker, systemet venter på bekreftelse på levering. Følgelig, hvis en pakke går tapt, vil det ikke være noen bekreftelse på leveringen, nye pakker vil ikke bli sendt, bildet blir tomt, slutten av historien.

Men hvis du bruker UDP, vil bekreftelse på mottak av pakken ikke være nødvendig. Så langt det kan bedømmes, bruker alle andre tjenester unntatt Loudplay UDP-protokollen. Hvis dette ikke er tilfelle, vennligst korriger meg i kommentarfeltet.

stadioner

Alt er spillbart. Noen ganger blir bildet pikselert og det er minimale responsforsinkelser. Kanskje fungerer ikke støyimmunkodingen perfekt, derav de mindre artefaktene når hele strømmen er spillbar.

Scenario nr. 3. Ensartet tap 10 %

Vi taper hver 10. pakke per hundre. Dette er allerede en utfordring for tjenester. For effektivt å håndtere slike tap, trengs teknologier for å gjenopprette og/eller sende tapte data på nytt.


GeForce nå

GeForce opplever små fall i videostrømkvaliteten. Så vidt vi kan se, svarer GFN på nettverksproblemer ved å prøve å dempe dem. Tjenesten reduserer bithastigheten, det vil si antall biter for dataoverføring. På denne måten prøver han å redusere belastningen på det han mener er et utilstrekkelig høykvalitets nettverk og opprettholde en stabil forbindelse. Og det er egentlig ingen spørsmål om stabilitet, men videokvaliteten lider merkbart. Vi ser betydelig pikselering av bildet. Vel, siden modelleringen forutsetter et konstant tap på 10% av pakkene, hjelper det egentlig ikke å redusere bithastigheten, situasjonen går ikke tilbake til det normale.

I det virkelige liv vil bildet mest sannsynlig ikke være konsekvent dårlig, men flytende. Tapene økte - bildet ble uskarpt; tapene ble redusert - bildet gikk tilbake til det normale, og så videre. Dette er selvfølgelig ikke bra for spillopplevelsen.

playkey

Det er ingen spesielle problemer. Sannsynligvis oppdager algoritmen problemer på nettverket, bestemmer nivået på tap og fokuserer mer på redundans i stedet for å redusere bithastigheten. Det viser seg at med 10% ensartede tap, forblir bildekvaliteten praktisk talt uendret, det er usannsynlig at brukeren vil legge merke til slike tap.

høyt spill

Det fungerer ikke, det startet bare ikke. Under ytterligere tester gjentok situasjonen seg. Så langt det kan bedømmes, tilpasser ikke denne tjenesten seg til nettverksproblemer på noen måte. Kanskje TCP-protokollen har skylden. Det minste tap vil lamme tjenesten fullstendig. Ikke veldig praktisk for det virkelige liv, selvfølgelig.

Vortex

Også store problemer. Du kan ikke spille under slike forhold, selv om bildet fortsatt er der og karakteren fortsetter å løpe, om enn i rykk. Jeg tror det handler om den samme dårlig implementerte eller manglende redundansen. Pakker går ofte tapt og kan ikke gjenopprettes. Som et resultat degraderes bildekvaliteten til et nivå som ikke kan spilles.

stadioner

Dessverre er alt dårlig her. Det er et brudd i flyten, og det er grunnen til at hendelser på skjermen skjer i rykk, noe som gjør det ekstremt vanskelig å spille. Det kan antas at problemet oppsto, som i tilfellet med Vortex, på grunn av minimal eller ingen redundans. Jeg rådførte meg med et par venner som er "in the know", de sa at Stadia mest sannsynlig venter på at rammen skal være ferdig montert. I motsetning til GFN, prøver den ikke å redde situasjonen ved å senke bithastigheten fullstendig. Som et resultat er det ingen artefakter, men fryser og lags vises (GFN har tvert imot færre friser/lags, men på grunn av den lave bithastigheten er bildet helt uattraktivt).

Andre tjenester ser heller ikke ut til å vente på at rammen er ferdig montert, og erstatter den manglende delen med et fragment av den gamle rammen. Dette er en god løsning, i de fleste tilfeller vil brukeren ikke legge merke til fangsten (30+ bilder endres per sekund), selv om noen ganger artefakter kan forekomme.

Scenario nr. 4. Ensartet tap 25 %

Hver fjerde pakke går tapt. Det blir mer og mer skummelt og interessant. Generelt, med en slik "lekk" tilkobling, er vanlig spilling i skyen knapt mulig. Selv om noen sammenligningsdeltakere takler det, om enn ikke perfekt.


GFN

Problemene er allerede ganske merkbare. Bildet er pikselert og uskarpt. Du kan fortsatt spille, men det er ikke i det hele tatt det GFN tilbød helt i begynnelsen. Og det er definitivt ikke hvordan vakre spill skal spilles. Skjønnhet kan ikke lenger verdsettes.

playkey

Spillet går bra. Det er jevnhet, selv om bildet lider litt. Forresten, øverst til venstre er tallene som viser hvor mange tapte pakker som er gjenopprettet. Som du kan se, er 96% av pakkene gjenopprettet.

høyt spill

Startet ikke.

Vortex

Du kan ikke spille selv med et veldig sterkt ønske, fryser (frysing av bildet, gjenoppta videostrømmen fra et nytt fragment) er enda mer merkbare.

stadioner

Tjenesten er praktisk talt uspillbar. Årsakene er allerede nevnt ovenfor. Venter på at rammen skal settes sammen, er redundans minimal, med slike tap er det ikke nok.

Scenario #5. Ujevnt tap 0,01 %.

For hver 10 000 pakker går 1-40 pakker tapt på rad. Det vil si at vi mister omtrent 70 av 1 bilder. Det skjer når bufferen til en nettverksenhet er full og alle nye pakker ganske enkelt forkastes (slippes) til bufferen er frigjort. Alle sammenligningsdeltakere, unntatt Loudplay, jobbet bort slike tap i en eller annen grad.


GFN

Bildet har mistet litt kvalitet og har blitt noe overskyet, men alt er ganske spillbart.

playkey

Alt er veldig bra. Bildet er jevnt, bildet er bra. Du kan spille uten problemer.

høyt spill

De første sekundene var det et bilde, helten løp til og med. Men forbindelsen med serveren ble mistet nesten umiddelbart. Å, denne TCP-protokollen. Det aller første tapet kuttet ned tjenesten ved røttene.

Vortex

De vanlige problemene observeres. Friser, halter og det er alt. Det ville være veldig vanskelig å spille under slike forhold.

stadioner

Spillbar. Små nedtrekk er merkbare, bildet er noen ganger pikselert.

Scenario nr. 6. Ujevne tap 0,1 %

For 10 000 pakker går 10-40 pakker på rad tapt 70 ganger. Det viser seg at vi mister 10 av 200 bilder.

Jeg vil si med en gang at de fleste tjenester har merkbare problemer. For eksempel ryker bildet, så redundans hjelper ikke her. Det vil si at det er en positiv effekt ved bruk av redundansteknologi, men den er liten.

Faktum er at reaksjonstiden på brukerhandlinger og selve spillet er begrenset, videostrømmen må være kontinuerlig. Det er umulig å gjenopprette strømmen til akseptabel kvalitet til tross for tjenestenes innsats.

Artefakter vises (et forsøk på å kompensere for tap av pakker, det er ikke nok data) og bilderykk.


GFN

Kvaliteten på bildet har falt merkbart, bithastigheten er tydelig redusert, og ganske betydelig.

playkey

Det takler det bedre - sannsynligvis fordi redundansen er godt konfigurert, pluss at bitrate-algoritmen vurderer tap som ikke veldig høye og gjør ikke bildet til et pikselert rot.

høyt spill

Startet ikke.

Vortex

Det startet, men med forferdelig bildekvalitet. Rykk og innsynkning er veldig merkbare. Det er knapt mulig å spille under slike forhold.

stadioner

Rykk er godt synlige, dette er en klar indikator på at det ikke er nok redundans. Bildet fryser, så vises andre rammer, og videostrømmen brytes. I prinsippet kan du spille hvis du har et stort ønske og en klinisk tendens til selvtortur.

Scenario nr. 7. Ujevne tap 0,5 %

For 10 000 pakker 50 ganger går 40-70 pakker tapt på rad. Vi mister 50 bilder av 200.

En situasjon av klassen "uniformt fucked up". Ruteren din gnister, Internett-leverandøren din er nede, ledningene dine tygges av mus, men du vil fortsatt spille i skyen. Hvilken tjeneste bør du velge?


GFN

Det er allerede veldig vanskelig, om ikke umulig, å spille - bithastigheten har blitt kraftig redusert. Rammer går tapt, i stedet for et normalt bilde ser vi "såpe". Rammer er ikke gjenopprettet - det er ikke nok informasjon for restaurering. Hvis GFN sørger for utvinning i det hele tatt. Måten tjenesten aggressivt prøver å redde situasjonen med bithastigheter, reiser tvil om dens vilje til å jobbe med redundans.

playkey

Det er rammeforvrengning, bildet rykker, det vil si at elementer av individuelle rammer gjentas. Det kan sees at det meste av den "ødelagte" rammen ble gjenopprettet fra deler av den forrige. Det vil si at de nye rammene inneholder deler av de gamle rammene. Men bildet er mer eller mindre tydelig. Du kan kontrollere det, men i dynamiske scener, for eksempel i en kamp, ​​hvor du trenger en god reaksjon, er det vanskelig.

høyt spill

Startet ikke.

Vortex

Det startet, men det ville være bedre å ikke starte - du kan ikke spille det.

stadioner

Tjenesten under slike forhold er uspillbar. Årsakene er behovet for å vente på at rammen skal monteres og dårlig redundans.

Hvem er vinneren?

Vurderingen er selvfølgelig subjektiv. Du kan argumentere i kommentarfeltet. Vel, førsteplassen går selvfølgelig til den lokale PC-en. Det er nettopp fordi skytjenester er ekstremt følsomme for nettverkskvalitet, og denne kvaliteten er ganske ustabil i den virkelige verden, at din egen spill-PC forblir uovertruffen. Men hvis den av en eller annen grunn ikke er der, så se på vurderingen.

  1. Lokal PC. Forventet.
  2. playkey
  3. GeForce nå
  4. Google Stadia
  5. Vortex
  6. høyt spill

Som en konklusjon, la meg igjen minne deg på hva som spiller en viktig rolle i skyspilling når det gjelder motstand mot nettverksproblemer:

  • Hvilken nettverksprotokoll som brukes. Det er best å bruke UDP til å overføre en videostrøm. Jeg mistenker at Loudplay bruker TCP, selv om jeg ikke vet sikkert. Men du så testresultatene.
  • Er støybestandig koding implementert? (FEC - Forward Error Correction, også kjent som redundans). Måten den tilpasser seg til pakketap er også viktig. Som vi har sett, avhenger kvaliteten på bildet betydelig av implementeringen.
  • Hvordan bitrate tilpasning er konfigurert. Hvis tjenesten redder situasjonen først og fremst med bitrate, har dette en sterkere effekt på bildet. Nøkkelen til suksess er den delikate balansen mellom bitratemanipulasjon og redundans.
  • Hvordan etterbehandling er satt opp. Hvis det oppstår problemer, blir rammene enten tilbakestilt, gjenopprettet eller satt sammen med fragmenter av gamle rammer.
  • Nærhet til servere til spillere og maskinvarekraft påvirker også kvaliteten på spillet betydelig, men dette gjelder også for et ideelt nettverk. Hvis ping til serverne er for høyt, vil du ikke kunne spille komfortabelt selv på et ideelt nettverk. Vi eksperimenterte ikke med ping i denne studien.

Som lovet, her er linken til råvideoer fra forskjellige tjenester i alle tilfeller.

Kilde: www.habr.com

Legg til en kommentar