Pilvemängud: stressitest 5 kehva Internetiga pilvemänguteenust

Pilvemängud: stressitest 5 kehva Internetiga pilvemänguteenust

Umbes aasta tagasi avaldasin artikli "Pilvemängud: vahetu hinnang nõrkades arvutites mängimise teenuste võimaluste kohta". See analüüsis nõrkades arvutites pilvemängude erinevate teenuste plusse ja miinuseid. Testisin mängu ajal iga teenust ja jagasin oma üldmuljet.

Selle ja teiste sarnaste artiklite kommentaarides jagasid lugejad sageli oma muljeid erinevatest mänguteenustest. Sama asja kohta oli sageli vastakaid arvamusi. Mõne jaoks on kõik täiuslik, kuid teiste jaoks ei saa nad viivituste ja külmumise tõttu mängida. Siis tekkis mul mõte hinnata nende teenuste kvaliteeti erinevates tingimustes – ideaalsest kohutavani. Me räägime võrkude kvaliteedist, sest kasutaja ei saa alati kiidelda kiire ja tõrgeteta sidekanaliga, eks? Üldiselt on kärbe all teenuste hindamine erineva võrgu toimimise kvaliteedi simulatsiooniga.

Milles ikkagi probleem?

Nagu eespool mainitud - ühendusena. Täpsemalt pakettide kadumises mängu ajal. Mida suuremad on kaotused, seda rohkem on mängijal probleeme, seda vähem on ta mänguga rahul. Kuid harva on kellelgi ideaalne sidekanal (nt fiiberoptiline) seadmega ja spetsiaalne Internet, mitte jagada kortermaja elanike vahel.

Võrdluseks, ühenduse kiirusega 25 Mbit/s on 1 kaadri/kaadri edastamiseks vaja 40-50 andmepaketti. Mida rohkem pakette kaotsi läheb, seda halvemaks muutub pilt ning seda märgatavamad on viivitused ja tardumised. Eriti rasketel juhtudel muutub mängimine lihtsalt võimatuks.

Loomulikult ei saa pilveteenus ise kuidagi mõjutada kasutaja kanali laiust ja stabiilsust (kuigi see oleks muidugi suurepärane). Kuid suhtlusprobleemide tasandamiseks on võimalik ette näha erinevaid viise. Allpool näeme, millised teenused saavad probleemiga kõige paremini toime.

Mida me täpselt võrdleme?

Tavaline arvuti (Intel i3-8100, GTX 1060 6 GB, 8 GB muutmälu), GeForce Now (selle vene versioon Gfn serveritega Moskvas), valju mängu, Pööris, Mänguklahv, Stadia. Kõikides teenustes, välja arvatud Stadia, uurime The Witcheris mängu kvaliteeti. Google Stadial seda mängu kirjutamise ajal ei olnud, seega pidin testima teist – Odysseyt.

Millised on testimise tingimused ja metoodika?

Testime Moskvast. Pakkuja - MGTS, tariif 500 Mbit/s, kaabelühendus, mitte WiFi. Seadsime teenustes graafikakvaliteedi seaded vaikimisi, eraldusvõime – FullHD.

Programmi kasutamine saamatu Simuleerime võrguprobleeme, nimelt erinevat tüüpi ja suurusega pakettide kadumist.

Ühtsed üksikud kaotused. See on siis, kui kaotsi läheb ainult 1 pakett ja kaod jaotuvad enam-vähem ühtlaselt. Seega tähendab ühtlane 10% kadu, et 100 paketist läheb kaotsi iga 10. pakett, kuid alati ainult 1 pakett. Probleem ilmneb tavaliselt siis, kui kanalis kliendilt serverisse on moonutusi (varjestus).

Testime ühtlaseid kadusid 5%, 10%, 25%.

Ebaühtlased massikadud, kui ühel hetkel läheb 40-70 pakki järjest kohe kaotsi. Sellised kaod tekivad enamasti siis, kui kasutaja või teenusepakkuja võrguseadmetega (ruuteritega jne) on probleeme. Võib olla seotud kasutaja-serveri sideliini võrguseadmete puhvri ülevooluga. Ka paksude seintega WiFi võib selliseid kadusid tekitada. Traadita võrgu ummikud suure hulga seadmete olemasolust on veel üks põhjus, mis on väga tüüpiline kontoritele ja kortermajadele.

Testime ebaühtlaseid kadusid 0,01%, 0,1%, 0,5%.

Allpool analüüsin kõiki neid juhtumeid ja lisan selguse huvides video võrdluse. Ja artikli lõpus annan lingi töötlemata, töötlemata mänguvideotele kõigist teenustest ja ümbristest - seal saate üksikasjalikumalt vaadata artefakte, aga ka tehnilist teavet (kõigis teenustes, välja arvatud Stadia, tehnilised andmed konsool on salvestatud; Stadia sellist ei leidnud).

Mine!

Allpool on 7 stressitesti stsenaariumi ja video ajatemplitega (video on sama, mugavuse huvides algab igas punktis vaatamine õigest hetkest). Postituse lõpus on iga teenuse originaalvideod. Hea sõber aitas mul videot teha, mille eest tänan teda!

Stsenaarium nr 1. Ideaalsed tingimused. Null kadu võrgus

Kõik on nii, nagu ideaalmaailmas olema peab. Ühendusprobleeme pole, ühtegi katkestust ega häireid pole, teie pääsupunkt on Interneti majakas. Sellistes kasvuhoonetingimustes esinevad peaaegu kõik testis osalejad hästi.


arvuti

Iga stsenaariumi puhul võtsime võrdluseks kaadrid arvutimängust. On selge, et võrgu kvaliteet ei mõjuta seda kuidagi, mäng jookseb arvutis kohapeal. Nende kaadrite olemasolu vastab küsimusele "kas pilves mängimisel on erinevus arvutis mängimisest." Ideaalsetes tingimustes meie puhul enamik teenuseid seda ei tunneta. Me ei kirjuta allpool arvuti kohta midagi, pidage meeles, et see on olemas.

GeForce Now

Kõik on korras, pilt selge, protsess sujub, ilma friisideta.

Pööris

Vortex rikub meie ideaalset maailma. Tal tekkisid kohe probleemid - pilt oli kehvem kui kõigil teistel, pluss “pidurid” olid selgelt näha. Võimalik probleem on see, et mänguserverid asuvad Moskvast kaugel, lisaks tundub mänguserveritel olevat riistvara nõrgem ja ei saa FullHD-ga hästi hakkama. Vortex toimis kõigis katsetes halvasti. Kui kellelgi on Vortexiga mängides positiivne kogemus, siis kirjutage kommentaaridesse, jagage, kust mängisite ja kui hästi kõik välja kukkus.

Mänguklahv

Kõik on korras, nagu kohalikus arvutis. Nähtavad probleemid, nagu külmutamine, viivitused jne. Ei.

valju mängu

Teenus näitab suurepärast pilti, nähtavaid probleeme pole.

Stadia

Google'i mänguteenus töötab suurepäraselt hoolimata asjaolust, et sellel pole Vene Föderatsioonis servereid ja üldiselt Stadia Venemaal ametlikult ei tööta. Samas on kõik hästi. Kahju muidugi, et “The Witcher” polnud mängu ajal Stadial saadaval, aga mis teha, nad võtsid “Odyssey” – ka nõudliku, ka inimese kohta, kes hakib inimesi ja loomi.

Stsenaarium nr 2. Ühtlane kadu 5%

Selles testis kaob 100 paketist ligikaudu iga 20. Tuletan meelde, et ühe kaadri renderdamiseks on vaja 40-50 paketti.


GeForce Now

Nvidia teenus on korralik, probleeme pole. Pilt on Playkey omast pisut hägusem, kuid The Witcher on siiski mängitav.

Pööris

Siin läks asi veelgi hullemaks. Miks pole täiesti selge; tõenäoliselt koondamist ei pakuta või see on minimaalne. Redundantsus on edastatud andmete mürakindel kodeerimine (FEC – Forward Error Correction). See tehnoloogia taastab andmed, kui need on võrguprobleemide tõttu osaliselt kadunud. Seda saab rakendada ja seadistada erineval viisil ning tulemuste põhjal otsustades Vortexi loojatel see ei õnnestunud. Sa ei saa mängida isegi väikeste kaotustega. Järgnevate katsete käigus Vortex lihtsalt "suri".

Mänguklahv

Kõik on korras, olulist erinevust ideaaltingimustest pole. Võib-olla aitab see, et ettevõtte serverid asuvad Moskvas, kus testid läbi viidi. Noh, võib-olla on ülalmainitud koondamine paremini konfigureeritud.

valju mängu

Teenus muutus ootamatult mängimatuks, vaatamata suhteliselt madalale paketikadudele. Mis võib viga olla? Eeldan, et Loudplay töötab TCP-protokolliga. Sel juhul, kui paki kättesaamise kinnitust pole, teisi pakke ei saadeta, jääb süsteem ootama kohaletoimetamise kinnitust. Sellest tulenevalt paki kadumise korral selle kohaletoimetamise kinnitust ei saa, uusi pakke ei saadeta, pilt jääb tühjaks, loo lõpp.

Kuid kui kasutate UDP-d, pole paketi vastuvõtmise kinnitust vaja. Niipalju kui võimalik hinnata, kasutavad kõik muud teenused peale Loudplay UDP-protokolli. Kui see nii ei ole, parandage mind kommentaarides.

Stadia

Kõik on mängitav. Mõnikord muutub pilt pikslituks ja reageerimisviivitused on minimaalsed. Võib-olla ei tööta müra-immuunkodeering ideaalselt, sellest tulenevad väikesed artefaktid, kui kogu voog on esitatav.

Stsenaarium nr 3. Ühtlane kadu 10%

Kaotame iga 10. paki saja kohta. See on juba teenuste jaoks väljakutse. Selliste kadude tõhusaks lahendamiseks on vaja tehnoloogiaid kadunud andmete taastamiseks ja/või uuesti saatmiseks.


GeForce Now

GeForce'i videovoo kvaliteet on veidi langenud. Niipalju kui võime öelda, reageerib GFN võrguprobleemidele, püüdes neid leevendada. Teenus vähendab bitikiirust, st andmeedastuse bittide arvu. Nii püüab ta vähendada tema hinnangul ebapiisavalt kvaliteetse võrgu koormust ja säilitada stabiilset ühendust. Ja stabiilsuse osas pole tõesti küsimusi, kuid video kvaliteet kannatab märgatavalt. Näeme pildi märkimisväärset pikslitust. Noh, kuna modelleerimine eeldab pidevat 10% pakettide kadumist, siis bitikiiruse vähendamine tegelikult ei aita, olukord ei normaliseeru.

Päriselus ei jää pilt suure tõenäosusega püsivalt halb, vaid hõljuv. Kaod suurenesid - pilt muutus uduseks; kaod vähenesid – pilt normaliseerus jne. See pole mängukogemusele muidugi hea.

Mänguklahv

Erilisi probleeme pole. Tõenäoliselt tuvastab algoritm võrgus probleeme, määrab kadude taseme ja keskendub rohkem koondamisele, mitte bitikiiruse vähendamisele. Selgub, et 10% ühtlase kadu korral jääb pildikvaliteet praktiliselt muutumatuks, kasutaja ei märka selliseid kadusid tõenäoliselt.

valju mängu

See ei tööta, see lihtsalt ei käivitunud. Edasiste katsete käigus kordus olukord. Niipalju kui võib hinnata, ei kohandu see teenus kuidagi võrguprobleemidega. Võib-olla on süüdi TCP-protokoll. Väikseim kaotus halvab teenuse täielikult. Päriselus pole muidugi väga praktiline.

Pööris

Samuti suured probleemid. Sellistes tingimustes mängida ei saa, kuigi pilt on alles ja tegelane jookseb edasi, ehkki jõnksudes. Ma arvan, et see kõik puudutab sedasama halvasti rakendatud või puuduvat koondamist. Paketid lähevad sageli kaotsi ja neid ei saa taastada. Selle tulemusel langeb pildikvaliteet mängimatu tasemeni.

Stadia

Kahjuks on siin kõik halvasti. Voolus on katkestus, mistõttu toimuvad ekraanil olevad sündmused tõmblustena, muutes mängimise äärmiselt keeruliseks. Võib oletada, et probleem tekkis nagu Vortexi puhul minimaalsest koondamisest või selle puudumisest. Pidasin nõu paari tuttavaga, kes ütlesid, et Stadia ootab suure tõenäosusega raami täielikku kokkupanemist. Erinevalt GFN-ist ei püüa see olukorda päästa bitikiiruse täieliku vähendamisega. Selle tulemusena ei esine artefakte, vaid tekivad tardumised ja viivitused (GFN-il on vastupidi vähem friise/lagusid, kuid madala bitikiiruse tõttu on pilt täiesti ebaatraktiivne).

Tundub, et ka teised teenused ei oota raami täielikku kokkupanemist, asendades puuduva osa vana raami fragmendiga. See on hea lahendus, enamikul juhtudel ei märka kasutaja kinnijäämist (30+ kaadrit muutub sekundis), kuigi mõnikord võib esineda artefakte.

Stsenaarium nr 4. Ühtlane kadu 25%

Iga neljas pakett on kadunud. Aina hirmsamaks ja huvitavamaks läheb. Üldiselt on sellise "lekkiva" ühendusega tavaline pilves mängimine vaevalt võimalik. Kuigi mõned võrdluses osalejad saavad hakkama, kuigi mitte ideaalselt.


Gfn

Probleemid on juba üsna märgatavad. Pilt on piksliline ja udune. Mängida saab ikka, aga see pole sugugi see, mida GFN alguses pakkus. Ja kindlasti ei tohiks ilusaid mänge mängida. Ilu ei saa enam hinnata.

Mänguklahv

Mängimine läheb hästi. Siledust on, kuigi pilt kannatab veidi. Muide, üleval vasakul on numbrid, mis näitavad, kui palju kaotatud pakette taastatakse. Nagu näete, taastatakse 96% pakettidest.

valju mängu

Ei hakanud.

Pööris

Te ei saa mängida isegi väga suure soovi korral, külmutamine (pildi külmutamine, videovoo jätkamine uuest fragmendist) on veelgi märgatavam.

Stadia

Teenus on praktiliselt mängimatu. Põhjused on juba eespool mainitud. Oodates raami kokkupanemist, on koondamine minimaalne, selliste kadudega sellest ei piisa.

Stsenaarium nr 5. Ebaühtlane kadu 0,01%.

Iga 10 000 paketi kohta läheb järjest kaotsi 1-40 paketti. See tähendab, et me kaotame umbes 70 kaadrist 1-st. See juhtub siis, kui võrguseadme puhver on täis ja kõik uued paketid lihtsalt visatakse ära (langetatakse), kuni puhver vabaneb. Kõik võrdluses osalejad, välja arvatud Loudplay, töötasid sellised kaotused ühel või teisel määral maha.


Gfn

Pilt on veidi kvaliteeti kaotanud ja veidi häguseks muutunud, kuid kõik on üsna mängitav.

Mänguklahv

Kõik on väga hea. Pilt on sile, pilt on hea. Saate mängida ilma probleemideta.

valju mängu

Esimesed sekundid oli pilt, kangelane isegi jooksis. Kuid ühendus serveriga katkes peaaegu kohe. Oh seda TCP-protokolli. Juba esimene kaotus kärpis teenuse juured.

Pööris

Täheldatakse tavalisi probleeme. Friisid, mahajäämised ja kõik. Sellistes tingimustes oleks väga raske mängida.

Stadia

Mängitav. Väikesed vead on märgatavad, pilt kohati pikslistunud.

Stsenaarium nr 6. Ebaühtlane kahjum 0,1%

10 000 paki puhul läheb 10 korda kaotsi 40-70 pakki järjest. Selgub, et me kaotame 10 kaadrit 200-st.

Ütlen kohe, et enamikul teenustel on märgatavaid probleeme. Näiteks pilt tõmbleb, nii et koondamine siin ei aita. See tähendab, et koondamistehnoloogia kasutamisel on positiivne mõju, kuid see on väike.

Fakt on see, et reaktsiooniaeg kasutaja toimingutele ja mängule endale on piiratud, videovoog peab olema pidev. Vaatamata teenuste jõupingutustele on voogu vastuvõetava kvaliteedi taastamine võimatu.

Ilmuvad artefaktid (püütakse kompenseerida pakettide kadumist, pole piisavalt andmeid) ja pildi tõmblused.


Gfn

Pildikvaliteet on märgatavalt langenud, bitikiirus on selgelt vähenenud ja seda üsna oluliselt.

Mänguklahv

Saab paremini hakkama - ilmselt seetõttu, et liiasus on hästi seadistatud, pluss bitikiiruse algoritm ei arvesta kadusid väga suureks ega muuda pilti piksliliseks jamaks.

valju mängu

Ei hakanud.

Pööris

Algas, aga kohutava pildikvaliteediga. Tõmblused ja vajumised on väga märgatavad. Vaevalt on sellistes tingimustes võimalik mängida.

Stadia

Tõmblused on selgelt nähtavad, see näitab selgelt, et koondamist pole piisavalt. Pilt hangub, seejärel ilmuvad teised kaadrid ja videovoog katkeb. Põhimõtteliselt saate mängida, kui teil on suur soov ja kliiniline kalduvus enesepiinamisele.

Stsenaarium nr 7. Ebaühtlane kahjum 0,5%

10 000 paki puhul 50 korda läheb järjest kaotsi 40-70 paketti. Kaotame 50 kaadrit 200-st.

"Ühtselt perses" klassi olukord. Teie ruuter sädeb, teie Interneti-teenuse pakkuja on maas, hiired närivad teie juhtmeid, kuid soovite ikkagi pilves mängida. Millise teenuse peaksite valima?


Gfn

Seda on juba väga raske, kui mitte võimatu mängida – bitikiirus on kõvasti vähenenud. Raamid on kadunud, tavalise pildi asemel näeme “seep”. Raame ei taastata – taastamiseks pole piisavalt infot. Kui GFN taastumist üldse ette näeb. See, kuidas teenus agressiivselt üritab olukorda bitikiirusega päästa, tekitab kahtlusi tema valmisolekus töötada koondamisega.

Mänguklahv

Esineb kaadri moonutusi, pilt tõmbleb, st korduvad üksikute kaadrite elemendid. On näha, et suurem osa “katkisest” raamist on taastatud eelmise tükkidest. See tähendab, et uued raamid sisaldavad osi vanadest raamidest. Aga pilt on enam-vähem selge. Saate seda juhtida, kuid dünaamilistes stseenides, näiteks kakluses, kus vajate head reaktsiooni, on see raske.

valju mängu

Ei hakanud.

Pööris

See algas, kuid parem oleks mitte alustada - te ei saa seda mängida.

Stadia

Teenus on sellistes tingimustes mängimatu. Põhjusteks on vajadus oodata raami kokkupanemist ja halb koondamine.

Kes on võitja?

Hinnang on muidugi subjektiivne. Võite kommentaarides vaielda. Noh, esimene koht läheb loomulikult kohalikule arvutile. Just seetõttu, et pilveteenused on võrgukvaliteedi suhtes äärmiselt tundlikud ja see kvaliteet on pärismaailmas üsna ebastabiilne, jääb teie enda mänguarvuti konkurentsituks. Aga kui seda mingil põhjusel pole, siis vaadake reitingut.

  1. Kohalik arvuti. Oodatud.
  2. Mänguklahv
  3. GeForce Now
  4. Google Stadia
  5. Pööris
  6. valju mängu

Kokkuvõtteks lubage mul teile veel kord meelde tuletada, mis mängib pilvemängudes võrguprobleemidele vastupidavuse osas suurt rolli:

  • Millist võrguprotokolli kasutatakse. Videovoo edastamiseks on kõige parem kasutada UDP-d. Ma kahtlustan, et Loudplay kasutab TCP-d, kuigi ma ei tea täpselt. Aga sa nägid testi tulemusi.
  • Kas mürakindel kodeerimine on rakendatud? (FEC – edasisuunas veaparandus, tuntud ka kui koondamine). Samuti on oluline viis, kuidas see kohandab pakettide kadu. Nagu nägime, sõltub pildi kvaliteet oluliselt teostusest.
  • Kuidas bitikiiruse kohandamine on konfigureeritud. Kui teenus päästab olukorra eelkõige bitikiirusega, mõjub see pildile tugevamini. Edu võti on õrn tasakaal bitikiirusega manipuleerimise ja koondamise vahel.
  • Kuidas järeltöötlus on seadistatud. Probleemide ilmnemisel raamid kas lähtestatakse, taastatakse või pannakse vanade raamide fragmentidega uuesti kokku.
  • Serverite lähedus mängijatele ja riistvaravõimsus mõjutab oluliselt ka mängu kvaliteeti, kuid see kehtib ka ideaalse võrgu kohta. Kui serverite ping on liiga kõrge, ei saa te isegi ideaalses võrgus mugavalt mängida. Selles uuringus me pingiga ei katsetanud.

Nagu lubatud, on siin link kõikidel juhtudel toorvideod erinevatest teenustest.

Allikas: www.habr.com

Lisa kommentaar