Pilve mängud: 5 pilvemänguteenuse stressitest halbade internetiühendustega

Umbes aasta tagasi avaldasin ma artikli „Pilve mängud: teenuste võimaluste hindamine nõrkade arvutite mängimiseks esmakäeliselt”. Artiklis analüüsiti erinevate teenuste plusse ja miinuseid nõrkade arvutite jaoks. Mängimise käigus testisin ma iga teenust ja jagasin lõpuks oma üldisi muljeid.

Selliste ja teiste sarnaste artiklite kommentaarides jagasid lugejad sageli oma muljeid erinevate mänguteenuste kohta. Tihti leidus vastandlikke arvamusi sama teenuse kohta. Mõnel on kõik täiuslik, teistel aga tekib mängimisel viivitusi ja freeze'e. Siis tekkis mul idee hinnata nende teenuste töö kvaliteeti erinevates tingimustes — alates ideaalsetest kuni kohutavatega. Jutt käib võrgu kvaliteedist, sest kaugel pole kõikidel kasutajatel kiire ja probleemideta ühendus, eks? Kokkuvõttes on allpool teenuste hindamine, simuleerides võrgu erinevat töö kvaliteeti.

Mis probleem siis on?

Nagu eespool mainitud — ühendus. Täpsemalt — mängu käigus pakettide kaotamine. Mida suuremad kaotused, seda rohkem probleeme mängijal, seda vähem on tal mängust rõõmu. Harva on kellegil ideaalne ühendus nagu kiudoptiline ühendus seadmeni, samas kui see on pühendatud, mitte mitme korteri elaniku vahel jagatud internet.

Teabe jaoks — 25 Mbit/s ühenduse kiirusel on 1 raam/eetri edastamiseks vajalik 40-50 andmepaketti. Mida rohkem pakette kaob, seda halvemaks pilt muutub ja seda rohkem on märgatavad viivitused ja külmumishetked. Eriti raskete juhtumite korral muutub mängimine lihtsalt võimatuks.

Muidugi ei saa pilveteenus mõjutada kasutaja kanali laiust ja stabiilsust (kuigi oleks tore, kui saaks). Kuid erinevad lahendused võivad siiski aidata sideprobleemidega toime tulla. Millised teenused saavad probleemiga kõige paremini hakkama — näeme allpool.

Mida täpselt võrreldakse?

Tavaline PC (Intel i3-8100, GTX 1060 6 GB, 8 GB RAM), GeForce Now (Venemaa versioon GFN Moskvas asuvate serveritega), Loudplay, Vortex, Playkey, Stadia. Kõikidel teenustel, välja arvatud Stadia, uurime „Küborgi” mängukogemust. Google Stadia ei pakkunud selle artikli kirjutamise ajal seda mängu, seega pidime testima teist — „Odüsseiat”.

Millised on testimise tingimused ja metoodika?

Testime Moskvas. Teenusepakkuja — MGTS, pakett 500 Mbit/s, kaabelühendus, mitte WiFi. Graafikasätete kvaliteet teenustes on vaikimisi, eraldusvõime — FullHD.

Programmi abil Clumsy simuleerime võrguprobleeme, nimelt pakkaid erinevat liiki ja mahtu.

Ühtlased üksikvõrgu kaod. See on olukord, kus kaob vaid 1 pakett, ja kaod jaotuvad enam-vähem ühtlaselt. Näiteks ühtlane 10% kaotus tähendab, et 100 paketist kaob iga kümnes, kuid alati ainult 1 pakett. Probleem ilmneb tavaliselt siis, kui on moonutusi (katkestusi) kliendi ja serveri vahel.

Testime ühtlasi kaotusi 5%, 10%, 25%.

Ebavõrdsed massilised kaod, kui mingil hetkel kaob järjestikku 40–70 paketti. Sellised kaotused tekivad kõige sagedamini juhtmevõrgu seadmete (ruuteri jms) probleemide tõttu kasutaja või teenusepakkuja juures. Need võivad olla seotud ka võrgu seadmete pöörlemise ületamisega sideühenduses 'kasutaja — server'. Paketti kaotused võivad põhjustada ka paksude seintega WiFi. Juhtmevaba võrgu koormus suurte seadmete arvu tõttu on veel üks põhjus, mis on eriti iseloomulik kontoritele ja korterelamutele.

Testime ebaühtlasi kaotuseid 0,01%, 0,1%, 0,5%.

Allpool analüüsin kõiki neid juhtumeid ning lisan videovõrdluse arusaadavuse huvides. Artikli lõpus annan lingi kõigi teenuste ja juhtumite tooredele, monteerimata videomängudele — seal saab üksikasjalikumalt uurida artefakte ning tehnilist teavet (kõigis teenustes, välja arvatud Stadia, on salvestatud tehnilise konsooli andmed; Stadia puhul ei leidnud selliseid andmeid).

Lähme!

Allpool on 7 stsenaariumi stressitestid ja ajatempli videod (video on sama, et igat punkti mugavamalt vaadata, alustame vajalikust hetkest). Postituse lõpus on iga teenuse originaalsalvestised. Video tegemisel aitas mind hea sõber, kellele suur aitäh!

Stsenaarium nr 1. Ideaalsed tingimused. Null kaod võrgus

Kõik on just nii, nagu peaks olema ideaalses maailmas. Suhtlusprobleeme pole, katkestusi ei esine, segajaid pole, teie juurdepääsupunkt on interneti valguslähde. Sellistes soojades tingimustes näitavad peaaegu kõik testimise osalejad end igati väärikaid.

PC

Igas stsenaariumis kasutasime PC-st mängu kaadreid kui mõõdikut. On selge, et võrgu kvaliteet sellele ei mõjuta, mäng käivitub PC-l lokaalselt. Need kaadrid vastavad küsimusele "kas mängides pilves tuntakse erinevust võrreldes oma PC-ga mängimisega". Ideaalses keskkonnas meie puhul — enamus teenustest ei tunne erinevust. Alates siit ei hakka me PC-st rohkem kirjutama, pidage lihtsalt meeles, et see on olemas.

GeForce Now

Kõik on hästi, pilt on terav, protsess kulgeb sujuvalt, ilma lag-deta.

Vortex

Vortex rikub meie ideaalset maailma. Esimesest hetkest alates tekkisid probleemid — pilt on kehvem kui kõik teised, pluss on hästi nähtavad "pidurdused". Võimalik probleem on, et mänguserverid asuvad Moskvast kaugel ning materjal mänguserverites näib olevat nõrgem ja FullHD ei toimi hästi. Kõikides testides osutus Vortex halvaks. Kui kellelgi on olnud positiivne kogemus Vortexiga, kirjutage kommentaarides, jagage, kust kohast mängisite ja kui hästi kõik läks.

Playkey

Kõik on suurepärane, just nagu kohalikul PC-l. Nähtavaid probleeme, nagu framerate kukkumine, lags jne, ei ole.

Loudplay

Teenuseid näitab suurepärast pilti, nähtavaid probleeme pole.

Stadia

Google'i mänguteenused töötavad suurepäraselt, hoolimata sellest, et tal ei ole servereid Venemaal, ja tegelikult ei tööta Stadia Venemaal ametlikult. Sellegipoolest, kõik on hästi. Kahju, et mängimise ajal ei olnud Stadial "The Witcherit", aga mis teha, valisime "Odyssey" — ka nõudlik, samuti mehe kohta, kes raiub inimesi ja loomi.

Skenaar 2. Ühtlased kaotused 5%

Selles testis kaob 100 paketi seast umbes iga 20. Üksikute kaadrisuurendamiseks on vaja 40-50 paketti.

GeForce Now

Nvidia teenuse puhul on kõik korras, probleeme pole. Pilt on veidi udum, võrreldes Playkeyga, kuid „Witcher“ on endiselt mängitav.

Vortex

Siin on olukord veel hullemaks muutunud. Miks, ei ole päris selge, tõenäoliselt ei ole tagavaraarvestust ette nähtud või see on minimaalne. Tagavaraarvestus on häirekindel koodimine edastatavate andmete jaoks (FEC — Forward Error Correction). See tehnoloogia taastab andmeid osalise kadu korral, mis on põhjustatud võrgu probleemidest. Selle rakendamine ja seadistamine võib toimuda erinevalt ning kui vaadata tulemusi, siis Vortexi loojaid ei ole selles osas edenenud. Isegi väikeste püsikadudega ei ole mängimine võimalik. Subsequent katsetel lihtsalt „suri“ Vortex.

Playkey

Kõik on hästi, erilist erinevust ideaaltingimustega ei ole. Võib-olla aitab asjaolu, et ettevõtte serverid asuvad ka Moskvas, kust katseid viidi läbi. Ja võib-olla on ka eespool mainitud tagavaraarvestus paremini seadistatud.

Loudplay

Teenus muutus äkki mängitavaks, hoolimata suhteliselt väikestest pakettidest. Mis võib olla probleem? Eeldan, et Loudplay töötab TCP-protokolliga. Sel juhul, kuni paketi vastuvõtmise kinnitus pole saadud, ei saadeta teisi pakette; süsteem ootab kinnitust kohaletoimetamise kohta. Seega, kui pakk kaob, ei ole ka kohaletoimetamise kinnitust ning uusi pakette ei saadeta, pilt seisab paigal, lugu lõppes.

Aga kui kasutada UDP-d, ei ole paketi vastuvõtmise kinnitust vaja. Tundub, et kõik teised teenused, välja arvatud Loudplay, kasutavad UDP-protokolli. Kui see pole nii, palun parandage mind kommentaarides.

Stadia

Kõik on mängitav. Vahel pildid pikseliseeruvad, esinevad minimaalsed latentsusviivitused. Võimalik, et tõrkeresistentsus ei tööta ideaalselt, seega on üldisel voolul veidi artefakte.

Stsenaarium nr 3. Ühtlane kadumine 10%

Kaotame iga kümnenda paki sajast. See on juba väljakutse teenustele. Selliste kaotustega tõhusalt hakkama saamiseks on vaja taastamise ja/või kadunud andmete uuesti saatmise tehnoloogiaid.

GeForce Now

Geforce'il on väiksed videovoo kvaliteedi langused. Tundub, et GFN reageerib võrgu probleemidele, püüdes neid vähendada. Teenus vähendab bitikiirus, st andmete edastamiseks vajalike bittide arvu. Nii üritab see alandada mängitava võrgu koormust, mis tema arvates ei ole piisavalt kvaliteetne, ja säilitada stabiilset ühendust. Stabiilsuse osas pole tõepoolest kahtlusi, kuid videokvaliteet kannatab märgatavalt. Näeme märkimisväärset pikseldumist. Kuna simuleerimine eeldab pidevat 10% pakettide kadu, siis bitikiiruse vähendamine ei aita eriti, olukord ei parane.

Tõelises elus on pilt tõenäoliselt mitte stabiilselt halb, vaid pidevalt muutuv. Kadu on suurenenud — pilt on udune; kadude vähenemine — pilt taastub normaalsesse ja nii edasi. See ei toeta mängukogemust, muidugi.

Playkey

Erinevaid probleeme pole. Tõenäoliselt tuvastab algoritm võrguprobleemid, määrab kaotuse taseme ja paneb rohkem rõhku ülekandele kui andmevoo vähendamisele. Tulemuseks on see, et 10% ühtlastest kaotustest ei muuda pildi kvaliteeti praktiliselt, kasutaja tõenäoliselt selliseid kaotusi ei märka.

Loudplay

Ei tööta, see lihtsalt ei käivitu. Edasiste testide käigus kordus olukord. Kui hinnata, siis see teenus ei kohandu võrguprobleemidega kuidagi. Võib-olla on syüdlane TCP-protokoll. Iga väiksem kaotus paralyseeris teenuse täielikult. Loomulikult ei ole see päriselus väga praktiline.

Vortex

Samuti on suured probleemid. Sellistes tingimustes ei saa mängida, kuigi pilt on veel olemas ja tegelane jätkab jooksu, tõsi, järskudega. Arvan, et asi on jälle halval rakendamisel või puuduvates ülekannetes. Paketid kaovad sageli ja ei taastu kuidagi. Lõpuks langeb pildi kvaliteet mängitavusest välja.

Stadia

Kahjuks on siin kõik halvasti. Voogude katkestusi esineb, mistõttu ekraanil toimuvad sündmused on katkendlikud ja mängimine on äärmiselt keeruline. Võib arvata, et probleem on ilmunud, nagu ka Vortexi puhul, minimaalsete ülekatteta või selle puudumise tõttu. Konsulteerisin mõne tuttavaga, kes on 'teemas,' ja nad ütlesid, et Stadia ootab tõenäoliselt täieliku kaadrikogu lõpuleviimist. Erinevalt GFN-ist ei püüa ta olukorda päästa täieliku bitikiirusel langetamisega. Tulemusena pole artefakte, kuid esinevad külmumisajad ja viivitused (GFN-i puhul seevastu on külmumis- ja viivitushetked vähem, kuid madala bitikiirusel on pilt täiesti ebaatraktiivne).

Ka teised teenused ei paista olevat ootamas täielikku kaadrikogu, asendades kaduma läinud osa vana kaadri fragmendiga. See on hea lahendus, enamikul juhtudel ei märka kasutaja petmist (sekundis vahetub 30+ kaadrit), kuigi mõnikord võivad tekkida artefaktid.

Skeem #4. Ühtlased kadude 25%

Iga neljas pakk kaob ära. See muutub üha hirmsamaks ja huvitavamaks. Üldiselt on sellise „aukliku” ühenduse korral normaalne pilves mängimine vaevalt võimalik. Kuigi mõned võrdluses osalejad saavad hakkama, kuigi mitte ideaalselt.

GFN

Probleemid on juba üsna märgatavad. Pilt on pikseliseeritud ja udune. Mängida on ikka veel võimalik, kuid see ei ole enam üldse see, mida GFN alguses pakkus. Ja kindlasti mitte see, kuidas ilusaid mänge mängida tuleks. Ilu on juba märkamata.

Playkey

Mängimise protsess kulgeb hästi. Sujuvus on olemas, kuigi pilt veidi kannatab. Muide, vasakus ülanurgas on numbrid, kui palju kaotatud pakette taastatakse. Nagu näeme, taastatakse 96% pakettidest.

Loudplay

Ei käivitunud.

Vortex

Mängida pole võimalik isegi väga suure soovi korral, friisid (pildi seiskamine, videovooga jätkamine uue fragmentiga) on veelgi silmatorkavamad.

Stadia

Teenust on praktiliselt võimatu mängida. Põhjused on juba eespool nimetatud. Oodatakse kaadri kogumist, üleminek on minimaalne, nii suurte kaotustega ei piisa.

Stsenaarium nr 5. Ebaühtlased kaotused 0,01%.

10 000 pakettist kaob 1 kord 40-70 paketti järjest. See tähendab, et kaotame umbes 1 iga 200 kaadri kohta. See juhtub siis, kui võrgu seadme puhverdus on täis ja kõik uued paketid lihtsalt visatakse (droppimine), kuni puhverdus vabastatakse. Kõik võrreldavad osalised, välja arvatud Loudplay, on selliseid kaotusi mingil määral käsitlenud.

GFN

Pilt on kaotanud pisut kvaliteeti, muutus veidi uduseks, kuid mängitavus on täiesti olemas.

Playkey

Kõik on väga hästi. Pilt on sujuv ja kujutis on hea. Mängida saab ilma probleemideta.

Loudplay

Esimesed paar sekundit oli pilt olemas, tegelane jooksis isegi. Kuid ühendus serveriga kadus peaaegu kohe. Oh see TCP-protokoll. Esimene kaotus lõpetas teenuse kohe.

Vortex

Tavapärased probleemid on märgatavad. Krahhid, viivitused ja kõik see. Sellistes tingimustes oleks mängimine väga keeruline.

Stadia

Mängitav. Märgatavad väikesed langused, pilt mõnikord pikseliseerub.

Scenaar №6. Ebavõrdsed kaotused 0,1%

10 000 pakettist 10 korda kaob 40-70 paketti järjest. Tuleb välja, et kaotame 10 iga 200 kaadri kohta.

Ütlen kohe, et enamiku teenustega on tõsised probleemid. Näiteks on pilt katkendlik, nii et üleliigsus ei aita enam. See tähendab, et üleliigsuse tehnoloogia kasutamisel on positiivne efekt, kuid see on vähene.

Asi on selles, et kasutaja ja mängu tegevustele reageerimise aeg on piiratud — videovool peab olema katkematu. Ülekande kvaliteeti ei saa taastada, hoolimata teenuste pingutustest.

Ilmuvad artefaktid (katse kompenseerida pakettide kaotust, andmeid on puudu) ja pilt tõmbleb.

GFN

Pildi kvaliteet on märgatavalt halvenenud, bitikiirus on selgelt alandatud, ja seda üsna oluliselt.

Playkey

Käib paremini — tõenäoliselt seetõttu, et üleliigsus on hästi seadistatud, lisaks arvutab bitikiirus, et kaotused ei ole väga suured, ja ei muuda pilti pikselituks pudruks.

Loudplay

Ei käivitunud.

Vortex

Käivitati, aga pildi kvaliteet on kohutav. Tõmblused ja allakäigud on väga märgatavad. Sellistes tingimustes mängimine on tõenäoliselt võimatu.

Stadia

Selgelt on tunda viivitusi, mis on selge märk, et ülekande kvaliteedi tagamiseks ei ole piisavalt varu. Pilt jääb seisma, seejärel ilmuvad muud kaadrid, tekib videovoo katkestus. Mängida on võimalik, kui on suur soov ja kalduvus enese piinama.

Skenaar Nr 7. Ebaühtlased kadud 0,5%

10 000 paketti puhul kaob järjest 40–70 paketti 50 korda. Kaotame 50 kaadrit 200-st.

Situatsioon, mida võiks nimetada 'vormiline pi***c'. Teie ruuter teeb veidraid hääli, teenusepakkujal on hädaolukord, juhtmed on närinud hiired, kuid te ikka soovite mängida pilves. Millise teenuse peaksite valima?

GFN

Mängimine on väga keeruline, kui see on üldse võimalik — bitikiirus on oluliselt vähenenud. Kadusid kaadrid, normaalse pildi asemel näeme 'seepi'. Kaadreid ei taastata — taastamiseks ei ole piisavalt teavet. Kui GFN pakub taastamist, siis see, kui agressiivselt teenus püüab bitikiirust päästa, tekitab kahtlust selle valmisolekus varu töötlemiseks.

Playkey

Pildis on moonutusi, see tõmbleb, st eraldi kaadrite elemendid korduvad. On näha, et suur osa "katkisest" kaadrist on taastatud eelmistest tükkidest. See tähendab, et uutest kaadritest leiab vanade kaadrite osi. Kuid pilt on samas enam-vähem selge. Sellega on võimalik mängida, kuid dünaamilistes stseenides, näiteks kakluste ajal, kus on vajalik hea reaktsioon, on keeruline.

Loudplay

Ei käivitunud.

Vortex

Käivitati, aga parem kui ei oleks käivitunud — seda ei saa mängida.

Stadia

Teenust sellistes tingimustes ei saa mängida. Põhjusteks on kaadri koostamise ooteaeg ja nõrk ülekatte tase.

Kes on võitja?

Hinnang on kindlasti subjektiivne. Kommenteerides saab vaielda. Ja kindel esikoht kuulub kohalikele PC-dele. Seda seepärast, et pilveteenused on väga tundlikud võrgu kvaliteedi suhtes, mis on reaalses maailmas väga ebastabiilne, seetõttu jääb oma mängu PC konkurentsist välja. Kuid kui seda mingil põhjusel ei ole, siis vaadake reitingut.

1. Kohalik PC. Oodatult.
2. Playkey
3. GeForce Now
4. Google Stadia
5. Vortex
6. Loudplay

Jätkates, tuletan veel kord meelde, et võrgu probleemidele vastupidavus mängib pilve mängimises peamist rolli:

• Millist võrgu protokolli kasutatakse. Videovoogude edastamiseks on kõige parem kasutada UDP-d. Kahtlustan, et Loudplay kasutab TCP-d, kuigi see ei ole mulle kindel. Kuid testimistulemusi olete näinud.
• Kas on rakendatud häirekindlat kodeeringut? (FEC - edasise vea parandamine, see on ka liigkood.) Samuti on oluline selle kohandamise meetod pakettide kadude suhtes. Nagu me nägime, sõltub pildi kvaliteet sellest oluliselt.
• Kuidas on seadistatud bitikiirusetoomise kohandamine? Kui teenus pääseb esmajärjekorras bitikiirusest, mõjutab see rohkem pilti. Edu hea tasakaalu tagamiseks on õrn tasakaal bitikiiruse manipuleerimiste ja liigkoodide vahel.
• Kuidas on seadistatud pärast töötlemine? Probleemide korral loobitakse kas kaadrid, taastatakse need või täiendatakse vanade kaadrifragmentidega.
• Serverite lähedus mängijale ja riistvara võimekus mõjutavad samuti mängu kvaliteeti, kuid see kehtib ka ideaalse võrgu kohta. Kui serverite ping on liiga kõrge, ei saa isegi ideaalses võrgus mugavalt mängida. Antud uuringus me pingi osas katseid ei teinud.

Nagu lubasin, siin on link toorvideoid erinevatest teenustest kõigis juhtumites.

Allikas: habr.com