Pilvemängud: stressitest 5 pilvepõhise mänguteenuse kohta halva internetiühenduse tingimustes

Umbes aasta tagasi avaldasin artikli „Pilvemängud: teenuste võimaluste hindamine madala seadme mängimiseks esmakordsest käest". Selles analüüsiti erinevate pilvemängude teenuste plusse ja miinuseid madalate seadmete jaoks. Mängimise käigus testisin iga teenust ja jagasin lõpuks üldmulje.

Selle artikli ja teiste sarnaste artiklite kommentaarides jagasid lugejad sageli muljeid erinevatest mänguteenustest. Tihti esines vastandlikke arvamusi sama teenuse kohta. Kellegil on kõik ideaalne, kellegi jaoks aga mängimine pole võimalik lagide ja hangumiste tõttu. Siis tekkis mul idee hinnata nende teenuste töö kvaliteeti erinevates tingimustes - ideaalsetest kuni kohutavateni. Räägime ühenduse kvaliteedist, sest kaugel sellest, et iga kasutaja saaks kiidelda kiire ja probleemideta ühenduse kanaliga, eks? Kokkuvõttes, allpool on teenuste hindamine, simuleerides erineva kvaliteediga võrgu tööd.

Mis on probleem?

Nagu eelpool mainitud - ühenduse kvaliteedis. Täpsemalt - paketikaotuses mängimise käigus. Mida kõrgemad on kaotused, seda rohkem probleeme on mängijal, seda vähem on ta mänguga rahul. Ja harva kellelgi on ideaalne ühendus nagu kiudoptiline ühendus seadme juurde, kusjuures internet on eraldatud, mitte kõikide korterelamu elanike vahel jagatud.

Teadmiseks - 25 Mbit/s ühenduse kiirusel on ühe kaadri edastamiseks vajalik 40-50 andmepaketti. Mida rohkem pakette kaob, seda madalama kvaliteediga pilt jääb ja seda tugevamini on lagid ja hangumised märgatavad. Erakordselt rasketes olukordades on mängimine lihtsalt võimatu.

Muidugi ei saa pilveteenus kuidagi mõjutada kasutaja kanali laius ega stabiilsust (kuigi see oleks muidugi tore). Kuid siiski on võimalik ette näha erinevaid viise ühendusprobleemide leevendamiseks. Millised teenused tulevad probleemiga kõige paremini toime - seda näeme allpool.

Mida täpselt võrreldakse?

Tavaline PC (Intel i3-8100, GTX 1060 6 GB, 8GB RAM), GeForce Now (oma Venemaa versioon GFN serveritega Moskvas), Loudplay, Vortex, Playkey, Stadia. Kõigil teenustel, välja arvatud Stadia, uurime mängimise kvaliteeti „Witcher". Google Stadial polnud selle artikli kirjutamise ajal seda mängu, seega tuli testida teist - „Odyssey".

Millised on testimise tingimused ja metoodika?

Testime Moskvas. Teenusepakkuja — MGTS, hind 500 Mbit/s, ühendus on kaabel, mitte WiFi. Graafika kvaliteedi seaded teenustes võtame vaikimisi, eraldusvõime — FullHD.

Abiga programmist Clumsy simuleerime võrgu probleeme, nimelt erineva tüübi ja mahuga pakettide kaotust.

Ühtlased üksikud kaotused. See on siis, kui kaob ainult 1 pakett ja kaotused jaotuvad rohkem-vähem ühtlaselt. Nii et ühtlase kaotuse määr 10% tähendab, et 100 paketist kaob iga kümnes, kuid ainult 1 pakett. Probleem ilmneb tavaliselt häirete (ekraanide) tõttu ühenduses kliendi ja serveri vahel.

Testime ühtlasi kaotusi 5%, 10%, 25%.

Ebaühtlased massilised kaotused, kui mingil hetkel kaob korraga 40-70 paketti järjest. Sellised kaotused tekivad kõige sagedamini võrgu seadmete (ruuterite jne) probleemide tõttu kasutaja või teenusepakkuja juures. Need võivad olla seotud võrguseadmete mälupuhvri ülekoormusega, mis on ühenduses "kasutaja — server". WiFi paksude seintega võib samuti põhjustada selliseid kaotusi. Traadita võrgu ülekoormus suure hulga seadmete tõttu on veel üks põhjus, mis on väga iseloomulik kontoritele ja mitme perega elumajadele.

Testime ebaühtlasi kaotusi 0,01%, 0,1%, 0,5%.

Allpool analüüsin kõiki neid juhtumeid ja lisan videovõrdluse selguse huvides. Artikli lõpus annan lingi toore, monteerimata mänguvideo jaoks kõikidest teenustest ja juhtumitest – seal saab täpsemalt uurida artefakte ning tehnikainfot (kõikides teenustes, välja arvatud Stadia, on salvestatud tehnilise konsoli andmed; Stadia kohta ei leidnud selliseid).

Lähme!

Allpool on 7 stressitesti stsenaariumi ja video ajatempli märkmetega (video on sama, mugavuse huvides algab iga punkti vaatamine vajalikust hetkest). Postituse lõpus on lähtevideod iga teenuse jaoks. Video tegemisel aitas mind hea tuttav, mille eest olen tänulik!

Stsenaarium nr 1. Ideaalsed tingimused. Null kaotusi võrgus

Kõik nagu peaks olema ideaalses maailmas. Ühenduse probleeme ei ole, katkestuseid — ühegi, häiringuid ei ole, teie juurdepääsupunkt on interneti valgustus. Sellistes kasvuhoone tingimustes näitavad peaaegu kõik testijad end korralikult.

PC

Iga stsenaaris oleme võtnud arvuti mängudest kaadrid kui etalon. On selge, et selle kvaliteeti ei mõjuta võrgu kvaliteet, mäng käivitatakse arvutis kohalikult. Need kaadrid vastavad küsimusele „kas on tunne, et mängides pilves on erinevus võrreldes oma arvutiga mängimisega”. Ideaalsetes tingimustes ei tunne enamik teenuseid erinevust. Allpool ei hakka me enam arvutist kirjutama, lihtsalt pidage meeles, et see on olemas.

GeForce Now

Kõik on hästi, pilt on selge, protsess toimub sujuvalt, ilma hangumisteta.

Vortex

Vortex rikkus meie ideaalse maailma. Sellega tekkisid kohe probleemid — pilt on halvem kui kõigil teistel, pluss on selgelt märgatavad 'tõrked'. Võimalik probleem on see, et mänguserverid asuvad Moskvast kaugel ning mänguserverite riistvara tundub olema nõrgem ja FullHD ei kanna välja. Kõikidel testidel näitas Vortex end halvasti. Kui kellelgi on positiivne kogemus mängimisest Vortexiga — kirjutage kommentaarides, jagage, kust kohast mängisite ja kui hästi kõik kulges.

Playkey

Kõik on suurepärane, täiesti nagu kohalikul arvutil. Nähtavaid probleeme, nagu hangumised, viivitused jne, ei ole.

Loudplay

Teenuse pakkuja annab suurepärase pildi, nähtavaid probleeme ei ole.

Stadia

Google'i mänguteenused toimivad suurepäraselt, hoolimata sellest, et Venemaal pole servereid ja Stadia ei toimi ametlikult Venemaal. Sellegipoolest on kõik hästi. Kahju, et 'Witcher' ei olnud Stadia peale mängimist, aga mis teha, valisime 'Odyssey' — samuti nõudlik, samuti mehest, kes raiub inimesi ja loomi.

Stsenaarium nr 2. Ühtlased kaod 5%

Selles testis kaotatakse 100 paketist umbes iga 20. Pakun meelde, et ühe kaadri joonistamiseks on vajalik 40-50 paketti.

GeForce Now

Nvidia teenusel on kõik hästi, probleeme ei ole. Pilt on veidi udusem kui Playkey'l, kuid 'Witcher' on endiselt mängitav.

Vortex

Siin läks kõik veel halvemaks. Miks — ei ole täielikult selge, kõige tõenäolisemalt ei ole üleliigsust ette nähtud või see on minimaalne. Üleliigsus on müratõrje kodeerimine edastatavate andmete jaoks (FEC — Forward Error Correction). See tehnoloogia taastab andmed osalise kaotuse korral võrgu probleemide tõttu. Selle rakendamine ja seadistamine on erinev ja tundub, et Vortexi loojad ei ole selles edukad. Isegi väikeste ühtlaste kaotustega mängimine ei ole võimalik. Järgmistes testides Vortex lihtsalt 'surid'.

Playkey

Kõik on hästi, erilist erinevust ideaalsete tingimustega ei ole. Võib-olla aitab see, et ettevõtte serverid asuvad sealhulgas ka Moskvas, kust katsed viidi läbi. Ja võib-olla on ka ülalmainitud üleliigne seadistus paremini seadistatud.

Loudplay

Teenuse mängitavus on järsku halvenenud, vaatamata suhteliselt väikestele paketikaotustele. Mis võib olla probleem? Eeldan, et Loudplay kasutab TCP-protokolli. Sel juhul ei saadeta uusi pakette seni, kuni paketi kätte saamise kinnitus ei ole saabunud, süsteem ootab kinnitus. Vastavalt sellele, kui pakk on kadunud, siis kinnitust ei tule, uusi pakette ei saadeta, pilt jääb seisma, lugu lõppes.

Aga kui kasutada UDP-d, siis kätte saamise kinnitus ei ole vajalik. Kui vaatame, näib, et kõik teised teenused, välja arvatud Loudplay, kasutavad UDP-protokolli. Kui see ei ole nii, palun parandage mind kommentaarides.

Stadia

Kõik on mängitav. Mõnikord on pilt piksliline, esinevad minimaalsed viivitused. Võib-olla ei tööta häirekindel kodeering ideaalselt, seetõttu on mängitava voogude juures väikesed artefaktid.

Skenaario nr 3. Ühtlased kaotused 10%

Kaotame iga kümnenda paketi saja kohta. See on juba väljakutse teenustele. Selliste kaotustega tõhusaks toimetulekuks on vajalikud taastamise tehnoloogid ja/või kaotatud andmete uuesti saatmine.

GeForce Now

Geforce'il on märgata väikseid langusi videovoo kvaliteedis. Näib, et GFN reageerib probleemidele võrgus, püüdes neid vähendada. Teenus vähendab bitikiirus, ehk andmete edastamiseks kuluvat bitite arvu. Nii püüab ta vähendada koormust sisuliselt kehvale, tema arvates, võrgule ja säilitada stabiilse ühenduse. Ja stabiilsuse osas on tõepoolest küsimusi, kuid video kvaliteet kannatab märgatavalt. Näeme märkimisväärset pikslilisust pildis. Kuna simuleerimine eeldab pidevat 10% pakettide kaotust, siis bitikiirus ei aita eriti, olukord ei parane.

Tegelikkuses on pilt tõenäoliselt mitte stabiilselt halb, vaid muutlik. Kaotused suurenevad – pilt hägustub; kaotused vähenevad – pilt naaseb normaali ja nii edasi. See ei ole mängukogemusele kindlasti miinuseks.

Playkey

Erilisi probleeme pole. Tõenäoliselt tuvastab algoritm võrguprobleemid, määrab kadude taseme ja keskendub rohkem üleliigsusele kui bitrate'i vähendamisele. Tulemusena, kui kadud on 10% jaotatud, siis pildi kvaliteet praktiliselt ei muutu, kasutaja selliseid kadu tõenäoliselt ei märka.

Loudplay

Ei tööta, see lihtsalt ei käivitunud. Edasiste testide käigus kordus olukord. Niipalju kui aru saada, ei kohanda see teenus võrguprobleemidega kuidagi. Võimalik, et süüdi on TCP-protokoll. Igasugused kadu halvatavad teenuse täielikult. See pole elulistes tingimustes väga praktiline, loomulikult.

Vortex

Ka siin on suured probleemid. Sellistes tingimustes ei saa mängida, kuigi pilt veel on ja tegelane jätkab jooksu, kuigi hüpates. Arvan, et asi on taas halvasti realiseeritud või puuduvates üleliigustes. Paketid kaovad sageli ja neid ei taastata. Tulemuseks on pildi kvaliteedi halvenemine mängitavuse tasemeni.

Stadia

Kahjuks on siin kõik halb. Jõudude katkemine, mis põhjustab ekraanil toimuvaid sündmusi hüpates, mängimine on äärmiselt keeruline. Võib oletada, et probleem tekkis, nagu ka Vortex puhul, minimaalse või puuduva üleliigsuse tõttu. Konsulteerisin mitme tuttava inimesega, kes on "teemas", nad ütlesid, et Stadia tõenäoliselt ootab täismahus kaadri kogumist. Erinevalt GFN-ist ei proovi ta olukorda päästa täieliku bitrate'i vähendamisega. Tulemuseks on artefaktide puudumine, kuid tekivad külmumis- ja viivitused (GFN-i puhul on see vastupidi, külmumisi/viivitusi on vähem, kuid madala bitrate'i tõttu on pilt täiesti ebameeldiv).

Tundub, et teised teenused ei oota ka täismahus kaadri kogumist, asendades kadunud osa vana kaadriga. See on hea lahendus, enamasti ei märka kasutaja pettust (30+ kaadrit vahetatakse sekundis), kuigi mõnikord võivad tekkida artefaktid.

Senaarium nr 4. Ühtlased kadud 25%

Iga neljas pakett kaob. Aeg läheb üha hirmuäratavamaks huvitavamaks. Üldiselt ei ole sellise "augulise" ühendusega normaalne mängimine pilves peaaegu võimalik. Kuigi mõned võrdluses osalejad toime tulevad, kuigi mitte ideaalselt.

GFN

Probleemid on juba väga märgatavad. Pilt on pikseliseeritud ja udune. Mängida on ikka võimalik, kuid see ei ole enam see, mida GFN alguses pakkus. Ja kindlasti mitte see, kuidas kauneid mänge mängida.

Playkey

Mängimise protsess läheb kenasti. Sujuvus on olemas, kuigi pilt kannatab natuke. Muide, vasakus ülaosas on numbrid, kui palju kadunud pakette taastatakse. Nagu näeme, taastatakse 96% pakettidest.

Loudplay

Ei käivitatud.

Vortex

Mängimine ei ole isegi väga suure soovi korral võimalik, frizid (pildi peatamine, videovoog jätkamise uue fragmendi järgi) on veelgi markantsemad.

Stadia

Teenust on praktiliselt võimatu mängida. Põhjused on juba eespool nimetatud. Kasutatakse kaadrikogumist, kasutus on minimaalne, selliste kaotustega ei piisa.

Skeem nr 5. Ebaühtlane kadu 0,01%.

10 000 paketti ajal kaotatakse 1 kord järjestikku 40-70 paketti. See tähendab, et kaotame umbes 1 iga 200 kaadrit. Juhtub, kui võrgu seadme puhver on täis ja kõik uued paketid lihtsalt visatakse ära (drop), kuni puhver vabastatakse. Kõik võrdlejad, välja arvatud Loudplay, on selliseid kaotusi mingil määral lahendanud.

GFN

Pilt on veidi kvaliteeti kaotanud, muutus veidi häguseks, kuid kõike on täiesti mängitav.

Playkey

Kõik on väga kenasti. Pilt on sujuv, kujutis on hea. Mängida saab probleemideta.

Loudplay

Esimese paar sekundi jooksul oli pilt olemas, kangelane jooksis isegi. Kuid ühendus serveriga katkes peaaegu kohe. Oh see TCP-protokoll. Esimene kaotus tõmbas teenuse kohe maha.

Vortex

Tavapärased probleemid on täheldatud. Frizid, lagid ja see kõik. Mängida oleks sellistes tingimustes väga keeruline.

Stadia

Mängitav. Märgatavad väikesed langused, pilt mõnikord pikseliseerub.

Skeem nr 6. Ebaühtlane kadu 0,1%.

10 000 paketti ajal kaotatakse 10 korda järjestikku 40-70 paketti. Tõenäoliselt kaotame 10 iga 200 kaadrit.

Ütlen kohe, et märgatavad probleemid on tekkinud enamiku teenustega. Näiteks pilt tõmbleb, nii et liialdus siin enam ei aita. See tähendab, et tehnoloogia kasutamisel on positiivne mõju, kuid see on väike.

Asi on selles, et reaktsioon kasutaja tegevustele ja mängule on piiratud, videovoo peab olema pidev. Voo taastamine vastuvõetava kvaliteedini ei õnnestu, hoolimata teenuste pingutustest.

Kübarakendused (katse kompenseerida pakettide kadumist, andmeid on liiga vähe) ja pildihäired on ilmsed.

GFN

Pildi kvaliteet on märgatavalt halvenenud, bitikiirus on tõsiselt langetatud.

Playkey

Käib paremini — tõenäoliselt seetõttu, et üleliigsete elementide seadistus on hea, pluss bitikiirusaalgoritm arvutab kadumisi mitte väga kõrgeks ning ei muuda pilti pikseldatud lagunemiseks.

Loudplay

Ei käivitatud.

Vortex

Käivitati, kuid kohutava pildikvaliteediga. Häired ja langused on väga märgatavad. Sellistes tingimustes mängimine on tõenäoliselt võimatu.

Stadia

Häired on hästi märgatavad, see on selge märk, et üleliigseid elemente on liiga vähe. Pilt peatub, siis ilmuvad teised kaadrid, videovoog katkeb. Mängimine on võimalik, kui on suur soov ja kalduvus enesetapule.

Skenaarionumber 7. Ebaühtlane kadu 0,5%

10 000 paketi puhul kaob järjestikku 40-70 paketti 50 korda. Kaotame 50 kaadrit 200-st.

Situatsioon on nagu "vormiline pi***tus". Teie ruuter jookseb kokku, teenusepakkujal on avarii, juhtmed on närinud hiired, aga te ikkagi soovite mängida pilves. Millist teenust peaksite valima?

GFN

Mängida on juba väga keeruline, kui üldse võimalik — bitikiirus on tugevalt alandatud. Kaadrid kaovad, normaalse pildi asemel näeme „seepi“. Kaadreid ei taastata — info taastamiseks on liiga vähe. Kui GFN-il on üldse taastamine ette nähtud. Kuidas teenus aktiivselt püüab bitikiirusest olukorda päästa, tekitab kahtlusi selle valmisoleku suhtes üleliigsete elementidega töötamiseks.

Playkey

On kaadri moonutus, pilt väriseb, see tähendab, et üksikute kaadrite elemendid korduvad. On nähtav, et suur osa „katkist“ kaadrist on taastatud eelmistest fragmentidest. St uutes kaadrites on osad vanadest kaadritest. Kuid pilt on sellegipoolest enam-vähem selge. Juhtida on võimalik, kuid dünaamilistes stsenaariumides, näiteks kakluses, kus on vajalik kiire reaktsioon — on keeruline.

Loudplay

Ei käivitatud.

Vortex

Käivitati, kuid oleks parem, kui poleks käivitunud — selle mängimine on võimatu.

Stadia

Teenust sellistes tingimustes ei saa mängida. Põhjused — vajadus oodata kaadri kokkupanekut ja nõrk üleliigsete elementide tase.

Kes on võitja?

Hinnang on loomulikult subjektiivne. Kommentaarides on võimalik vaielda. Ja esikoht kuulub loomulikult kohalikele mängukeskustele. Just selle tõttu, et pilveservereid mõjutavad tugevalt võrgu kvaliteet, mis on reaalses maailmas üsna ebastabiilne, jääb isiklik mängu-PC konkurentsist välja. Kuid kui mingil põhjusel pole seda olemas, siis vaadake edetabelit.

1. Kohalik mängu-PC. Oodatud.
2. Playkey
3. GeForce Now
4. wccftech.com
5. Vortex
6. Loudplay

Kokkuvõtteks toon veel kord välja, et pilvese mängimises mängib ülekaalukalt suurimat rolli võrguprobleemide taluvus:

• Millist võrguprotokolli kasutatakse. Videovoo edastamiseks on kõige parem kasutada UDP-d. Kahtlustan, et Loudplay kasutab TCP-d, kuigi ma ei tea seda kindlasti. Kuid katsetamise tulemusi nägite.
• Kas on rakendatud häiret taluvat kodeerimist (FEC - Forward Error Correction, see tähendab üleliigne). Samuti on oluline selle kohandamise viis pakettide kaotuse osas. Nagu nägime, sõltub pildi kvaliteet oluliselt realiseerimisest.
• Kuidas on seadistatud bitikiirus. Kui teenus päästab olukorra esmajoones bitikiirusest, mõjutab see rohkem pilti. Edu võti on õrn tasakaal bitikiirusemaneerimise ja üleliigsuse vahel.
• Kuidas on seadistatud töötlemine pärast. Kui tekivad probleemid, kas kaadrid pannakse lihtsalt tagasi, taastatakse või kogutakse kokku vanade kaadrite fragmentide abil.
• Serverite lähedus mängijale ja riistvara võimekus mõjutavad mängu kvaliteeti samuti oluliselt, kuid see kehtib ka ideaalse võrgu kohta. Kui serveriteni on latentsus liiga kõrge, ei saa isegi ideaalses võrgus mugavalt mängida. Selles uuringus ei katsetanud me latentsust.

Kuna lubasin, siis siin on link tooretele videotele erinevatest teenustest kõigis juhtumites.

Allikas: habr.com