Pred približne rokom som zverejnila článok . V ňom som analyzovala výhody a nevýhody rôznych služieb pre cloudové hry na slabých počítačoch. Počas hrania som testovala každú službu a nakoniec som zdieľala svoje celkové dojmy.
V komentároch k tomu a iným podobným článkom sa čitatelia často delili o svoje dojmy z rôznych herných služieb. Niekedy sa stretávali opačné názory na tú istú službu. Niektorí mali všetko dokonalé, iní nemohli hrať kvôli lagom a freeze-om. Vtedy ma napadlo ohodnotiť kvalitu práce týchto služieb v rôznych podmienkach — od ideálnych po katastrofálne. Ide o kvalitu sietí, pretože užívateľ často nemôže chváliť rýchly a bezproblémový prenos, že? Takže pod katom — hodnotenie služieb so simuláciou rôznej kvality fungovania siete.
Aký je vlastne problém?
Ako som spomínala vyššie — v kvalite pripojenia. A presnejšie — v strate paketov počas hry. Čím väčšie sú straty, tým viac má hráč problémov, tým menej je spokojný s hrou. A zriedkakedy má niekto ideálny prenos, ako napríklad optické vlákno do zariadenia, pričom s vyhradeným, a nie zdieľaným internetom pre všetkých obyvateľov bytového domu.
Pre informáciu — pri rýchlosti pripojenia 25 Mbit/s na prenesenie 1 snímky je potrebných 40-50 paketov údajov. Čím viac paketov sa stratí, tým menej kvalitný je obraz, a tým sú výraznejšie lagy a freeze-y. V obzvlášť náročných situáciách sa hranie stáva prakticky nemožným.
Samozrejme, samotná cloudová služba nemôže nijako ovplyvniť šírku a stabilitu pripojenia používateľa (aj keď by to bolo samozrejme skvelé). Ale môžeme predpokladať rôzne spôsoby, ako zmierniť problémy s pripojením. Ktoré služby si s týmto problémom poradia najlepšie — uvidíme nižšie.
Čo presne porovnávame?
Bežný PC (Intel i3-8100, GTX 1060 6 GB, 8GB RAM), GeForce Now (jeho ruská verzia so servermi v Moskve), , , , . Na všetkých službách, okrem Stadiu, skúmame kvalitu hry vo „Zaklínačovi“. Na Google Stadii v čase písania článku táto hra nebola k dispozícii, takže som musela testovať inú — „Odyssey“.
Aké sú podmienky a metodika testovania?
Testujeme z Bratislavy. Poskytovateľ — MGT, tarifa 500 Mbit/s, pripojenie káblové, nie WiFi. Nastavenia kvality grafiky v službách berieme podľa predvolených hodnôt, rozlíšenie — FullHD.
Pomocou programu modelujeme problémy so sieťou, konkrétne, straty paketov rôzneho druhu a objemu.
Rovnomerné jednorazové straty. To je, keď sa stratí iba 1 paket a straty sú rozdelené viac-menej rovnomerne. Takže rovnomerné straty 10 % znamenajú, že z 100 paketov sa každý desiaty stratí, ale vždy iba 1 paket. Problém sa zvyčajne prejavuje pri skreslení (útlme) na kanáli od klienta k serveru.
Testujeme rovnomerné straty 5 %, 10 %, 25 %.
Nerovnomerné masové straty, keď v nejakom jednom momente sa stratí okamžite 40-70 paketov po sebe. Takéto straty sa najčastejšie vyskytujú pri problémoch so sieťovým vybavením (routery atď.) u používateľa alebo poskytovateľa. Môžu byť spojené s preplnením vyrovnávacej pamäte sieťového vybavenia na linke „používateľ — server“. WiFi so silnými stenami tiež môže spôsobovať takéto straty. Preťaženie bezdrôtovej siete z dôvodu prítomnosti veľkého množstva zariadení — ďalší dôvod, veľmi charakteristický pre kancelárie a bytové domy.
Testujeme nerovnomerné straty 0,01 %, 0,1 %, 0,5 %.
Nižšie analyzujem všetky tieto prípady a prikladám videoporovnanie na názornosť. A na konci článku dávam odkaz na surové, neupravené videá z hry zo všetkých služieb a prípadov — tam si môžete podrobnejšie pozrieť artefakty, ako aj technické informácie (vo všetkých službách, okrem Stadia, sú zaznamenané údaje technickej konzoly; v Stadia som také nenašla).
Ideme na to!
Nižšie — 7 scénarov stresového testu a video s časovými značkami (video je rovnaké, pre pohodlie v každej položke začína sledovanie od potrebného momentu). Na konci príspevku sú zdrojové videá pre každú zo služieb. Video mi pomohol spraviť dobrý známy, za čo mu ďakujem!
Scenár č. 1. Ideálne podmienky. Žiadne straty v sieti
Všetko, ako to má byť v ideálnom svete. Problémy so spojením nie sú, žiadne prerušenia, žiadny rušivý signál, vaša prístupová stanica — svetlo internetu. V takýchto skleníkových podmienkach sa takmer všetci účastníci testovania ukazujú ako dôstojní.
PC
Do každého scenára sme vzali snímky z počítačovej hry ako referenciu. Je jasné, že na kvalitu siete to nemá žiadny vplyv, hra sa spúšťa lokálne na počítači. Tieto snímky odpovedajú na otázku 'cítiť rozdiel pri hraní v cloude v porovnaní s hraním na vlastnom počítači'. V ideálnych podmienkach, v našom prípade — väčšina služieb necíti rozdiel. Nižšie už o počítači nič písať nebudeme, jednoducho si zapamätajte, že existuje.
GeForce Now
Všetko je v poriadku, obraz je jasný, proces prebieha hladko, bez sekania.
Vortex
Vortex narúša náš dokonalý svet. Hneď sa objavili problémy — obraz je horší ako u ostatných, plus sú dobre viditeľné 'zadržiavania'. Možný problém — herné servery sú umiestnené ďaleko od Moskvy, plus hardvér na herných serveroch je pravdepodobne slabší a FullHD sa zle prenáša. Vo všetkých testoch Vortex ukázal zlý výkon. Ak má niekto pozitívne skúsenosti s hraním na Vortex — píšte do komentárov, podeľte sa, z akého miesta ste hrali a ako dobre všetko prebehlo.
Playkey
Všetko je skvelé, presne ako na lokálnom počítači. Neexistujú žiadne viditeľné problémy ako sekanie, lagy a podobne.
Loudplay
Služba ukazuje vynikajúci obraz, žiadne viditeľné problémy neexistujú.
Stadia
Herná služba od Googlu funguje výborne, aj keď nemá servery v RF, a oficiálne Stadia ani v Rusku nefunguje. Napriek tomu, všetko je v poriadku. Je škoda, samozrejme, že 'Zaklínač' nebol v ponuke Stadia v čase hrania, ale čo už, vzali sme 'Odysseu' — tiež náročná, tiež o chlapíkovi, ktorý seká ľudí a zvieratá.
Scenár č. 2. Rovnomerné straty 5%
V tomto teste sa zo 100 paketov stratí asi každý 20. Pripomínam, že na vykreslenie jedného snímku sú potrebné 40-50 paketov.
GeForce Now
Služba od Nvidia funguje výborne, žiadne problémy nie sú. Obraz je trochu viac rozmazaný ako u Playkey, no 'Zaklínač' je stále hrateľný.
Vortex
Tu sa všetko ešte zhoršilo. Prečo — nie je úplne jasné, pravdepodobne nie je zabezpečená redundancia, alebo je minimálna. Redundancia je odolné kódovanie prenášaných dát (FEC — Forward Error Correction). Táto technológia obnovuje dáta pri čiastočnej strate spôsobenej problémami v sieti. Realizovať a nastaviť ju možno rôznymi spôsobmi a, súdruhovia výsledku, tvorcovia Vortexu v tom neuspeli. Ani s minimálnymi rovnomernými stratami sa nebude dať hrať. V priebehu následných testov Vortex jednoducho 'zomrel'.
Playkey
Všetko je v poriadku, nedá sa pozorovať žiadny zásadný rozdiel v porovnaní s ideálnymi podmienkami. Možno to pomáha, že servery spoločnosti sú umiestnené aj v Moskve, odkiaľ sa testy vykonávali. A možno je lepšie nastavená spomínaná redundantnosť.
Loudplay
Služba sa náhle stala nehrateľnou, napriek relatívne malým stratám paketov. V čom môže byť problém? Predpokladám, že Loudplay pracuje s TCP protokolom. V takom prípade, pokiaľ nie je potvrdené prijatie paketu, ďalšie pakety sa neposielajú, systém čaká na potvrdenie doručenia. Tým pádom, ak sa paket stratí, potvrdenie o jeho doručení nebude, nové pakety sa neodošlú, obraz sa zastaví, koniec príbehu.
Ak by sa použil UDP, potvrdzovanie prijatia paketu by nebolo potrebné. Zdá sa, že všetky ostatné služby okrem Loudplay používajú UDP protokol. Ak to nie je pravda, prosím opraviť ma v komentároch.
Stadia
Všetko je hrateľné. Občas sa obraz pixelizuje, sú prítomné minimálne oneskorenia odozvy. Možno nie je ideálne nastavené odolné kódovanie, odkiaľ pochádzajú malé artefakty pri celkovom hrateľnom prúde.
Scenár č. 3. Rovnomerné straty 10%
Strácame každý desiaty paket na sto. To už je výzva pre služby. Na efektívne vyrovnanie sa s takýmito stratami sú potrební technologickí odborníci na obnovu a/alebo opakované odosielanie stratenej dát.
GeForce Now
Na Geforce sú pozorované malé výkyvy v kvalite video prúdu. Z toho, čo sa zdá, GFN reaguje na problémy v sieti a snaží sa ich zmierniť. Služba znižuje bitrate, teda množstvo bitov na prenos dát. Takto sa snaží znížiť záťaž na podľa nej nedostatočne kvalitnej sieti a udržať stabilné pripojenie. A o stabilite skutočne nie sú otázky, ale kvalita videa sa pekne zhoršuje. Vidíme výraznú pixelizáciu obrazu. A keďže simulácia predpokladá trvalú stratu 10% paketov, znižovanie bitratu veľmi nepomáha, situácia sa nevyrovnáva.
V reálnom živote obraz pravdepodobne nebude stabilne zlý, ale kolísavý. Zväčšili sa straty – obraz sa rozmazal; znížili sa straty – obraz sa vrátil do normálu a tak ďalej. Hernému zážitku to, samozrejme, neprospieva.
Playkey
Špeciálne problémy nie sú. Pravdepodobne algoritmus detekuje problémy v sieti, určuje úroveň strát a viac sa sústreďuje na redundantnosť, než na zníženie bitrate. Pri 10 % rovnomerných strát sa kvalita obrazu prakticky nemení, používateľ si takéto straty sotva všimne.
Loudplay
Nepoužiteľný, jednoducho sa nespustil. Počas ďalších testov sa situácia zopakovala. Z toho, čo sa dá súdiť, tento servis sa nijako neprispôsobuje problémom so sieťou. Možno za to môže práve protokol TCP. Najmenšie straty paralyzujú servis úplne. Pre reálny život to nie je veľmi praktické, samozrejme.
Vortex
Tiež veľké problémy. Hrať v takých podmienkach sa nedá, aj keď obraz ešte existuje a postava pokračuje v behu, avšak trhaným spôsobom. Myslím, že problém spočíva vo zle realizovanej alebo úplne absencii redundantnosti. Pakety sa často strácajú a nijako sa neobnovujú. Nakoniec sa kvalita obrazu zhoršuje až na nehrateľnú úroveň.
Stadia
Bohužiaľ, tu je všetko zlé. Pozoruje sa prerušenie toku, v dôsledku ktorého sa udalosti na obrazovke dejú trhaným spôsobom, hrať je extrémne ťažké. Môžeme predpokladať, že problém vznikol rovnako ako v prípade Vortexu, kvôli minimálnej redundantnosti alebo jej absencii. Konzultovala som s pár známymi, ktorí sa „v tom vyznajú“, a povedali, že Stadia pravdepodobne čakala na úplné zloženie snímky. Na rozdiel od GFN sa nesnaží situáciu zachrániť radikálnym znížením bitrate. Nakoniec nie sú artefakty, ale objavujú sa záseky a lagy (u GFN, naopak, je menej zásekov/lagov, ale kvôli nízkemu bitrate je obraz úplne neatraktívny).
Zvyšné služby tiež, zdá sa, nečakajú na úplné zloženie snímky, ale nahradzujú chýbajúcu časť fragmentom starej snímky. To je dobré riešenie, vo väčšine prípadov používateľ nepostrehne podvod (za sekundu sa mení 30+ snímok), aj keď niekedy sa môžu vyskytnúť artefakty.
Scenár č. 4. Rovnomerné straty 25 %
Stráca sa každý štvrtý paket. Stáva sa to čoraz desivejším a zaujímavejším. Vo všeobecnosti, pri takom "dieravom" pripojení je normálna hra v cloude sotva možná. Hoci niektorí účastníci porovnania sa s tým vyrovnávajú, aj keď nie ideálne.
GFN
Problémy sú už veľmi viditeľné. Obraz je pixelizovaný a rozmazaný. Hrať sa dá ešte stále, ale už to nie je to, čo ponúkal GFN na začiatku. A určite nie je to, ako by sa malo hrať v krásnych hrách. Krásu už nemožno oceniť.
Playkey
Herný proces ide celkom dobre. Plynulosť je, aj keď obraz trochu trpí. Mimochodom, vľavo hore sú čísla, koľko stratených paketov sa obnovuje. Ako vidíme, obnovuje sa 96% paketov.
Loudplay
Nezobrazil sa.
Vortex
Hrať sa nedá ani pri veľmi veľkej túžbe, zamrzania (pozastavenie obrazu, obnovenie video streamu z nového fragmentu) sú ešte výraznejšie.
Stadia
Služba je prakticky nehrateľná. Príčiny boli už uvedené vyššie. Čaká sa na zloženie snímky, redundancia je minimálna, pri takých stratách je jej nedostatok.
Scenár č. 5. Nerovnomerné straty 0,01%.
Na 10 000 paketov sa 1-krát stratí 40-70 paketov po sebe. To znamená, že stratíme asi 1 z 200 snímok. Stáva sa to, ak je vyrovnávacia pamäť sieťového zariadenia preplnená a všetky nové pakety sú jednoducho vyhadzované (dropované), kým sa vyrovnávacia pamäť neuvoľní. Všetci účastníci porovnania, okrem Loudplay, takéto straty v istej miere zvládli.
GFN
Obraz úplne minimálne stratil kvalitu, stal sa trochu zamlžený, ale všetko je celkom hrateľné.
Playkey
Všetko je veľmi dobré. Obraz je plynulý, zobrazenie — dobré. Hrať sa dá bez problémov.
Loudplay
Prvých niekoľko sekúnd bol obraz, hrdina dokonca bežal. Ale spojenie so serverom bolo skoro okamžite stratené. Ach, tento TCP protokol. Prvá strata ochromila službu na koreni.
Vortex
Sú pozorované bežné problémy. Zamrzania, lagy a to všetko. Hrať by bolo veľmi ťažké za takýchto podmienok.
Stadia
Hrateľné. Sú viditeľné malé poklesy, obraz sa občas pixelizuje.
Scenár č. 6. Nerovnomerné straty 0,1%.
Na 10 000 paketov sa 10-krát stratí 40-70 paketov po sebe. Dostávame teda, že stratíme 10 z 200 snímok.
Hneď poviem, že viditeľné problémy sa objavili u väčšiny služieb. Napríklad sa trhá obraz, takže redundancia tu už nepomáha. To znamená, že pozitívny efekt v prípade využívania technológie redundancie je, ale nie je veľký.
Ide o to, že reakčný čas na akcie používateľa a samotnej hry je obmedzený, video stream by mal byť nepretržitý. Obnoviť stream na prijateľnú kvalitu nie je možné napriek akýmkoľvek snahám služieb.
Objevují se artefakty (snaha kompenzovat ztrátu paketů, chybí data) a trhání obrazu.
GFN
Kvalita obrazu výrazně klesla, bitrate je zjevně snížen, a to značně.
Playkey
Lépe se s tím vypořádává — pravděpodobně proto, že je dobře nastavena redundance, plus algoritmus bitrate považuje ztráty za nepříliš vysoké a nepřetváří obraz v pixelovanou kaši.
Loudplay
Nezobrazil sa.
Vortex
Spustil se, ale s hroznou kvalitou obrazu. Je viditelné trhání a výpadky. Hrát za takových podmínek pravděpodobně není možné.
Stadia
Viditelné trhání, což je jasný ukazatel, že chybí redundance. Obraz se zadrží, poté se objevují jiné snímky, dochází k výpadku videostreamu. Hrát se dá, pokud máte velkou chuť a klinickou sklony k sebetrýznění.
Scénář č. 7. Nerovnoměrné ztráty 0,5%
Na 10 000 paketů ztrácíme 40-70 paketů za sebou. Ztrácíme 50 snímků z 200.
Situace typu "formální pi***ec". Váš router skřípe, poskytovatel má havárii, dráty podrzeli hlodavci, ale vy přesto chcete hrát v cloudu. Jakou službu si tedy vybrat?
GFN
Hrát je už velmi obtížné, pokud vůbec možné — bitrate je velmi nizký. Ztrácí se snímky, místo normálního obrazu vidíme "mýdlo". Snímky se neobnovují — chybí informace pro obnovu. Pokud GFN vůbec obnova předpokládá. To, jak agresivně se služba snaží napravit situaci bitrate, vzbuzuje pochybnosti o její připravenosti pracovat s redundancí.
Playkey
Existuje zkreslení snímku, obraz se chvěje, to znamená, že se prvky jednotlivých snímků opakují. Je vidět, že většina "rozbitého" snímku byla obnovena z kusů předchozího. To znamená, že v nových snímcích jsou části starých snímků. Ale obraz je při tom víceméně jasný. Ovládat to lze, ale ve dynamických scénách, například v boji, kde je potřeba dobrá reakce — je to složité.
Loudplay
Nezobrazil sa.
Vortex
Spustil se, ale bylo by lepší, kdyby se nespustil — hrát to nelze.
Stadia
Služba za takových podmínek je nehratelná. Důvody — nutnost čekat na sestavení snímku a slabá redundance.
Kdo je vítěz?
Hodnotenie je, samozrejme, subjektívne. V komentároch sa môžeme dohadovať. A prvé miesto, samozrejme, patrí miestnemu PC. Práve kvôli tomu, že cloudové služby sú mimoriadne citlivé na kvalitu siete, ktorá je v reálnom svete dosť nestabilná, zostáva vlastný herný počítač konkurenčnou výhodou. Ak však z nejakých dôvodov nemáte, pozrite sa na hodnotenie.
- Miestny PC. Očakávane.
- Playkey
- GeForce Now
- Google Stadia
- Vortex
- Loudplay
Ako záver ešte raz pripomeniem, že kľúčovú rolu v cloudovom hraní zohráva stabilita voči problémom so sieťou:
- Aký sieťový protokol sa používa. Na prenos video streamu je najlepšie použiť UDP. Mám podozrenie, že Loudplay používa TCP, aj keď to presne neviem. Ale výsledky testovania ste videli.
- Je implementovaná odolnosť voči chybám kódovania (FEC — Forward Error Correction, známa aj ako redundancia). Rovnako je dôležitý spôsob, akým sa prispôsobuje stratám paketov. Ako sme videli, kvalita obrazu závisí od implementácie výrazne.
- Ako je nastavená adaptácia bitrate. Ak služba zachraňuje situáciu predovšetkým bitrate, má to väčší vplyv na obraz. Kľúčom k úspechu je krehká rovnováha medzi manipuláciou s bitrate a redundanciou.
- Ako je nastavené post spracovanie. Ak nastávajú problémy, tak snímky buď sú vymazané, obnovené, alebo doplnené fragmentmi starých snímok.
- Blízkosť serverov k hráčovi a výkon hardvéru taktiež významne ovplyvňuje kvalitu hry, avšak to platí aj pre ideálnu sieť. Ak je ping na servery príliš vysoký, ani na ideálnej sieti sa komfortne hrať nedá. S pingom v tomto výskume sme nijako neexperimentovali.
Ako som sľúbila, tu je odkaz na.
Zdroj: habr.com
