About a year ago, I published an article . In it, the pros and cons of different cloud gaming services for weak PCs were analyzed. I tested each service during gameplay and shared my overall impressions.
In the comments to that and other similar articles, readers often shared their experiences with various gaming services. There were often opposing opinions about the same service. For some, everything was perfect, while others couldn't play due to lags and freezes. This made me think about assessing the quality of these services under different conditions — from ideal to terrible. It's all about network quality since users can't always boast about having fast and trouble-free connections, right? So, below we will evaluate the services by simulating different levels of network performance.
What's the problem, anyway?
As mentioned above — it’s about the quality of the connection. More precisely — it’s about packet loss during gameplay. The higher the losses, the more problems gamers face, and the less satisfied they are with the game. Rarely does someone have a perfect connection, like fiber optics directly to their device, especially not shared among all the residents of an apartment building.
For reference — at a connection speed of 25 Mbps, transmitting 1 frame requires 40-50 data packets. The more packets are lost, the poorer the quality of the picture becomes, and the more noticeable the lags and freezes. In especially difficult cases, it becomes just impossible to play.
Naturally, the cloud service itself cannot influence the user’s bandwidth and stability (though that would be great, of course). However, different ways of mitigating connection issues can be anticipated. Which services handle the problem best — we will see below.
What are we comparing?
A regular PC (Intel i3-8100, GTX 1060 6 GB, 8GB RAM), GeForce Now (its Russian version with servers in Moscow), , , , . On all services except Stadia, we study the quality of gameplay in "The Witcher". At the time of writing this article, Google Stadia did not have this game, so I had to test another one — "Odyssey".
What are the conditions and methodology for testing?
Testujeme z Moskvy. Poskytovatel - MGTs, tarif 500 Mbit/s, připojení kabelové, ne WiFi. Nastavení kvality grafiky v službách bereme jako výchozí, rozlišení - FullHD.
Pomocí programu modelujeme problémy se sítí, konkrétně ztráty paketů různých typů a objemů.
Rovnoměrné jednorázové ztráty. To je situace, kdy se ztratí pouze 1 paket a ztráty jsou rozloženy více-méně rovnoměrně. Takže rovnoměrné ztráty 10 % znamenají, že z 100 paketů se každý 10. ztratí, ale vždy pouze jeden paket. Problém se obvykle projevuje při deformacích (stínění) na kanálu od klienta k serveru.
Testujeme rovnoměrné ztráty 5 %, 10 %, 25 %.
Nerovnoměrné masové ztráty, když v určitý moment najednou ztratíme 40-70 paketů za sebou. Tyto ztráty se nejčastěji vyskytují při problémech s síťovými zařízeními (routery apod.) u uživatele nebo u poskytovatele. Mohou být spojeny s přetečením vyrovnávací paměti síťového zařízení na lince „uživatel - server“. WiFi s tlustými zdmi rovněž může způsobit takové ztráty. Zatížení bezdrátové sítě v důsledku velkého množství zařízení - to je další příčina, velmi typická pro kanceláře a vícepodlažní domy.
Testujeme nerovnoměrné ztráty 0,01 %, 0,1 %, 0,5 %.
Níže analyzuji všechny tyto případy a přikládám videomateriály pro názornost. Na konci článku také poskytuji odkaz na surová, nesestříhaná videa z hraní ze všech služeb a případů - tam je možné podrobněji prozkoumat artefakty a technické informace (ve všech službách kromě Stadia jsou zaznamenána data technické konzole; u Stadia jsem takové informace nenašla).
Začínáme!
Níže je 7 scénářů zátěžového testu a video s časovými razítky (video je stejné, pro pohodlí se v každém bodě spouští od potřebného okamžiku). Na konci příspěvku jsou původní videa pro každou ze služeb. Video mi pomohl vytvořit dobrý známý, za což mu děkuji!
Scénář č. 1. Ideální podmínky. Nulové ztráty v síti
Vše, jak má být v ideálním světě. Není žádný problém s připojením, žádné výpadky, žádné rušení, vaše access point je majákem internetu. V těchto sklenících se téměř všichni účastníci testování ukazují jako důstojní.
PC
Do každého scénáře jsme vzali záběry z PC hry jako měřítko. Je jasné, že na něj kvalita sítě nemá žádný vliv, hra se spouští na PC lokálně. Přítomnost těchto záběrů odpovídá na otázku "jestli je znát rozdíl při hraní v cloudu ve srovnání s hraním na vlastním PC". Za ideálních podmínek v našem případě — většina služeb žádný rozdíl necítí. Níže už o PC nic psát nebudeme, prostě si zapamatujte, že existuje.
GeForce Now
Všechno je v pořádku, obraz je ostrý, proces probíhá hladce, bez ztrát snímků.
Vortex
Tady Vortex kazí náš ideální svět. Hned začal mít problémy — obraz byl horší než u ostatních, plus jsou dobře viditelné "zpoždění". Možný problém je, že herní servery se nachází daleko od Moskvy a hardware na herních serverech se zdá slabší a FullHD špatně zvládá. Ve všech testech se Vortex ukázal špatně. Pokud má někdo pozitivní zkušenost s hraním na Vortex — napište do komentářů, podělte se, odkud jste hráli a jak to dopadlo.
Playkey
Všechno skvělé, přesně jako na lokálním PC. Viditelné problémy jako zpoždění nebo lagy nejsou.
Loudplay
Služba nabízí vynikající obraz, viditelné problémy nejsou.
Stadia
Herní služba od Google funguje skvěle, i když nemá servery v RF, a vlastně oficiálně Stadia v Rusku nefunguje. Přesto je všechno v pořádku. Bohužel bylo škoda, že "Zaklínač" na Stadia nebyl v době hraní, ale co se dá dělat, vzali jsme "Odysseu" — také náročné, taky o muži, který seká lidi a zvířata.
Scénář č. 2. Rovnoměrné ztráty 5%
V tomto testu z 100 paketů se ztratí přibližně každý 20. Připomínám, že pro vykreslení jednoho snímku je potřeba 40-50 paketů.
GeForce Now
U služby od Nvidie je vše v pořádku, problémy nejsou. Obraz je o něco rozmazanější než u Playkey, ale "Zaklínač" je stále hratelný.
Vortex
Tady se všechno zhoršilo ještě víc. Proč — není úplně jasné, pravděpodobně není zajištěna redundantnost nebo je minimální. Redundantnost je odolné kódování přenášených dat (FEC — Forward Error Correction). Tato technologie obnovuje data při částečné ztrátě kvůli problémům v síti. Implementovat a nastavit ji lze různými způsoby a soudě podle výsledků tvůrci Vortex v tom neuspěli. I při minimálních rovnoměrných ztrátách se hrát nedá. Během dalších testů Vortex jednoduše "zcvakl".
Playkey
Všechno je v pořádku, není zde žádný výrazný rozdíl s ideálními podmínkami. Možná pomáhá to, že servery společnosti jsou umístěny také v Moskvě, odkud byly testy prováděny. A možná je také lépe nastavená zmíněná redundantnost.
Loudplay
Služba se náhle stala nehratelnou, i přes relativně malé ztráty paketů. V čem by mohl být problém? Předpokládám, že Loudplay funguje na TCP protokolu. V takovém případě, dokud není potvrzení o doručení paketu, další pakety nejsou odesílány, systém čeká na potvrzení o dodání. Pokud paket zmizel, nebude potvrzení o jeho dodání, nové pakety se neodešlou, obraz se zastaví, konec příběhu.
Pokud by se použil UDP, potvrzení o přijetí paketu by nebylo potřeba. Jak se zdá, všechny ostatní služby, kromě Loudplay, používají protokol UDP. Pokud tomu tak není, prosím, opravte mě v komentářích.
Stadia
Všechno je hratelné. Někdy se obraz pixelizuje, dochází k minimálním odezvám. Možná není zcela ideálně zpracována odolnost proti poruchám, a proto se při celkově hratelném toku objevují drobné artefakty.
Scénář č. 3. Rovnoměrné ztráty 10%
Ztrácíme každý desátý paket na sto. To už je výzvou pro služby. Aby se s takovými ztrátami efektivně vypořádaly, potřebují technologii pro obnovu a/nebo opakované odeslání ztracených dat.
GeForce Now
U Geforce se objevují malé výkyvy v kvalitě video toku. Jak se zdá, GFN reaguje na problémy v síti, snaží se je minimalizovat. Služba snižuje bitrate, tedy množství bitů pro přenos dat. Tak se snaží snížit zátěž na pro něj nedostatečně kvalitní síť a udržet stabilní spojení. A co se stability týče, tam žádné otázky nejsou, ale kvalita videa trpí znatelně. Vidíme výraznou pixelizaci obrazu. A protože simulace předpokládá neustálou ztrátu 10% paketů, snižování bitrate příliš nepomáhá, situace se nevrací k normálu.
Ve skutečném životě bude obraz pravděpodobně nestabilně špatný, ale proměnlivý. Ztráty se zvýšily – obraz se rozmazal; ztráty klesly – obraz se vrátil do normálu a tak dále. Hernímu zážitku to rozhodně neprospívá.
Playkey
Žádné vážné problémy nejsou. Pravděpodobně algoritmus detekuje problémy v síti, určuje míru ztrát a více se zaměřuje na redundantnost než na snižování bitratu. Při 10% rovnoměrných ztrát zůstává kvalita obrázku prakticky nezměněna, uživatel tyto ztráty pravděpodobně ani nezaregistruje.
Loudplay
Nefunguje, prostě se nespustil. Při dalších testech se situace opakovala. Jak se dá soudit, tato služba se nijak nepřizpůsobuje problémům v síti. Možná za to může TCP protokol. Nepatrné ztráty úplně paralyzují službu. Není to příliš praktické pro běžný život, samozřejmě.
Vortex
Také velké problémy. Není možné hrát v takových podmínkách, i když obraz ještě existuje a postava pokračuje v běhu, pravda, trhaně. Myslím, že problém je opět v špatně implementované nebo neexistující redundantnosti. Pakety se často ztrácejí a nijak se neobnovují. V důsledku toho kvalita obrazu degraduje na nehratelnou úroveň.
Stadia
Bohužel, zde je to špatné. Dochází k přerušení toku, takže se události na obrazovce odehrávají trhaně, hraní je extrémně obtížné. Lze předpokládat, že problém vznikl, stejně jako v případě Vortexu, z minimální redundantnosti nebo její absence. Konzultovala jsem to s několika známými, kteří se v tématu orientují, a ti tvrdili, že Stadia pravděpodobně čeká na kompletní sestavení snímku. Na rozdíl od GFN se snaží situaci nezachraňovat celkovým snížením bitratu. Výsledkem není žádné artefakty, ale objevují se trhání a zpoždění (u GFN je naopak méně trhání/zpoždění, ale kvůli nízkému bitratu je obraz zcela neatraktivní).
Ostatní služby se také zdají nečekat na úplné sestavení snímku, nahrazují ztracenou část fragmentem starého snímku. To je dobré řešení, ve většině případů uživatel nepozná žádný podvod (za sekundu se vymění 30+ snímků), i když občas mohou vznikat artefakty.
Scénář č. 4. Rovnoměrné ztráty 25%
Každý čtvrtý paket se ztrácí. Stává se to stále strašnější a zajímavější. V takovém "děravém" připojení je normální hraní v cloudu stěží možné. Ačkoli někteří účastníci srovnání se s tím vyrovnávají, i když ne ideálně.
GFN
Problémy jsou už velmi znatelné. Obraz je pixelovaný a rozmazaný. Hraní je stále možné, ale rozhodně to už není to, co GFN nabízelo na začátku. A rozhodně to není způsob, jak hrát krásné hry. Krásu už nelze ocenit.
Playkey
Herní proces probíhá docela dobře. Plynulost je, i když obraz trochu trpí. Mimochodem, vlevo nahoře jsou čísla, kolik ztracených paketů se obnovuje. Jak vidíme, obnovuje se 96 % paketů.
Loudplay
Nespustilo se.
Vortex
Není možné hrát ani při velké snaze, frezování (pozastavení obrázku, obnovení video streamu z nového fragmentu) je ještě znatelnější.
Stadia
Služba je v podstatě nehratelná. Důvody už byly zmíněny výše. Čeká se na sestavení snímku, nadbytečnost je minimální, při takových ztrátách to nestačí.
Scénář č. 5. Nepravidelné ztráty 0,01 %.
Na 10 000 paketů se 1x ztrácí 40-70 paketů za sebou. To znamená, že ztrácíme přibližně 1 z 200 snímků. K tomu dochází, pokud je buffer síťového zařízení přeplněn a všechny nové pakety jsou jen tak vyřazovány (dropovány), dokud se buffer neuvolní. Všichni účastníci srovnání, kromě Loudplay, s takovými ztrátami nějakým způsobem pracovaly.
GFN
Obraz trochu ztratil na kvalitě, stal se poněkud rozmazaným, ale všechno je stále hratelné.
Playkey
Všechno je velmi dobré. Obraz je plynulý, zobrazení je dobré. Hrát se dá bez problémů.
Loudplay
Prvních několik sekund byl obraz, hrdina dokonce běžel. Ale spojení se serverem bylo brzy ztraceno. Ach, ten TCP protokol. První ztráta srazila službu na kolena.
Vortex
Objevují se běžné problémy. Frezování, lagy a to celé. Hraní by bylo velmi obtížné za takových podmínek.
Stadia
Hratelné. Jsou znatelné drobné výkyvy, obraz se občas pixelizuje.
Scénář č. 6. Nepravidelné ztráty 0,1 %.
Na 10 000 paketů se 10x ztrácí 40-70 paketů za sebou. To znamená, že ztrácíme 10 z 200 snímků.
Hned řeknu, že znatelné problémy se objevily u většiny služeb. Například obraz se cuká, takže nadbytečnost už zde nepomáhá. To znamená, že pozitivní efekt při používání technologie nadbytečnosti je, ale není velký.
Faktem je, že doba reakce na akce uživatele a samotné hry je omezená, video stream musí být nepřetržitý. Obnovit stream na přijatelnou kvalitu není možné, bez ohledu na úsilí služeb.
Objevují se artefakty (pokusy o kompenzaci ztráty paketů, chybí data) a trhání obrazu.
GFN
Kvalita obrazu znatelně poklesla, bitrate byl zřetelně snížen, a to velmi výrazně.
Playkey
Zvládá to lépe — pravděpodobně proto, že je dobře nastavená redundance, navíc algoritmus bitrate považuje ztráty za příliš nízké a nepřetváří obraz na pixelovou kaši.
Loudplay
Nespustilo se.
Vortex
Spustil se, ale s hroznou kvalitou obrazu. Jsou velmi znatelné trhání a poklesy. Hrát za těchto podmínek je téměř nemožné.
Stadia
Sú jasně patrné trhání, což je jasný ukazatel, že chybí redundance. Obraz se na chvíli zastaví, pak se objeví jiné snímky, nastávají přerušení video streamu. Hrát se dá, pokud máte velkou touhu a klinickou sklon k sebemrsčení.
Scénář č. 7. Nerovnoměrné ztráty 0,5%
Na 10 000 paketů ztrácíme 40-70 paketů za sebou 50krát. Ztrácíme 50 snímků ze 200.
Situace jako "formální p***c". Váš router jiskří, u poskytovatele je havárie, dráty ohlodali myši, ale přesto chcete hrát v cloudu. Jakou službu si vybrat?
GFN
Hrát je již velmi obtížné, pokud vůbec možné — bitrate je velmi výrazně snížen. Ztrácejí se snímky, místo normálního obrazu vidíme "mlhu". Snímky se neobnovují — chybí informace pro obnovu. Pokud vůbec GFN obnovu předpokládá. To, jak agresivně služba se snaží zachránit situaci bitrate, vyvolává pochybnosti o její připravenosti pracovat s redundancí.
Playkey
Je tu zkreslení snímku, obraz se třese, takže se opakují prvky jednotlivých snímků. Je vidět, že většina "rozbitých" snímků byla obnovena z částí předchozích. To znamená, že v nových snímcích jsou části starých snímků. Ale obraz je přitom víceméně jasný. Ovládat se dá, ale v dynamických scénách, například v boji, kde je potřeba dobrá reakce — je to obtížné.
Loudplay
Nespustilo se.
Vortex
Spustil se, ale raději by se nespouštěl — hrát to nelze.
Stadia
Služba za takových podmínek je nehratelná. Důvody — nutnost čekat na sestavení snímku a slabá redundance.
Kdo je vítěz?
Hodnocení je samozřejmě subjektivní. V komentářích se dá polemizovat. No a první místo, samozřejmě, patří lokálnímu PC. Právě z toho důvodu, že cloudové služby jsou velmi citlivé na kvalitu sítě, a ta je v reálném světě poměrně nestabilní, vlastní herní PC zůstává bezkonkurenční. Ale pokud ho z nějakého důvodu nemáte, podívejte se na hodnocení.
- Lokální PC. Očekávané.
- Playkey
- GeForce Now
- Google Stadia
- Vortex
- Loudplay
Jako závěr připomenu, že klíčovou roli v cloudovém hraní hraje odolnost vůči problémům se sítí:
- Jaký síťový protokol se používá. Pro přenos video streamu je nejlépe použít UDP. Mám podezření, že Loudplay používá TCP, ačkoli to mi není s jistotou známo. Ale výsledky testování jste viděli.
- Bylo realizováno kódování pro odolnost proti chybám (FEC — Forward Error Correction, také známé jako redundantnost). Také je důležité, jak se tato technologie přizpůsobuje ztrátám paketů. Jak jsme viděli, kvalita obrazu závisí na realizaci značně.
- Jak je nastavena adaptace bitrate. Pokud služba situaci zlepšuje především bitrate, má to větší vliv na obraz. Základem úspěchu je křehká rovnováha mezi manipulacemi s bitrate a redundantností.
- Jak je nastavena post-processing. Pokud vzniknou problémy, buď se snímky vynechávají, obnovují, nebo se doplňují fragmenty starých snímků.
- Blízkost serverů k hráči a výkon hardwaru také významně ovlivňují kvalitu hry, ale to platí i pro ideální síť. Pokud je ping k serverům příliš vysoký, ani na ideální síti se pohodlně hrát nebude. S pingem jsme v tomto výzkumu nikterak neexperimentovali.
Jak jsem slíbila, zde je odkaz na.
Zdroj: habr.com
