Prije otprilike godinu dana objavio sam članak . Analizirao je prednosti i nedostatke različitih usluga za igranje u oblaku na slabim računalima. Testirao sam svaku uslugu tijekom igre i podijelio svoj ukupni dojam.
U komentarima na ovaj i druge slične članke čitatelji su često dijelili svoje dojmove o raznim igračkim uslugama. Često je bilo i suprotnih mišljenja o istoj stvari. Za neke je sve savršeno, ali za druge ne mogu igrati zbog zastoja i smrzavanja. Tada mi je sinula ideja ocijeniti kvalitetu tih usluga u različitim uvjetima - od idealnih do užasnih. Govorimo o kvaliteti mreža, jer korisnik se ne može uvijek pohvaliti brzim i besprijekornim komunikacijskim kanalom, zar ne? Općenito, pod rezom je procjena usluga uz simulaciju različite kvalitete rada mreže.
U čemu je uopće problem?
Kao što je gore navedeno - kao veza. Točnije, u gubitku paketa tijekom igre. Što su gubici veći, igrač ima više problema, manje je zadovoljan igrom. Ali rijetko tko ima idealan komunikacijski kanal kao što je optičko vlakno za uređaj, i to s namjenskim internetom, a ne zajedničkim svim stanovnicima stambene zgrade.
Za referencu, uz brzinu veze od 25 Mbit/s, potrebno je 1-40 paketa podataka za prijenos 50 okvira/okvira. Što je više paketa izgubljeno, slika postaje niža kvaliteta, a kašnjenja i zamrzavanja su vidljivija. U posebno teškim slučajevima, postaje jednostavno nemoguće igrati.
Naravno, sama usluga u oblaku ne može ni na koji način utjecati na širinu i stabilnost kanala korisnika (iako bi to bilo sjajno, naravno). Ali moguće je predvidjeti različite načine za izravnavanje komunikacijskih problema. U nastavku ćemo vidjeti koje se usluge najbolje nose s problemom.
Što točno uspoređujemo?
Obični PC (Intel i3-8100, GTX 1060 6 GB, 8 GB RAM), GeForce Now (njegova ruska verzija s poslužiteljima u Moskvi), , , , . Na svim uslugama osim na Stadiji, proučavamo kvalitetu igre u The Witcheru. Google Stadia nije imala ovu igru u trenutku pisanja, pa sam morao testirati drugu - Odyssey.
Koji su uvjeti i metodologija testiranja?
Testiramo iz Moskve. Davatelj - MGTS, tarifa 500 Mbit/s, kabelska veza, nije WiFi. Postavke kvalitete grafike u uslugama postavljamo na zadanu, razlučivost – FullHD.
Korištenje programa Simuliramo mrežne probleme, odnosno gubitak paketa različitih vrsta i veličina.
Ujednačeni pojedinačni gubici. To je kada se izgubi samo 1 paket i gubici su više-manje ravnomjerno raspoređeni. Dakle, jednolik gubitak od 10% znači da je od 100 paketa izgubljen svaki 10. paket, ali uvijek samo 1 paket. Problem se obično manifestira kada postoji izobličenje (zaštita) na kanalu od klijenta do poslužitelja.
Ispitujemo jednolike gubitke od 5%, 10%, 25%.
Neravnomjerni gubici mase, kada se u bilo kojem trenutku izgubi 40-70 paketa za redom. Do takvih gubitaka najčešće dolazi kada postoje problemi s mrežnom opremom (usmjerivači i sl.) korisnika ili davatelja usluga. Može biti povezano s prekoračenjem međuspremnika mrežne opreme na komunikacijskoj liniji korisnik-poslužitelj. WiFi s debelim zidovima također može uzrokovati takve gubitke. Zagušenje bežične mreže zbog prisutnosti velikog broja uređaja je još jedan razlog, vrlo tipičan za urede i stambene zgrade.
Testiramo nejednake gubitke od 0,01%, 0,1%, 0,5%.
U nastavku analiziram sve te slučajeve i radi jasnoće prilažem video usporedbu. I na kraju članka dajem poveznicu na neobrađene, nemontirane videozapise igranja sa svih usluga i slučajeva - tamo možete detaljnije pogledati artefakte, kao i tehničke informacije (u svim uslugama osim Stadije, podaci iz tehničkih konzola je snimljena; Stadia je nije pronašla).
Idemo!
Ispod je 7 scenarija testiranja otpornosti na stres i video s vremenskim oznakama (videozapis je isti, radi praktičnosti, u svakoj točki gledanje počinje od pravog trenutka). Na samom kraju posta nalaze se originalni videi za svaku od usluga. U izradi videa pomogao mi je dobar prijatelj, na čemu mu se zahvaljujem!
Scenarij #1. Idealni uvjeti. Nula gubitaka u mreži
Sve je kako treba biti u idealnom svijetu. Nema problema s vezom, niti jednog prekida, nema smetnji, vaša pristupna točka je svjetionik interneta. U takvim stakleničkim uvjetima gotovo svi sudionici testa dobro su se pokazali.
PC
Za svaki scenarij uzeli smo snimke iz PC igre kao referencu. Jasno je da kvaliteta mreže ni na koji način ne utječe na nju; igra radi lokalno na računalu. Prisutnost ovih okvira odgovara na pitanje "postoji li razlika kada igrate u oblaku u usporedbi s igranjem na računalu." U idealnim uvjetima, u našem slučaju, to većina servisa ne osjeti. U nastavku nećemo pisati ništa o računalu, samo zapamtite da postoji.
GeForce sada
Sve je u redu, slika je jasna, proces ide glatko, bez frizova.
Vrtlog
Vortex kvari naš idealan svijet. Odmah je počeo imati problema - slika je bila gora od svih ostalih, plus "kočnice" su bile jasno vidljive. Mogući problem je što su serveri za igre smješteni daleko od Moskve, plus čini se da je hardver na serverima za igre slabiji i ne podnosi dobro FullHD. Vortex se loše pokazao u svim testovima. Ako netko ima pozitivno iskustvo igranja s Vortexom, napišite u komentarima, podijelite odakle ste igrali i kako je sve dobro ispalo.
playkey
Sve je u redu, kao na lokalnom računalu. Vidljivi problemi kao što su zamrzavanja, kašnjenja itd. Ne.
glasna igra
Servis pokazuje izvrsnu sliku, nema vidljivih problema.
topografska letvica
Usluga igranja iz Googlea radi savršeno unatoč činjenici da nema poslužitelje u Ruskoj Federaciji, a općenito Stadia službeno ne radi u Rusiji. Međutim, sve je u redu. Šteta je, naravno, što "The Witcher" nije bio dostupan na Stadiji u vrijeme igranja, ali što ćete, uzeli su "Odiseju" - također zahtjevnu, također o čovjeku koji sječe ljude i životinje.
Scenarij br. 2. Uniformni gubitak 5%
U ovom testu, od 100 paketa, otprilike svaki 20. je izgubljen. Da vas podsjetim da vam je za renderiranje jednog okvira potrebno 40-50 paketa.
GeForce sada
Usluga Nvidije je dobra, nema problema. Slika je malo mutnija od Playkeya, ali The Witcher je i dalje moguće igrati.
Vrtlog
Ovdje su stvari postale još gore. Zašto nije sasvim jasno, najvjerojatnije redundancija nije osigurana ili je minimalna. Redundancija je kodiranje proslijeđenih podataka otporno na smetnje (FEC - Forward Error Correction). Ova tehnologija vraća podatke kada su djelomično izgubljeni zbog problema s mrežom. Može se implementirati i konfigurirati na različite načine, a sudeći prema rezultatima, kreatorima Vortexa to nije uspjelo. Nećete moći igrati ni s minijaturnim gubicima. Tijekom sljedećih testova, Vortex je jednostavno "umro".
playkey
Sve je u redu, nema bitne razlike u odnosu na idealne uvjete. Možda pomaže to što se poslužitelji tvrtke nalaze u Moskvi, gdje su obavljeni testovi. Pa, možda je gore spomenuta redundancija bolje konfigurirana.
glasna igra
Usluga je odjednom postala nereproduktivna, unatoč relativno malim gubicima paketa. Što može biti pogrešno? Pretpostavit ću da Loudplay radi s TCP protokolom. U tom slučaju, dok nema potvrde o primitku paketa, niti se drugi paketi šalju, sustav čeka potvrdu o isporuci. Sukladno tome, ako se paket izgubi, neće biti potvrde o isporuci, novi paketi se neće slati, slika će biti prazna, kraj priče.
Ali ako koristite UDP, tada potvrda primanja paketa neće biti potrebna. Koliko se može procijeniti, sve ostale usluge osim Loudplaya koriste UDP protokol. Ako to nije slučaj, ispravite me u komentarima.
topografska letvica
Sve se može igrati. Ponekad slika postane pikselizirana i kašnjenja odgovora su minimalna. Možda kodiranje otporno na smetnje ne radi savršeno, otuda manji artefakti kada se cijeli stream može reproducirati.
Scenarij br. 3. Uniformni gubitak 10%
Gubimo svaki 10. paket na stotinu. To je već izazov za službe. Za učinkovito rješavanje takvih gubitaka potrebne su tehnologije za oporavak i/ili ponovno slanje izgubljenih podataka.
GeForce sada
GeForce ima blagi pad u kvaliteti video streama. Koliko možemo reći, GFN reagira na probleme s mrežom pokušavajući ih ublažiti. Usluga smanjuje bitrate, odnosno broj bitova za prijenos podataka. Na taj način pokušava smanjiti opterećenje, kako smatra, nedovoljno kvalitetne mreže i održati stabilnu vezu. I stvarno nema pitanja o stabilnosti, ali kvaliteta videa primjetno pati. Vidimo značajnu pikselizaciju slike. Pa, budući da modeliranje pretpostavlja stalni gubitak od 10% paketa, smanjenje brzine prijenosa zapravo ne pomaže, situacija se ne vraća u normalu.
U stvarnom životu slika najvjerojatnije neće biti konstantno loša, nego lebdeća. Gubici su se povećali - slika je postala mutna; gubici su smanjeni - slika se vratila u normalu, i tako dalje. To naravno nije dobro za iskustvo igranja.
playkey
Nema posebnih problema. Vjerojatno algoritam detektira probleme na mreži, određuje razinu gubitaka i više se fokusira na redundanciju umjesto na smanjenje brzine prijenosa. Ispada da s 10% ravnomjernih gubitaka kvaliteta slike ostaje gotovo nepromijenjena, korisnik vjerojatno neće primijetiti takve gubitke.
glasna igra
Ne radi, jednostavno nije krenuo. Tijekom daljnjih ispitivanja situacija se ponovila. Koliko se može procijeniti, ova se usluga ni na koji način ne prilagođava mrežnim problemima. Možda je za to kriv TCP protokol. Najmanji gubitak će potpuno paralizirati uslugu. Nije baš praktično za stvarni život, naravno.
Vrtlog
Također veliki problemi. Ne možete igrati u takvim uvjetima, iako je slika još uvijek tu, a lik nastavlja trčati, iako u trzajima. Mislim da se sve radi o istoj loše implementiranoj redundanciji ili nedostatku. Paketi se često izgube i ne mogu se vratiti. Kao rezultat toga, kvaliteta slike pada na razinu koja se ne može igrati.
topografska letvica
Nažalost, kod nas je sve loše. Postoji prekid toka, zbog čega se događaji na ekranu odvijaju u trzajima, što otežava igranje. Za pretpostaviti je da je problem nastao, kao iu slučaju Vortexa, zbog minimalne ili nikakve redundancije. Posavjetovao sam se s par prijatelja koji su “upućeni”, rekli su da Stadia najvjerojatnije čeka da se okvir potpuno sastavi. Za razliku od GFN-a, ne pokušava spasiti situaciju potpunim smanjenjem brzine prijenosa. Kao rezultat toga, nema artefakata, ali pojavljuju se zamrzavanja i kašnjenja (GFN, naprotiv, ima manje frizova/zaostajanja, ali zbog niske brzine prijenosa slika je potpuno neprivlačna).
Čini se da i drugi servisi ne čekaju da se okvir potpuno sastavi, već dio koji nedostaje zamjenjuju dijelom starog okvira. Ovo je dobro rješenje, u većini slučajeva korisnik neće primijetiti kvaku (30+ sličica se mijenja u sekundi), iako se ponekad mogu pojaviti artefakti.
Scenarij br. 4. Uniformni gubitak 25%
Svaki četvrti paket je izgubljen. Postaje sve strašnije i zanimljivije. Općenito, s takvom "nepropusnom" vezom normalno igranje u oblaku teško je moguće. Iako se neki sudionici usporedbe snalaze, iako ne savršeno.
Gfn
Problemi su već prilično vidljivi. Slika je pikselizirana i zamućena. I dalje možete igrati, ali to uopće nije ono što je GFN nudio na samom početku. A tako se definitivno ne bi trebale igrati lijepe igre. Ljepota se više ne može cijeniti.
playkey
Igra ide dobro. Postoji glatkoća, iako slika malo trpi. Usput, gore lijevo su brojevi koji pokazuju koliko je izgubljenih paketa vraćeno. Kao što vidite, 96% paketa je vraćeno.
glasna igra
Nije počelo.
Vrtlog
Ne možete igrati čak ni s jakom željom, zamrzavanja (zamrzavanje slike, nastavak video streama iz novog fragmenta) su još primjetnija.
topografska letvica
Usluga se praktički ne može igrati. Razlozi su već spomenuti gore. Čeka se sastavljanje okvira, redundancija je minimalna, s takvim gubicima to nije dovoljno.
Scenarij #5. Neravnomjeran gubitak 0,01%.
Na svakih 10 paketa, 000-1 paketa se izgubi u nizu. Odnosno, gubimo otprilike 40 od 70 okvira. To se događa kada je međuspremnik mrežnog uređaja pun i svi novi paketi se jednostavno odbacuju (ispuštaju) dok se međuspremnik ne oslobodi. Svi sudionici usporedbe, osim Loudplaya, u ovoj su ili onoj mjeri nadoknadili takve gubitke.
Gfn
Slika je malo izgubila na kvaliteti i zamutila se, ali sve je sasvim igrivo.
playkey
Sve je jako dobro. Slika je glatka, slika je dobra. Možete igrati bez problema.
glasna igra
Prvih nekoliko sekundi bila je slika, junak je čak i trčao. No veza s poslužiteljem gotovo se odmah izgubila. Oh, ovaj TCP protokol. Već prvi gubitak sasjekao je uslugu u korijenu.
Vrtlog
Uočeni su uobičajeni problemi. Frizovi, zaostaci i to je sve. Bilo bi jako teško igrati u takvim uvjetima.
topografska letvica
Može se igrati. Primjetni su mali nedostaci, slika je ponekad pikselizirana.
Scenarij br. 6. Neravnomjerni gubici 0,1%
Za 10 000 paketa gubi se 10-40 paketa u nizu 70 puta. Ispada da gubimo 10 od 200 okvira.
Odmah ću reći da većina usluga ima primjetnih problema. Na primjer, slika se trza, tako da redundancija tu ne pomaže. Odnosno, postoji pozitivan učinak pri korištenju tehnologije redundantnosti, ali je mali.
Činjenica je da je vrijeme reakcije na radnje korisnika i samu igru ograničeno, video stream mora biti kontinuiran. Nemoguće je vratiti stream na prihvatljivu kvalitetu unatoč bilo kakvim naporima službi.
Pojavljuju se artefakti (pokušaj kompenzacije gubitka paketa, nema dovoljno podataka) i trzaji slike.
Gfn
Kvaliteta slike je osjetno pala, bitrate je očito smanjen, i to prilično značajno.
playkey
Bolje se nosi - vjerojatno zato što je redundantnost dobro konfigurirana, plus algoritam bitrate-a smatra da gubici nisu jako visoki i ne pretvara sliku u pikselizirani nered.
glasna igra
Nije počelo.
Vrtlog
Počelo je, ali s užasnom kvalitetom slike. Trzaji i slijeganja su vrlo primjetni. Teško da je moguće igrati u takvim uvjetima.
topografska letvica
Trzaji su jasno vidljivi, to je jasan pokazatelj da nema dovoljno redundancije. Slika se zamrzava, zatim se pojavljuju drugi okviri i video stream se prekida. U principu, možete igrati ako imate veliku želju i kliničku sklonost samomučenju.
Scenarij br. 7. Neravnomjerni gubici 0,5%
Za 10 000 paketa 50 puta gubi se 40-70 paketa u nizu. Gubimo 50 okvira od 200.
Situacija klase “jednolično zajebana”. Vaš ruter iskri, vaš ISP je u kvaru, vaše žice grizu miševi, ali vi i dalje želite igrati u oblaku. Koju uslugu izabrati?
Gfn
Već je vrlo teško, ako ne i nemoguće, igrati - bitrate je znatno smanjen. Okviri su izgubljeni, umjesto normalne slike vidimo "sapun". Okviri nisu restaurirani - nema dovoljno podataka za restauraciju. Ako GFN uopće predviđa povrat. Način na koji usluga agresivno pokušava spasiti situaciju s brzinama prijenosa dovodi u sumnju njezinu spremnost na rad s redundancijom.
playkey
Postoji izobličenje okvira, slika se trza, odnosno ponavljaju se elementi pojedinih okvira. Vidljivo je da je veći dio "slomljenog" okvira restauriran iz dijelova prethodnog. Odnosno, novi okviri sadrže dijelove starih okvira. Ali slika je više-manje jasna. Možete ga kontrolirati, ali u dinamičnim scenama, na primjer, u borbi, gdje je potrebna dobra reakcija, to je teško.
glasna igra
Nije počelo.
Vrtlog
Počelo je, ali bilo bi bolje ne započeti - ne možete igrati.
topografska letvica
Servis u takvim uvjetima je neizvediv. Razlozi su potreba čekanja na montažu okvira i loša redundancija.
Tko je pobjednik?
Ocjena je, naravno, subjektivna. Možete raspravljati u komentarima. Pa, prvo mjesto, naravno, ide lokalnom računalu. Upravo zato što su usluge u oblaku iznimno osjetljive na kvalitetu mreže, a ta je kvaliteta prilično nestabilna u stvarnom svijetu, vaše osobno računalo za igranje ostaje bez premca. Ali ako ga iz nekog razloga nema, pogledajte ocjenu.
- Lokalno računalo. Očekivano.
- playkey
- GeForce sada
- Google Stadia
- Vrtlog
- glasna igra
Kao zaključak, dopustite mi da vas još jednom podsjetim što igra glavnu ulogu u igranju u oblaku u smislu otpornosti na mrežne probleme:
- Koji se mrežni protokol koristi. Najbolje je koristiti UDP za prijenos video streama. Pretpostavljam da Loudplay koristi TCP, iako ne znam sa sigurnošću. Ali vidjeli ste rezultate testa.
- Je li implementirano kodiranje otporno na buku? (FEC - Forward Error Correction, također poznat kao redundantnost). Važan je i način na koji se prilagođava gubitku paketa. Kao što smo vidjeli, kvaliteta slike značajno ovisi o implementaciji.
- Kako je konfigurirana prilagodba brzine prijenosa. Ako servis spašava situaciju prvenstveno bitrateom, to ima jači učinak na sliku. Ključ uspjeha je delikatna ravnoteža između manipulacije brzinom prijenosa i redundantnosti.
- Kako je postavljena naknadna obrada. Ako se pojave problemi, okviri se poništavaju, obnavljaju ili ponovno sastavljaju s fragmentima starih okvira.
- Blizina poslužitelja igračima i snaga hardvera također značajno utječu na kvalitetu igre, ali to vrijedi i za idealnu mrežu. Ako je ping prema poslužiteljima previsok, nećete moći ugodno igrati čak ni na idealnoj mreži. U ovoj studiji nismo eksperimentirali s pingom.
Kao što je obećano, ovdje je poveznica na.
Izvor: www.habr.com