Joc în cloud: test de stres 5 servicii de jocuri în cloud cu internet slab

Joc în cloud: test de stres 5 servicii de jocuri în cloud cu internet slab

Acum aproximativ un an am publicat un articol „Jocuri în cloud: evaluare de primă mână a capabilităților serviciilor pentru a juca pe computere slabe”. Acesta a analizat avantajele și dezavantajele diferitelor servicii pentru jocuri în cloud pe computere slabe. Am testat fiecare serviciu în timpul jocului și mi-am împărtășit impresia generală.

În comentariile la acest articol și la alte articole similare, cititorii și-au împărtășit adesea impresiile despre diverse servicii de jocuri. Au existat adesea opinii opuse despre același lucru. Pentru unii, totul este perfect, dar pentru alții nu se pot juca din cauza întârzierilor și înghețurilor. Atunci mi-a venit ideea să evaluez calitatea acestor servicii în diferite condiții – de la ideal la groaznic. Vorbim de calitatea rețelelor, pentru că utilizatorul nu se poate lăuda întotdeauna cu un canal de comunicare rapid și fără probleme, nu? În general, sub reducere este o evaluare a serviciilor cu o simulare a calității diferite a funcționării rețelei.

Oricum, care e problema?

După cum am menționat mai sus - ca o conexiune. Mai exact, în pierderea pachetelor în timpul jocului. Cu cât pierderile sunt mai mari, cu atât jucătorul are mai multe probleme, cu atât este mai puțin mulțumit de joc. Dar este rar ca cineva să aibă un canal de comunicație ideal, cum ar fi fibra optică pentru dispozitiv, și cu un internet dedicat și care nu este împărțit între toți locuitorii unui bloc de apartamente.

Pentru referință, cu o viteză de conectare de 25 Mbit/s, sunt necesare 1-40 de pachete de date pentru a transmite 50 cadru/cadru. Cu cât se pierd mai multe pachete, cu atât imaginea devine de calitate mai scăzută și întârzierile și înghețarile sunt mai vizibile. În cazuri deosebit de severe, devine pur și simplu imposibil de jucat.

Desigur, serviciul cloud în sine nu poate afecta în niciun fel lățimea și stabilitatea canalului utilizatorului (deși asta ar fi grozav, desigur). Dar este posibil să se prevadă diferite moduri de a nivela problemele de comunicare. Vom vedea mai jos ce servicii fac față cel mai bine problemei.

Cu ce ​​comparăm mai exact?

PC obișnuit (Intel i3-8100, GTX 1060 6 GB, 8 GB RAM), GeForce Now (versiunea sa rusă Gfn cu servere la Moscova), Joacă tare, Vârtej, playkey, stadioane. Pe toate serviciile, cu excepția Stadia, studiem calitatea jocului în The Witcher. Google Stadia nu avea acest joc la momentul scrierii, așa că a trebuit să testez altul - Odyssey.

Care sunt condițiile și metodologia de testare?

Testăm de la Moscova. Furnizor - MGTS, tarif 500 Mbit/s, conexiune prin cablu, nu WiFi. Setăm setările de calitate grafică în servicii la valoarea implicită, rezoluție – FullHD.

Folosind programul neîndemânatic Simulăm probleme de rețea, și anume pierderea de pachete de diferite tipuri și dimensiuni.

Pierderi unice uniforme. Acesta este momentul în care se pierde doar 1 pachet și pierderile sunt distribuite mai mult sau mai puțin uniform. Astfel, o pierdere uniformă de 10% înseamnă că din 100 de pachete se pierde fiecare al 10-lea pachet, dar întotdeauna doar 1 pachet. Problema se manifestă de obicei atunci când există o distorsiune (protecție) pe canalul de la client la server.

Testăm pierderi uniforme de 5%, 10%, 25%.

Pierderi inegale de masă, când la un moment dat se pierd imediat 40-70 de pachete la rând. Astfel de pierderi apar cel mai adesea atunci când există probleme cu echipamentele de rețea (routere, etc.) ale utilizatorului sau ale furnizorului. Poate fi asociat cu o depășire a memoriei tampon a echipamentelor de rețea pe linia de comunicație utilizator-server. WiFi cu pereți groși poate provoca și astfel de pierderi. Congestia rețelei wireless din cauza prezenței unui număr mare de dispozitive este un alt motiv, foarte tipic pentru birouri și blocuri de apartamente.

Testăm pierderi neuniforme de 0,01%, 0,1%, 0,5%.

Mai jos analizez toate aceste cazuri și atașez o comparație video pentru claritate. Iar la sfârșitul articolului ofer un link către videoclipuri brute, needitate de joc din toate serviciile și cazurile - acolo puteți privi artefactele mai detaliat, precum și informații tehnice (în toate serviciile, cu excepția Stadia, date din partea tehnică). consola este înregistrată; Stadia nu a găsit așa ceva).

Să mergem!

Mai jos sunt 7 scenarii de test de stres și un videoclip cu marcaje temporale (videoclipul este același, pentru comoditate, în fiecare moment vizionarea începe din momentul potrivit). La sfârșitul postării sunt videoclipurile originale pentru fiecare dintre servicii. Un bun prieten m-a ajutat să realizez videoclipul, pentru care îi mulțumesc!

Scenariul 1. Conditii ideale. Zero pierderi în rețea

Totul este așa cum ar trebui să fie într-o lume ideală. Nu există probleme de conexiune, nici o întrerupere, nici interferențe, punctul tău de acces este farul Internetului. În astfel de condiții de seră, aproape toți participanții la test au rezultate bune.


PC

Pentru fiecare scenariu, am luat ca referință imagini din jocul pentru PC. Este clar că calitatea rețelei nu o afectează în niciun fel; jocul rulează pe PC local. Prezența acestor cadre răspunde la întrebarea „există o diferență atunci când joci în cloud față de jocul pe PC?” În condiții ideale, în cazul nostru, acest lucru nu este resimțit de majoritatea serviciilor. Nu vom scrie nimic despre PC mai jos, doar amintiți-vă că există.

GeForce Acum

Totul este bine, imaginea este clară, procesul decurge fără probleme, fără frize.

Vârtej

Vortex strică lumea noastră ideală. A început imediat să aibă probleme - imaginea era mai proastă decât toate celelalte, plus „frânele” erau clar vizibile. O posibilă problemă este că serverele de jocuri sunt situate departe de Moscova, plus că hardware-ul de pe serverele de joc pare a fi mai slab și nu se descurcă bine cu FullHD. Vortex a avut rezultate slabe la toate testele. Dacă cineva are o experiență pozitivă jucând cu Vortex, scrie în comentarii, împărtășește de unde ai jucat și cât de bine a ieșit totul.

playkey

Totul este bine, la fel ca pe un PC local. Probleme vizibile, cum ar fi înghețari, întârzieri etc. Nu.

Joacă tare

Serviciul arată o imagine excelentă, nu există probleme vizibile.

stadioane

Serviciul de jocuri de la Google funcționează perfect în ciuda faptului că nu are servere în Federația Rusă și, în general, Stadia nu funcționează oficial în Rusia. Totuși, totul este bine. Păcat, desigur, că „The Witcher” nu era disponibil pe Stadia la momentul jocului, dar ce poți face, au luat „Odyssey” - de asemenea exigent, tot despre un om care taie oameni și animale.

Scenariul nr. 2. Pierdere uniformă 5%

În acest test, din 100 de pachete, aproximativ fiecare 20 este pierdut. Permiteți-mi să vă reamintesc că pentru a reda un cadru aveți nevoie de 40-50 de pachete.


GeForce Acum

Serviciul de la Nvidia este ok, fără probleme. Imaginea este puțin mai neclară decât cea a lui Playkey, dar The Witcher este încă jucabil.

Vârtej

Aici lucrurile s-au înrăutățit și mai mult. De ce nu este complet clar; cel mai probabil, redundanța nu este furnizată sau este minimă. Redundanța este o codificare rezistentă la zgomot a datelor transmise (FEC - Forward Error Correction). Această tehnologie recuperează datele atunci când sunt pierdute parțial din cauza problemelor de rețea. Poate fi implementat și configurat în moduri diferite și, judecând după rezultate, creatorii Vortex nu au reușit acest lucru. Nu vei putea juca nici măcar cu pierderi minuscule. În timpul testelor ulterioare, Vortex pur și simplu „a murit”.

playkey

Totul este bine, nu există nicio diferență semnificativă față de condițiile ideale. Poate că ajută faptul că serverele companiei sunt situate la Moscova, unde au fost efectuate testele. Ei bine, poate că redundanța menționată mai sus este mai bine configurată.

Joacă tare

Serviciul a devenit brusc de nejucat, în ciuda pierderilor de pachete relativ mici. Ce poate fi greșit? Voi presupune că Loudplay funcționează cu protocolul TCP. În acest caz, deși nu există nicio confirmare de primire a coletului, nu sunt trimise alte pachete, sistemul așteaptă confirmarea livrării. În consecință, dacă un pachet este pierdut, nu va exista nicio confirmare a livrării acestuia, pachetele noi nu vor fi trimise, imaginea va deveni goală, sfârșitul poveștii.

Dar dacă utilizați UDP, atunci nu va fi necesară confirmarea primirii pachetului. Din câte se poate aprecia, toate celelalte servicii, cu excepția Loudplay, folosesc protocolul UDP. Daca nu este cazul, va rog sa ma corectati in comentarii.

stadioane

Totul este jucabil. Uneori, imaginea devine pixelată și există întârzieri minime de răspuns. Poate că codarea imună la zgomot nu funcționează perfect, de unde și artefactele minore atunci când întregul flux este redat.

Scenariul nr. 3. Pierdere uniformă 10%

Pierdem fiecare al 10-lea pachet la suta. Aceasta este deja o provocare pentru servicii. Pentru a face față eficient acestor pierderi, sunt necesare tehnologii pentru a recupera și/sau retrimite datele pierdute.


GeForce Acum

GeForce se confruntă cu scăderi ușoare ale calității fluxului video. Din câte putem spune, GFN răspunde la problemele de rețea încercând să le atenueze. Serviciul reduce rata de biți, adică numărul de biți pentru transmiterea datelor. În acest fel, încearcă să reducă sarcina a ceea ce crede el este o rețea de calitate insuficientă și să mențină o conexiune stabilă. Și chiar nu există întrebări despre stabilitate, dar calitatea video suferă considerabil. Vedem o pixelare semnificativă a imaginii. Ei bine, deoarece modelarea presupune o pierdere constantă de 10% din pachete, reducerea ratei de biți nu ajută cu adevărat, situația nu revine la normal.

În viața reală, imaginea nu va fi în mod constant proastă, ci plutitoare. Pierderile au crescut - imaginea a devenit neclară; pierderile au fost reduse - imaginea a revenit la normal și așa mai departe. Acest lucru nu este bun pentru experiența de joc, desigur.

playkey

Nu sunt probleme speciale. Probabil, algoritmul detectează probleme în rețea, determină nivelul pierderilor și se concentrează mai mult pe redundanță decât pe reducerea ratei de biți. Se pare că, cu pierderi uniforme de 10%, calitatea imaginii rămâne practic neschimbată, este puțin probabil ca utilizatorul să observe astfel de pierderi.

Joacă tare

Nu funcționează, pur și simplu nu a pornit. În timpul testelor ulterioare situația s-a repetat. Din câte se poate aprecia, acest serviciu nu se adaptează în niciun fel problemelor de rețea. Poate că protocolul TCP este de vină. Cea mai mică pierdere va paraliza complet serviciul. Nu prea practic pentru viața reală, desigur.

Vârtej

De asemenea mari probleme. Nu poți juca în astfel de condiții, deși imaginea este încă acolo și personajul continuă să alerge, deși în smucituri. Cred că este vorba despre aceeași redundanță implementată prost sau lipsă. Pachetele sunt adesea pierdute și nu pot fi recuperate. Ca rezultat, calitatea imaginii scade la un nivel de nejucat.

stadioane

Din păcate, aici totul este rău. Există o întrerupere a fluxului, motiv pentru care evenimentele de pe ecran apar în smucitură, făcându-l extrem de dificil de jucat. Se poate presupune că problema a apărut, ca și în cazul Vortex, din cauza redundanței minime sau deloc. M-am consultat cu câțiva prieteni care sunt „în știință”, au spus că Stadia așteaptă cel mai probabil ca cadrul să fie complet asamblat. Spre deosebire de GFN, nu încearcă să salveze situația prin scăderea completă a ratei de biți. Ca urmare, nu există artefacte, dar apar înghețari și întârzieri (GFN, dimpotrivă, are mai puține frize/lag-uri, dar din cauza ratei de biți scăzute imaginea este complet neatractivă).

De asemenea, alte servicii par să nu aștepte ca cadrul să fie complet asamblat, înlocuind piesa lipsă cu un fragment din vechiul cadru. Aceasta este o soluție bună, în cele mai multe cazuri utilizatorul nu va observa prinderea (30+ de cadre se schimbă pe secundă), deși uneori pot apărea artefacte.

Scenariul nr. 4. Pierdere uniformă 25%

Fiecare al patrulea pachet este pierdut. Devine din ce în ce mai înfricoșător și interesant. În general, cu o astfel de conexiune „scurtă”, jocurile normale în cloud sunt cu greu posibile. Deși unii participanți la comparație fac față, deși nu perfect.


Gfn

Problemele sunt deja destul de vizibile. Imaginea este pixelată și neclară. Încă poți să te joci, dar nu este deloc ceea ce a oferit GFN la început. Și cu siguranță nu așa ar trebui să fie jucate jocuri frumoase. Frumusețea nu mai poate fi apreciată.

playkey

Gameplay-ul merge bine. Există netezime, deși imaginea suferă puțin. Apropo, în stânga sus sunt numerele care arată câte pachete pierdute sunt recuperate. După cum puteți vedea, 96% dintre pachete sunt restaurate.

Joacă tare

Nu a început.

Vârtej

Nu te poți juca nici măcar cu o dorință foarte puternică, înghețarea (înghețarea imaginii, reluarea fluxului video dintr-un fragment nou) sunt și mai vizibile.

stadioane

Serviciul este practic nejucat. Motivele au fost deja menționate mai sus. Așteptând ca cadrul să fie asamblat, redundanța este minimă, cu astfel de pierderi nu este suficientă.

Scenariul #5. Pierdere neuniformă 0,01%.

Pentru fiecare 10 de pachete, 000-1 de pachete se pierd la rând. Adică pierdem aproximativ 40 din 70 de cadre. Se întâmplă atunci când tamponul unui dispozitiv de rețea este plin și toate pachetele noi sunt pur și simplu aruncate (scăpat) până când tamponul este eliberat. Toți participanții la comparație, cu excepția Loudplay, au compensat astfel de pierderi într-o măsură sau alta.


Gfn

Imaginea a pierdut puțin din calitate și a devenit oarecum tulbure, dar totul este destul de jucabil.

playkey

Totul este foarte bine. Poza este netedă, imaginea este bună. Te poți juca fără probleme.

Joacă tare

În primele secunde a fost o poză, eroul chiar a fugit. Dar conexiunea cu serverul s-a pierdut aproape imediat. Oh, acest protocol TCP. Prima pierdere a redus serviciul de la rădăcini.

Vârtej

Se observă problemele obișnuite. Frize, lag-uri și atât. Ar fi foarte greu să joci în astfel de condiții.

stadioane

Jucabil. Se observă mici reduceri, imaginea este uneori pixelată.

Scenariul nr. 6. Pierderi inegale 0,1%

Pentru 10 de pachete, 000-10 de pachete la rând se pierd de 40 ori. Se pare că pierdem 70 din 10 de cadre.

Voi spune imediat că majoritatea serviciilor au probleme vizibile. De exemplu, imaginea se zvâcnește, așa că redundanța nu ajută aici. Adică, există un efect pozitiv atunci când se folosește tehnologia redundanței, dar este mic.

Faptul este că timpul de reacție la acțiunile utilizatorului și la jocul în sine este limitat, fluxul video trebuie să fie continuu. Este imposibil să restabiliți fluxul la o calitate acceptabilă, în ciuda oricăror eforturi ale serviciilor.

Apar artefacte (o încercare de a compensa pierderea de pachete, nu sunt suficiente date) și smucituri de imagine.


Gfn

Calitatea imaginii a scăzut considerabil, rata de biți a fost redusă în mod clar și destul de semnificativ.

playkey

Se descurcă mai bine – probabil pentru că redundanța este bine configurată, plus că algoritmul de bitrate consideră pierderile nu foarte mari și nu transformă imaginea într-o mizerie pixelată.

Joacă tare

Nu a început.

Vârtej

A început, dar cu o calitate groaznică a imaginii. Convulsii și tasări sunt foarte vizibile. Cu greu se poate juca în astfel de condiții.

stadioane

Jerks-urile sunt clar vizibile, acesta este un indicator clar că nu există suficientă redundanță. Imaginea îngheață, apoi apar alte cadre și fluxul video se întrerupe. În principiu, poți juca dacă ai o dorință mare și o tendință clinică spre autotortura.

Scenariul nr. 7. Pierderi inegale 0,5%

Pentru 10 de pachete de 000 de ori, 50-40 de pachete se pierd la rând. Pierdem 70 de cadre din 50.

O situație a clasei „nenorocit uniform”. Routerul tău dă scântei, ISP-ul tău este defect, firele tale sunt mestecate de șoareci, dar tot vrei să te joci în cloud. Ce serviciu ar trebui să alegi?


Gfn

Este deja foarte dificil, dacă nu imposibil, să joci - rata de biți a fost mult redusă. Ramele se pierd, în loc de o imagine normală vedem „săpun”. Cadrele nu sunt restaurate - nu există suficiente informații pentru restaurare. Dacă GFN prevede recuperarea. Modul în care serviciul încearcă în mod agresiv să salveze situația cu rate de biți ridică îndoieli cu privire la disponibilitatea sa de a lucra cu redundanță.

playkey

Există o distorsiune a cadrelor, imaginea se zvâcnește, adică elementele cadrelor individuale sunt repetate. Se poate observa că cea mai mare parte a cadrului „rupt” a fost restaurat din bucăți ale celui precedent. Adică, noile rame conțin părți din vechile rame. Dar imaginea este mai mult sau mai puțin clară. Îl poți controla, dar în scenele dinamice, de exemplu, într-o luptă, unde ai nevoie de o reacție bună, este dificil.

Joacă tare

Nu a început.

Vârtej

A început, dar ar fi mai bine să nu începi - nu poți să-l joci.

stadioane

Serviciul în astfel de condiții este de nejucat. Motivele sunt nevoia de a aștepta ca cadrul să fie asamblat și redundanța slabă.

Cine este câștigătorul?

Evaluarea este, desigur, subiectivă. Vă puteți certa în comentarii. Ei bine, primul loc, desigur, merge la PC-ul local. Tocmai pentru că serviciile cloud sunt extrem de sensibile la calitatea rețelei, iar această calitate este destul de instabilă în lumea reală, propriul tău computer de jocuri rămâne de neegalat. Dar dacă dintr-un motiv oarecare nu există, atunci uită-te la evaluare.

  1. PC local. Așteptat.
  2. playkey
  3. GeForce Acum
  4. Google Stadia
  5. Vârtej
  6. Joacă tare

În concluzie, permiteți-mi să vă reamintesc încă o dată ce joacă un rol major în cloud gaming în ceea ce privește rezistența la problemele de rețea:

  • Ce protocol de rețea este folosit. Cel mai bine este să utilizați UDP pentru a transmite un flux video. Bănuiesc că Loudplay folosește TCP, deși nu știu sigur. Dar ai văzut rezultatele testelor.
  • Este implementată codarea rezistentă la zgomot? (FEC - Forward Error Correction, cunoscută și sub numele de redundanță). Modul în care se adaptează la pierderea pachetelor este, de asemenea, important. După cum am văzut, calitatea imaginii depinde în mod semnificativ de implementare.
  • Cum este configurată adaptarea ratei de biți. Dacă serviciul salvează situația în primul rând cu rata de biți, acest lucru are un efect mai puternic asupra imaginii. Cheia succesului este echilibrul delicat dintre manipularea ratei de biți și redundanță.
  • Cum este configurată post-procesarea. Dacă apar probleme, cadrele sunt fie resetate, restaurate, fie reasamblate cu fragmente de cadre vechi.
  • Proximitatea serverelor de jucători și puterea hardware de asemenea, afectează semnificativ calitatea jocului, dar acest lucru este valabil și pentru o rețea ideală. Dacă ping-ul către servere este prea mare, nu veți putea juca confortabil nici măcar într-o rețea ideală. Nu am experimentat cu ping în acest studiu.

După cum am promis, aici este link-ul către videoclipuri brute de la diferite servicii în toate cazurile.

Sursa: www.habr.com

Adauga un comentariu