Circa un anno fa ho pubblicato un articolo . In esso sono stati analizzati i pro e i contro di diversi servizi per il cloud gaming su PC poco potenti. Durante il gioco ho testato ogni servizio e alla fine ho condiviso un'impressione generale.
Nei commenti a quell'articolo e ad altri simili, i lettori spesso condividevano le loro esperienze su vari servizi di gioco. Spesso si trovavano opinioni opposte sullo stesso servizio. Per alcuni tutto funzionava alla perfezione, mentre altri non riuscivano a giocare a causa di lag e freeze. Da qui è nata l'idea di valutare la qualità di questi servizi in diverse condizioni, dalle migliori alle peggiori. Si parla della qualità delle reti, perché non sempre l'utente può vantare una connessione veloce e affidabile, giusto? In sintesi, di seguito troverete una valutazione dei servizi simulando diverse qualità di rete.
Qual è il problema?
Come accennato in precedenza, si tratta della connessione. Più precisamente, della perdita di pacchetti durante il gioco. Maggiore è la perdita, più problemi ha il giocatore e minore è la sua soddisfazione con il gioco. E pochi hanno un perfetto canale di connessione come la fibra ottica fino al dispositivo, specialmente con una connessione dedicata e non condivisa con tutti gli abitanti di un condominio.
Per riferimento, a una velocità di connessione di 25 Mbps, per trasmettere un singolo frame deve essere inviato un totale di 40-50 pacchetti di dati. Maggiore è la perdita di pacchetti, più scadente diventa la qualità dell'immagine, e più evidenti diventano lag e freeze. In casi particolarmente gravi, diventa semplicemente impossibile giocare.
Naturalmente, il servizio cloud non può influire sulla larghezza e stabilità del canale dell'utente (anche se sarebbe fantastico). Tuttavia, è possibile prevedere diversi modi per mitigare i problemi di connettività. Quali servizi affrontano meglio il problema lo scopriremo qui di seguito.
Cosa stiamo confrontando precisamente?
Un normale PC (Intel i3-8100, GTX 1060 6 GB, 8 GB di RAM), GeForce Now (la sua versione russa con server a Mosca), , , , . Su tutti i servizi, tranne Stadia, analizziamo la qualità del gioco in ‘The Witcher’. Su Google Stadia, al momento della scrittura di questo articolo, questo gioco non era disponibile, quindi abbiamo dovuto testare un altro gioco: ‘Odyssey’.
Quali sono le condizioni e la metodologia di testing?
Testiamo da Mosca. Fornitore: MGTS, piano da 500 Mbit/s, connessione cablata, non WiFi. Le impostazioni della qualità grafica sui servizi vengono prese come predefinite, risoluzione: FullHD.
Utilizzando il programma simuliamo problemi di rete, in particolare, perdite di pacchetti di vari tipi e dimensioni.
Perdite singole uniformi. Questo è quando si perde solo 1 pacchetto e le perdite sono distribuite abbastanza uniformemente. Pertanto, perdite uniformi del 10% significano che su 100 pacchetti ciascun 10° viene perso, ma sempre solo 1 pacchetto. Il problema di solito si manifesta in caso di distorsioni (schermature) sul canale dal client al server.
Testiamo perdite uniformi del 5%, 10%, 25%.
Perdite di massa disomogenee, quando, in un certo momento, si perdono immediatamente 40-70 pacchetti di seguito. Queste perdite si verificano più spesso a causa di problemi con l'hardware di rete (router, ecc.) dell'utente o del provider. Possono essere collegati a un sovraccarico della memoria buffer dell'hardware di rete nella connessione "utente - server". Il WiFi con pareti spesse può anche causare tali perdite. Il sovraccarico della rete wireless dovuto alla presenza di un gran numero di dispositivi è un'altra causa, molto comune negli uffici e nei condomini.
Testiamo perdite irregolari dello 0,01%, 0,1%, 0,5%.
Di seguito analizzo tutti questi casi e aggiungo un confronto video per chiarezza. Alla fine dell'articolo fornisco un link ai video grezzi, non montati, del gameplay di tutti i servizi e casi - lì è possibile esaminare più dettagliatamente gli artefatti, così come le informazioni tecniche (in tutti i servizi, tranne Stadia, sono stati registrati i dati della console tecnica; per Stadia non ne ho trovati).
Andiamo!
Di seguito sono riportati 7 scenari di stress test e video con timestamp (il video è lo stesso, per comodità in ogni punto la visione inizia dal momento giusto). Alla fine del post ci sono i video originali per ciascuno dei servizi. Un buon amico mi ha aiutato a realizzare il video, grazie a lui!
Scenario n. 1. Condizioni ideali. Perdite di rete pari a zero
Tutto, come dovrebbe essere in un mondo perfetto. Non ci sono problemi di connessione, nessun'interruzione, nessuna interferenza, il tuo hotspot è il faro di internet. In queste condizioni ottimali, quasi tutti i partecipanti al test si comportano in modo degno.
PC
In ogni scenario abbiamo utilizzato frame di gioco su PC come riferimento. È chiaro che la qualità della rete non influisce su di esso, il gioco viene eseguito localmente sul PC. La presenza di questi frame risponde alla domanda "si sente la differenza quando si gioca nel cloud rispetto a giocare sul proprio PC". In condizioni ideali, nel nostro caso, la maggior parte dei servizi non mostra differenze. Non scriveremo altro sul PC, basta ricordare che esiste.
GeForce Now
Va tutto bene, l'immagine è nitida, il processo è fluido, senza lag.
Vortex
Vortex rovina il nostro mondo ideale. Ha immediatamente cominciato a mostrare problemi: la qualità dell'immagine è inferiore rispetto a tutte le altre, e i "lag" sono ben evidenti. Un possibile problema è che i server di gioco si trovano lontano da Mosca, e l'hardware su questi server sembra più debole, il che compromette il FullHD. In tutti i test, Vortex ha mostrato prestazioni scadenti. Se qualcuno ha avuto un'esperienza positiva di gioco con Vortex, vi prego di scrivere nei commenti, condividete da dove giocavate e quanto sia andata bene.
Playkey
Tutto ottimo, proprio come su un PC locale. Non ci sono problemi visibili come freeze, lag, ecc.
Loudplay
Il servizio offre un'ottima qualità video, senza problemi visibili.
Stadia
Il servizio di gioco di Google funziona perfettamente, nonostante non abbia server in RF e Stadia non operi ufficialmente in Russia. Tuttavia, va tutto bene. È un peccato che "The Witcher" non fosse disponibile su Stadia al momento del gioco, ma che ci possiamo fare, abbiamo preso "Odyssey", anche essa abbastanza esigente, riguardante un uomo che affronta persone e animali.
Scenario n. 2. Perdite uniformi del 5%
In questo test, si perde circa un pacchetto ogni 20, su 100 pacchetti. Ricordo che per renderizzare un fotogramma sono necessari 40-50 pacchetti.
GeForce Now
Il servizio di Nvidia funziona bene, senza problemi. L'immagine è leggermente più sfocata rispetto a Playkey, ma "The Witcher" è ancora giocabile.
Vortex
Qui la situazione è ulteriormente peggiorata. Perché non è del tutto chiaro, probabilmente non è prevista ridondanza o è minima. La ridondanza è la codifica a prova di errore dei dati trasmessi (FEC - Forward Error Correction). Questa tecnologia recupera i dati in caso di perdita parziale a causa di problemi di rete. Può essere implementata e configurata in diversi modi e, a giudicare dai risultati, i creatori di Vortex non ci sono riusciti. Anche con perdite uniformi minime, non si può giocare. Durante i test successivi, Vortex è semplicemente "morto".
Playkey
Tutto funziona bene, non c'è una differenza significativa rispetto alle condizioni ideali. Potrebbe aiutare il fatto che i server dell'azienda siano situati anche a Mosca, da dove sono stati effettuati i test. Inoltre, forse la suddetta ridondanza è meglio configurata.
Loudplay
Il servizio è diventato improvvisamente ingiocabile, nonostante le perdite di pacchetti relativamente contenute. Quale potrebbe essere il problema? Presumo che Loudplay utilizzi il protocollo TCP. In questo caso, finché non viene ricevuta la conferma di ricezione di un pacchetto, gli altri pacchetti non vengono inviati; il sistema attende la conferma di consegna. Pertanto, se un pacchetto si perde, non ci sarà alcuna conferma della sua consegna, nuovi pacchetti non verranno inviati e l'immagine si bloccà, fine della storia.
Se invece si utilizza UDP, non sarà necessaria alcuna conferma di ricezione del pacchetto. Da quanto si può dedurre, tutti gli altri servizi, a parte Loudplay, utilizzano il protocollo UDP. Se non è così, per favore correggetemi nei commenti.
Stadia
È tutto giocabile. A volte l'immagine si pixelizza, ci sono minime latenze di risposta. Potrebbe non funzionare perfettamente la codifica resistente alle interferenze, da qui i lievi artefatti in un flusso complessivamente giocabile.
Scenario n. 3. Perdite uniformi del 10%
Perdiamo ogni 10° pacchetto su cento. Questo rappresenta già una sfida per i servizi. Per gestire efficacemente tali perdite, sono necessari tecnici esperti nel recupero e/o nella ritrasmissione dei dati persi.
GeForce Now
Su Geforce si osservano lievi cali nella qualità del flusso video. Da quanto si può capire, GFN reagisce ai problemi di rete cercando di ridurli. Il servizio abbassa il bitrate, ovvero la quantità di bit per la trasmissione dei dati. In questo modo cerca di ridurre il carico su una rete ritenuta non sufficientemente di qualità e mantenere una connessione stabile. E sulla stabilità non ci sono realmente dubbi, ma la qualità video ne risente notevolmente. Si osserva una significativa pixelizzazione dell'immagine. Inoltre, poiché la simulazione prevede una perdita costante del 10% di pacchetti, la diminuzione del bitrate non aiuta molto, e la situazione non migliora.
Nella vita reale, l'immagine sarà probabilmente non costantemente scadente, ma altalenante. Le perdite aumentano — l'immagine si sfoca; le perdite diminuiscono — l'immagine torna alla normalità e così via. Questo, ovviamente, non giova all'esperienza di gioco.
Playkey
Non ci sono problemi particolari. Probabilmente, l'algoritmo rileva i problemi di rete, determina il livello delle perdite e punta di più sulla ridondanza piuttosto che sulla riduzione del bitrate. Così, con una perdita uniforme del 10%, la qualità dell'immagine non cambia praticamente, l'utente difficilmente noterà tali perdite.
Loudplay
Non funziona, non si è avviato affatto. Durante ulteriori test, la situazione si è ripetuta. Da quanto si può giudicare, questo servizio non si adatta ai problemi di rete. Potrebbe essere colpa del protocollo TCP. Anche le minime perdite paralizzano completamente il servizio. Certo, non è molto pratico per la vita reale.
Vortex
Ci sono anche grossi problemi. Non si può giocare in queste condizioni, anche se l'immagine c'è e il personaggio continua a correre, ma a scatti. Penso che la questione sia sempre la stessa: una ridondanza mal implementata o assente. I pacchetti vengono persi frequentemente e non vengono recuperati in alcun modo. Alla fine, la qualità dell'immagine degrada a un livello ingiocabile.
Stadia
Purtroppo, qui la situazione è pessima. Si verifica un'interruzione del flusso, a causa della quale gli eventi sullo schermo si verificano con scatti rendendo il gioco estremamente difficile. Si potrebbe ipotizzare che il problema sia sorto, come nel caso di Vortex, a causa di una minima ridondanza o della sua assenza. Ho consultato un paio di amici che sono 'nel settore' e hanno dichiarato che Stadia probabilmente aspetta il completamento del frame. A differenza di GFN, non cerca di rimediare abbassando drasticamente il bitrate. Alla fine, non ci sono artefatti, ma si verificano freeze e lag (mentre in GFN ci sono meno freeze/lag, ma a causa del basso bitrate l'immagine risulta poco attraente).
Anche gli altri servizi, a quanto pare, non aspettano il completamento del frame, sostituendo la parte mancante con un frammento di un vecchio frame. Questa è una buona soluzione, nella maggior parte dei casi l'utente non noterà alcun inganno (cambiando oltre 30 frame al secondo), anche se a volte possono verificarsi artefatti.
Scenario n. 4. Perdite uniformi del 25%
Si perde ogni quarto pacchetto. La situazione diventa sempre più preoccupante. Con una connessione così “protocollo”, è difficile immaginare di giocare normalmente nel cloud. Anche se alcuni partecipanti alla comparazione ne vengono a capo, non in modo perfetto.
GFN
I problemi sono già molto evidenti. L'immagine è pixelata e sfocata. Si può ancora giocare, ma non è affatto ciò che GFN offriva all'inizio. E sicuramente non è il modo giusto di giocare a giochi di bellezza. Non si può più apprezzare la bellezza.
Playkey
Il gameplay procede abbastanza bene. C'è fluidità, anche se l'immagine ne risente un po'. A proposito, in alto a sinistra ci sono i numeri che mostrano quanti pacchetti persi vengono recuperati. Come possiamo vedere, il 96% dei pacchetti viene recuperato.
Loudplay
Non si è avviato.
Vortex
Non si può giocare nemmeno con una grande voglia, i freeze (interruzione dell'immagine, ripresa del flusso video da un nuovo frammento) sono ancora più evidenti.
Stadia
Il servizio è praticamente inutilizzabile. Le ragioni sono state già menzionate sopra. Aspetta l'assemblaggio del fotogramma, l'eccesso è minimo; con tali perdite, non è sufficiente.
Scenario n. 5. Perdite irregolari 0,01%.
Su 10.000 pacchetti, 1 volta si perdono 40-70 pacchetti consecutivi. Significa che perdiamo circa 1 fotogramma su 200. Questo accade se il buffer del dispositivo di rete è pieno e tutti i nuovi pacchetti vengono semplicemente scartati (dropped) fino a quando il buffer non si libera. Tutti gli partecipanti al confronto, tranne Loudplay, hanno gestito tali perdite in un modo o nell'altro.
GFN
L'immagine ha perso leggermente qualità, è diventata un po' sfocata, ma è comunque giocabile.
Playkey
Tutto va molto bene. L'immagine è fluida e la qualità è buona. Si può giocare senza problemi.
Loudplay
Nei primi secondi l'immagine era presente, il personaggio ha persino corso. Ma la connessione con il server è stata persa quasi subito. Oh, quel protocollo TCP. La prima perdita ha bloccato il servizio all'istante.
Vortex
Si manifestano problemi comuni. Freeze, lag e tutto il resto. Giocare sarebbe molto difficile in tali condizioni.
Stadia
Giocabile. Si notano lievi cali, ogni tanto l'immagine si pixelizza.
Scenario n. 6. Perdite irregolari 0,1%
Su 10.000 pacchetti, 10 volte si perdono 40-70 pacchetti consecutivi. Risultato: perdiamo 10 fotogrammi su 200.
Vorrei subito dire che i problemi evidenti sono emersi nella maggior parte dei servizi. Ad esempio, l'immagine presenta dei salti, quindi la ridondanza non è di aiuto. Questo significa che c'è un effetto positivo nell'uso di tecnologie di ridondanza, ma è limitato.
Il fatto è che il tempo di risposta alle azioni dell'utente e del gioco stesso è limitato; il flusso video deve essere continuo. Ripristinare il flusso a una qualità accettabile è impossibile, nonostante gli sforzi dei servizi.
Compaiono artefatti (tentativo di compensare la perdita di pacchetti, i dati sono insufficienti) e ci sono salti nell'immagine.
GFN
La qualità dell'immagine è diminuita notevolmente, con il bitrate chiaramente ridotto, e ciò in modo significativo.
Playkey
Si comporta meglio – probabilmente perché la ridondanza è ben configurata, inoltre l'algoritmo del bitrate considera le perdite non molto elevate e non trasforma l'immagine in una zuppa pixelizzata.
Loudplay
Non si è avviato.
Vortex
È partito, ma con una qualità dell'immagine terribile. Sono molto evidenti i salti e le cadute. Giocare in tali condizioni è quasi impossibile.
Stadia
Le interruzioni sono ben visibili, un chiaro segnale che manca la ridondanza. L'immagine si interrompe, poi appaiono altri fotogrammi, ci sono interruzioni nel flusso video. È possibile giocare, se si ha veramente voglia e una certa inclinazione al masochismo.
Scenario n. 7. Perdite irregolari del 0,5%.
Su 10.000 pacchetti, si perdono consecutivamente 40-70 pacchetti per 50 volte. Perdiamo 50 fotogrammi su 200.
Situazione da “disastro totale”. Il tuo router fa scintille, il provider ha un guasto, i cavi sono stati rosicchiati dai topi, ma vuoi comunque giocare in cloud. Quale servizio dovresti scegliere?
GFN
Giocare è già molto difficile, se non impossibile: il bitrate è notevolmente ridotto. I fotogrammi vanno persi, invece di un'immagine normale vediamo solo «sfocato». I fotogrammi non vengono recuperati: non c'è abbastanza informazione per il ripristino. Se GFN prevede un recupero, la maniera aggressiva con cui il servizio cerca di salvare la situazione tramite il bitrate solleva dubbi sulla sua capacità di gestire la ridondanza.
Playkey
C'è una distorsione dell'immagine, l'immagine tremola, cioè ci sono ripetizioni di elementi di fotogrammi singoli. È evidente che gran parte del 'fotogramma danneggiato' è stata ripristinata da pezzi precedenti. Quindi, nei nuovi fotogrammi ci sono parti di fotogrammi vecchi. Ma l'immagine è comunque abbastanza nitida. È possibile controllare, ma in scene dinamiche, ad esempio in una lotta, dove è necessaria una buona reattività, è difficile.
Loudplay
Non si è avviato.
Vortex
È partito, ma sarebbe stato meglio non partire — non è giocabile.
Stadia
Il servizio in queste condizioni non è giocabile. Le ragioni sono l'obbligo di attendere la costruzione del fotogramma e la scarsa ridondanza.
Chi è il vincitore?
Il rating, ovviamente, è soggettivo. Nei commenti si può discutere. E il primo posto, naturalmente, va al PC locale. Proprio perché i servizi cloud sono estremamente sensibili alla qualità della rete, e questa qualità è piuttosto instabile nel mondo reale, il proprio PC da gioco rimane insuperabile. Ma se per qualche motivo non lo si possiede, consultate il rating.
- PC locale. Prevedibile.
- Playkey
- GeForce Now
- Google Stadia
- Vortex
- Loudplay
Come conclusione, ricordo ancora una volta che gioca un ruolo principale nel gaming in cloud per quanto riguarda la resilienza ai problemi di rete:
- Quale protocollo di rete viene utilizzato. Per la trasmissione dei flussi video è meglio utilizzare UDP. Sospetto che Loudplay utilizzi TCP, anche se non ne sono certo. Ma avete visto i risultati dei test.
- È stata implementata la codifica a tolleranza agli errori? (FEC — Forward Error Correction, noto anche come ridondanza). Anch'esso è importante il modo in cui viene adattato alle perdite di pacchetti. Come abbiamo visto, la qualità dell'immagine dipende notevolmente dall'implementazione.
- Come è configurata l'adattamento della bitrate. Se il servizio salva la situazione principalmente con la bitrate, questo influisce di più sull'immagine. La chiave del successo è un delicato equilibrio tra le manipolazioni della bitrate e la ridondanza.
- Come è configurato il post-processing. Se ci sono problemi, i frame vengono scartati, ripristinati o ricomposti con frammenti di frame precedenti.
- La prossimità dei server al giocatore e la potenza dell'hardware influiscono notevolmente sulla qualità del gioco, ma questo è valido anche per una rete ideale. Se il ping verso i server è troppo alto, anche su una rete ideale non si gioca comodamente. Non abbiamo sperimentato con il ping in questo studio.
Come promesso, ecco il link a.
Fonte: habr.com
