Circa un anno fa ho pubblicato un articolo . In esso analizzavo i pro e i contro di diversi servizi per giochi in cloud su PC poco potenti. Durante il gioco ho testato ogni servizio e alla fine ho condiviso le mie impressioni generali.
Nei commenti a quell'articolo e ad altri simili, i lettori spesso condividevano le loro impressioni su diversi servizi di gioco. Non di rado si trovavano opinioni opposte sullo stesso servizio. Per alcuni tutto è perfetto, mentre altri non possono giocare a causa di lag e freeze. Allora mi è venuta l'idea di valutare la qualità del funzionamento di questi servizi in diverse condizioni — da quelle ideali a quelle terribili. Si parla della qualità delle reti, poiché non sempre l'utente può vantare una connessione veloce e senza problemi, giusto? In generale, qui sotto troverete una valutazione dei servizi con simulazione di diverse qualità della rete.
Qual è il problema?
Come già detto, riguarda la qualità della connessione. E più precisamente, la perdita di pacchetti durante il gioco. Maggiore è la perdita, maggiori sono i problemi per il gamer, minore è la soddisfazione nel gioco. È raro infatti trovare qualcuno con una connessione perfetta come quella in fibra ottica fino al dispositivo, e con internet dedicato, non condiviso con tutti gli abitanti di un condominio.
Per riferimento, a una velocità di connessione di 25 Mbps, per inviare 1 frame/ fotogramma servono 40-50 pacchetti di dati. Maggiore è la perdita di pacchetti, meno qualitativa diventa l'immagine e più evidenti sono i lag e i freeze. In casi particolarmente gravi, giocare diventa semplicemente impossibile.
Naturalmente, il servizio cloud stesso non può influenzare la larghezza e la stabilità della connessione dell'utente (anche se sarebbe fantastico, ovviamente). Ma si possono prevedere vari modi per mitigare i problemi di connessione. Quali servizi si comportano meglio riguardo a questo problema — lo scopriremo più avanti.
Cosa stiamo confrontando?
Un PC normale (Intel i3-8100, GTX 1060 6 GB, 8GB RAM), GeForce Now (la sua versione russa con server a Mosca), , , , . Su tutti i servizi, tranne Stadia, esaminiamo la qualità del gioco in «The Witcher». Google Stadia, al momento della scrittura di questo articolo, non aveva questo gioco, quindi è stato necessario testare un altro — «Odyssey».
Quali sono le condizioni e la metodologia di test?
Stiamo testando da Mosca. Fornitore — MGTs, piano 500 Mbit/s, connessione via cavo, non WiFi. Prendiamo le impostazioni di qualità grafica nei servizi per impostazione predefinita, risoluzione — FullHD.
Utilizzando il programma simuliamo problemi di rete, in particolare, perdite di pacchetti di vari tipi e volumi.
Perdite singole uniformi. Questo è quando si perde solo 1 pacchetto e le perdite sono distribuite in modo più o meno uniforme. Quindi, una perdita uniforme del 10% significa che su 100 pacchetti, ogni 10° si perde, ma sempre solo 1 pacchetto. Il problema di solito si manifesta con distorsioni (schermatura) nel canale dal client al server.
Testiamo perdite uniformi del 5%, 10%, 25%.
Perdite di massa non uniformi, quando in un certo momento si perdono immediatamente 40-70 pacchetti consecutivamente. Queste perdite si verificano più frequentemente a causa di problemi con l’hardware di rete (router, ecc.) dell'utente o del fornitore. Possono essere legate al sovraccarico del buffer dell'hardware di rete sulla linea di comunicazione "utente — server". Anche il WiFi con pareti spesse può causare tali perdite. Il sovraccarico della rete wireless a causa di un gran numero di dispositivi è un’altra causa che si riscontra frequentemente negli uffici e nei condomini.
Testiamo perdite non uniformi dello 0,01%, 0,1%, 0,5%.
Di seguito analizzerò tutti questi casi e allegherò un confronto video per una maggiore chiarezza. Alla fine dell'articolo fornisco un link ai video grezzi e non montati del gameplay da tutti i servizi e casi — lì è possibile esaminare in dettaglio gli artefatti, nonché le informazioni tecniche (in tutti i servizi, tranne Stadia, sono registrati i dati della console tecnica; per Stadia non ne ho trovati).
Andiamo!
Di seguito — 7 scenari di stress test e video con timestamp (il video è lo stesso, per comodità in ogni punto la visione inizia dal momento necessario). Alla fine del post — i video originali per ciascuno dei servizi. Un buon amico mi ha aiutato a realizzare il video, grazie a lui!
Scenario n. 1. Condizioni ideali. Nessuna perdita nella rete
Tutto come dovrebbe essere in un mondo ideale. Non ci sono problemi di connessione, nessun disguido, nessuna interferenza, il tuo punto di accesso è il faro di internet. In queste condizioni ottimali, quasi tutti i partecipanti al test si comportano in modo degno.
PC
In ogni scenario abbiamo preso frame dal gioco su PC come riferimento. È chiaro che la qualità della rete non influisce su di esso, il gioco si avvia localmente su PC. La presenza di questi frame risponde alla domanda "si percepisce la differenza giocando nel cloud rispetto a giocare sul proprio PC". In condizioni ideali, nel nostro caso — non si percepisce per la maggior parte dei servizi. Di seguito non parleremo più di PC, basta ricordare che esiste.
GeForce Now
Tutto bene, l'immagine è nitida, il processo procede senza intoppi, senza freeze.
Vortex
Ecco che Vortex rovina il nostro mondo ideale. Ha subito avuto problemi: l'immagine è peggiore rispetto a tutte le altre, inoltre si notano bene i "lag". Il possibile problema è che i server di gioco si trovano lontano da Mosca e l'hardware sui server di gioco sembra più debole e gestisce male il FullHD. In tutti i test Vortex ha mostrato prestazioni deludenti. Se qualcuno ha un'esperienza positiva di gioco con Vortex — scrivete nei commenti, condividete da dove avete giocato e come è andata.
Playkey
Tutto perfetto, proprio come su un PC locale. Non ci sono problemi visibili come freeze, lag, ecc.
Loudplay
Il servizio mostra un'immagine eccellente, non ci sono problemi visibili.
Stadia
Il servizio di gioco di Google funziona perfettamente nonostante non abbia server in RF, e in effetti Stadia non è ufficialmente disponibile in Russia. Tuttavia, tutto va bene. È un peccato che "The Witcher" non fosse disponibile su Stadia al momento del gioco, ma che ci posso fare, abbiamo preso "Odyssey" — anch'essa esigente, e parla di un uomo che taglia persone e animali.
Scenario n. 2. Perdite uniformi del 5%
In questo test circa ogni 20 pacchetti viene perso. Ricordo che per il rendering di un frame sono necessari 40-50 pacchetti.
GeForce Now
Il servizio di Nvidia va bene, non ci sono problemi. L'immagine è leggermente più sfocata rispetto a Playkey, ma "The Witcher" è ancora giocabile.
Vortex
Qui la situazione è diventata ancora peggiore. Perché — non è del tutto chiaro, molto probabilmente non è prevista ridondanza o è minima. La ridondanza è la codifica resistente agli errori dei dati trasmessi (FEC — Forward Error Correction). Questa tecnologia ripristina i dati parzialmente persi a causa di problemi di rete. Implementarla e configurarla può essere fatto in modi diversi, e a giudicare dai risultati, i creatori di Vortex non sono riusciti in questo. Anche con perdite uniformi minime, non è possibile giocare. Nei successivi test Vortex è semplicemente "morto".
Playkey
Tutto va bene, non c'è molta differenza rispetto alle condizioni ideali. Forse è utile che i server dell'azienda siano situati anche a Mosca, da dove sono stati effettuati i test. E forse la ridondanza menzionata sopra è meglio configurata.
Loudplay
Il servizio è diventato drasticamente non giocabile, nonostante le relativamente basse perdite di pacchetti. Qual è il problema? Presumo che Loudplay utilizzi il protocollo TCP. In questo caso, finché non c'è conferma di ricezione del pacchetto, altri pacchetti non vengono inviati, il sistema aspetta la conferma di consegna. Pertanto, se un pacchetto si è perso, non ci sarà conferma della sua consegna, nuovi pacchetti non verranno inviati, l'immagine si bloccherà, fine della storia.
Ma se si utilizza UDP, non sarà necessaria alcuna conferma di ricezione del pacchetto. A quanto pare, tutti gli altri servizi, tranne Loudplay, utilizzano il protocollo UDP. Se non è così, correggetemi nei commenti, per favore.
Stadia
È giocabile. A volte l'immagine è pixelata, ci sono minime latenze di risposta. Forse la codifica per la resistenza ai disturbi non funziona perfettamente, da qui alcuni artefatti non significativi in un flusso complessivamente giocabile.
Scenario n. 3. Perdite uniformi del 10%
Perdiamo ogni 10° pacchetto su cento. Questa è già una sfida per i servizi. Per gestire efficacemente tali perdite, sono necessari tecnologi per il recupero e/o la ritrasmissione dei dati persi.
GeForce Now
Con Geforce ci sono alcune piccole flessioni nella qualità del flusso video. A quanto pare, GFN reagisce ai problemi di rete cercando di ridurli. Il servizio diminuisce il bit rate, cioè il numero di bit per la trasmissione dei dati. In questo modo cerca di ridurre il carico su una rete considerata non sufficientemente di qualità e mantenere una connessione stabile. E sulla stabilità non ci sono davvero domande, ma la qualità del video ne risente in modo significativo. Vediamo una notevole pixelazione dell'immagine. E poiché la simulazione prevede una continua perdita del 10% dei pacchetti, la diminuzione del bit rate non aiuta molto, la situazione non torna alla normalità.
Nella vita reale, l'immagine sarà probabilmente instabile e variabile. Aumentando le perdite, l'immagine si annebbi; riducendo le perdite, l'immagine torna alla normalità e così via. Questo non giova affatto all'esperienza di gioco.
Playkey
Non ci sono problemi particolari. Probabilmente, l'algoritmo rileva i problemi sulla rete, determina il livello di perdita e si concentra di più sulla ridondanza piuttosto che sulla riduzione del bitrate. Risultato: con il 10% di perdite uniformi, la qualità dell'immagine praticamente non cambia, l'utente difficilmente noterà tali perdite.
Loudplay
Non funziona, non è semplicemente partito. Nel corso di ulteriori test, la situazione si è ripetuta. Da quanto si può dedurre, questo servizio non si adatta in alcun modo ai problemi di rete. Potrebbe essere colpa del protocollo TCP. Anche le minime perdite paralizzano completamente il servizio. Non è molto pratico per la vita reale, ovviamente.
Vortex
Ci sono anche grossi problemi. Non si può giocare in queste condizioni, anche se l'immagine è ancora presente e il personaggio continua a correre, ma in modo discontinuo. Penso che sia tutto legato alla stessa mancanza di ridondanza o alla sua cattiva implementazione. I pacchetti si perdono frequentemente e non vengono recuperati. Di conseguenza, la qualità dell'immagine degrada a livelli ingiocabili.
Stadia
Sfortunatamente, qui la situazione è critica. Si osservano interruzioni del flusso, per cui gli eventi sullo schermo si verificano a scatti, giocare è estremamente difficile. Si può ipotizzare che il problema sia sorto, come nel caso di Vortex, a causa della minima ridondanza o della sua assenza. Ho consultato un paio di persone che sono 'del settore' e hanno affermato che Stadia aspetta probabilmente la completa compilazione del fotogramma. A differenza di GFN, non cerca di rimediare abbassando drasticamente il bitrate. Di conseguenza, non ci sono artefatti, ma si verificano freeze e lag (al contrario di GFN, che presenta meno freeze/lag, ma a causa del basso bitrate l'immagine risulta poco attraente).
Anche gli altri servizi non sembrano aspettare la completa compilazione del fotogramma, sostituendo la parte mancante con un frammento di un vecchio fotogramma. Questa è una buona soluzione, nella maggior parte dei casi l'utente non nota il tranello (si cambiano 30+ fotogrammi al secondo), anche se a volte possono comparire artefatti.
Scenario n. 4. Perdite uniformi del 25%.
Si perde ogni quarto pacchetto. La situazione diventa sempre più preoccupante. In effetti, con una connessione così 'difettosa', è difficilmente possibile giocare normalmente nel cloud. Anche se alcuni partecipanti al confronto si destreggiano, anche se non in modo perfetto.
GFN
I problemi sono già abbastanza evidenti. L'immagine è pixelata e sfocata. Si può ancora giocare, ma non è più quello che GFN offriva all'inizio. E non è affatto il modo giusto di giocare a giochi belli. La bellezza non può più essere apprezzata.
Playkey
Il gameplay va abbastanza bene. La fluidità c'è, anche se l'immagine ne risente un po'. A proposito, in alto a sinistra ci sono i numeri che indicano quanti pacchetti persi vengono ripristinati. Come vediamo, il 96% dei pacchetti viene ripristinato.
Loudplay
Non si è avviato.
Vortex
Non si può giocare nemmeno con un grande desiderio, i freeze (interruzione dell'immagine, ripresa del flusso video da un nuovo frammento) sono ancor più evidenti.
Stadia
Il servizio è praticamente ingiocabile. Le ragioni sono già state descritte sopra. Aspetta il montaggio del fotogramma, l'eccesso è minimo, con tali perdite non è sufficiente.
Scenario n. 5. Perdite irregolari dello 0,01%.
Su 10.000 pacchetti, 1 volta si perdono 40-70 pacchetti consecutivamente. Quindi perdiamo circa 1 fotogramma ogni 200. A volte succede che il buffer del dispositivo di rete è pieno e tutti i nuovi pacchetti vengono semplicemente scartati (dropped) finché il buffer non si libera. Tutti i partecipanti al confronto, tranne Loudplay, hanno gestito queste perdite in un modo o nell'altro.
GFN
L'immagine ha perso leggermente qualità, è diventata un po' offuscata, ma è tutto abbastanza giocabile.
Playkey
Tutto molto bene. L'immagine è fluida, la qualità è buona. Si può giocare senza problemi.
Loudplay
Nei primi secondi l'immagine era presente, il personaggio ha anche corso. Ma la connessione con il server è stata presto persa. Ah, questo protocollo TCP. La prima perdita ha bloccato il servizio sul nascere.
Vortex
Si notano i problemi abituali. Freeze, lag e tutto il resto. Giocare sarebbe davvero molto difficile in tali condizioni.
Stadia
Giocabile. Si notano piccole flessioni, l'immagine a volte si pixelizza.
Scenario n. 6. Perdite irregolari dello 0,1%.
Su 10.000 pacchetti, si perdono 10 volte consecutivamente 40-70 pacchetti. Risultato: perdiamo 10 fotogrammi ogni 200.
Dico subito che problemi evidenti sono emersi nella maggior parte dei servizi. Ad esempio, l'immagine si blocca, quindi l'eccesso qui non aiuta più. C'è un effetto positivo nell'uso della tecnologia di eccesso, ma è ridotto.
Il fatto è che il tempo di reazione alle azioni dell'utente e del gioco stesso è limitato, il flusso video deve essere continuo. Ripristinare il flusso a una qualità accettabile è impossibile nonostante gli sforzi dei servizi.
Compaiono artefatti (tentativo di compensare la perdita di pacchetti, mancano dati) e scatti nell'immagine.
GFN
La qualità dell'immagine è notevolmente diminuita, il bitrate è chiaramente ridotto, e in modo significativo.
Playkey
Gestisce meglio — probabilmente perché è impostata correttamente la ridondanza, inoltre l'algoritmo del bitrate considera le perdite non molto elevate e non trasforma l'immagine in una zuppa pixelata.
Loudplay
Non si è avviato.
Vortex
È partito, ma con una qualità dell'immagine terribile. Gli scatti e le cadute sono molto evidenti. Giocare in queste condizioni è probabilmente impossibile.
Stadia
Gli scatti sono ben evidenti, è un chiaro indicatore che la ridondanza non è sufficiente. L'immagine si ferma, poi appaiono altri fotogrammi, si verifica un'interruzione del flusso video. Giocare, in linea di principio, è possibile, se si ha una grande voglia e una tendenza clinica all'autoinflizione.
Scenario n. 7. Perdite irregolari 0,5%
Su 10.000 pacchetti si perdono consecutivamente 40-70 pacchetti 50 volte. Perdiamo 50 fotogrammi su 200.
Situazione da “veramente da incubo”. Il tuo router fa scintille, il provider ha un guasto, i cavi sono stati rosicchiati dai topi, ma vuoi comunque giocare nel cloud. Quale servizio dovresti scegliere?
GFN
Giocare è già molto difficile, se non del tutto possibile — il bitrate è notevolmente abbassato. Si perdono fotogrammi, invece di un'immagine normale vediamo 'sfocato'. I fotogrammi non si ripristinano — manca l'informazione per il recupero. Se GFN prevede un recupero, la modalità con cui il servizio cerca di salvare la situazione con il bitrate solleva dubbi sulla sua capacità di gestire la ridondanza.
Playkey
C'è una distorsione nel fotogramma, l'immagine salta, cioè si ripetono elementi di fotogrammi singoli. Si vede che gran parte del 'fotogramma danneggiato' è stata ripristinata da pezzi di quello precedente. Cioè nei nuovi fotogrammi ci sono parti di fotogrammi vecchi. Ma l'immagine è relativamente chiara. Si può gestire, ma in scene dinamiche, ad esempio, in una rissa, dove è necessaria una buona reazione — è difficile.
Loudplay
Non si è avviato.
Vortex
È partito, ma sarebbe meglio non fosse mai partito — giocare a questo è impossibile.
Stadia
Il servizio in queste condizioni è ingiocabile. Le ragioni sono la necessità di attendere la costruzione del fotogramma e la scarsa ridondanza.
Chi è il vincitore?
Il punteggio è, ovviamente, soggettivo. Nei commenti si può discutere. E il primo posto, naturalmente, spetta al PC locale. Questo perché i servizi cloud sono estremamente sensibili alla qualità della rete, e questa qualità è piuttosto instabile nel mondo reale; il proprio PC da gioco rimane senza concorrenza. Ma se per qualche motivo non lo avete, allora consultate la classifica.
- PC locale. Prevedibile.
- Playkey
- GeForce Now
- Google Stadia
- Vortex
- Loudplay
Come conclusione, ricordo ancora che il fattore principale nel cloud gaming in termini di resilienza ai problemi di rete è:
- Quale protocollo di rete viene utilizzato. Per la trasmissione del flusso video, è meglio utilizzare UDP. Sospetto che Loudplay utilizzi TCP, anche se non ne sono sicuro. Ma avete visto i risultati dei test.
- È stata implementata la codifica a prova di errore (FEC – Forward Error Correction, noto anche come ridondanza). È importante anche il modo in cui viene regolata in base alla perdita di pacchetti. Come abbiamo visto, la qualità dell'immagine dipende significativamente dall'implementazione.
- Come è impostata l'adattamento del bitrate. Se il servizio risolve la situazione principalmente attraverso il bitrate, ciò influisce maggiormente sull'immagine. La chiave del successo è un fragile equilibrio tra le manovre del bitrate e la ridondanza.
- Come è impostata la post-elaborazione. Se si verificano problemi, i fotogrammi vengono scartati, ripristinati o recuperati da frammenti di fotogrammi precedenti.
- La vicinanza dei server al giocatore e la potenza dell'hardware influenzano notevolmente la qualità del gioco, ma è vero anche per una rete ideale. Se il ping ai server è troppo alto, anche su una rete ideale non è possibile giocare in modo confortevole. In questa ricerca non abbiamo fatto esperimenti sul ping.
Come promesso, ecco il link a.
Fonte: habr.com
