Circa un anno fa ho pubblicato un articolo . Ha analizzato i pro e i contro di vari servizi per il cloud gaming su PC deboli. Ho testato ogni servizio durante il gioco e ho condiviso la mia impressione generale.
Nei commenti a questo e ad altri articoli simili, i lettori spesso condividevano le loro impressioni su vari servizi di gioco. Spesso c'erano opinioni contrastanti sulla stessa cosa. Per alcuni, tutto è perfetto, ma per altri non possono giocare a causa di ritardi e blocchi. Poi mi è venuta l'idea di valutare la qualità di questi servizi in condizioni diverse, da ideali a terribili. Stiamo parlando della qualità delle reti, perché l'utente non può sempre vantare un canale di comunicazione veloce e senza problemi, giusto? In generale, sotto il taglio c'è una valutazione dei servizi con una simulazione della diversa qualità del funzionamento della rete.
Qual è il problema?
Come accennato in precedenza, come connessione. Più precisamente, nella perdita di pacchetti durante il gioco. Più alte sono le perdite, più problemi ha il giocatore, meno è soddisfatto del gioco. Ma è raro che qualcuno disponga di un canale di comunicazione ideale come la fibra ottica per il dispositivo e di una Internet dedicata anziché condivisa tra tutti i residenti di un condominio.
Per riferimento, con una velocità di connessione di 25 Mbit/s, sono necessari 1-40 pacchetti di dati per trasmettere 50 frame/frame. Maggiore è il numero di pacchetti persi, minore sarà la qualità dell'immagine e maggiori saranno i ritardi e i blocchi. In casi particolarmente gravi, diventa semplicemente impossibile giocare.
Naturalmente il servizio cloud stesso non può in alcun modo influenzare l’ampiezza e la stabilità del canale dell’utente (anche se sarebbe comunque fantastico). Ma è possibile immaginare diversi modi per livellare i problemi di comunicazione. Vedremo di seguito quali servizi affrontano meglio il problema.
Cosa stiamo confrontando esattamente?
PC normale (Intel i3-8100, GTX 1060 6 GB, 8 GB RAM), GeForce Now (la sua versione russa con server a Mosca), , , , . Su tutti i servizi tranne Stadia, studiamo la qualità del gioco in The Witcher. Google Stadia non aveva questo gioco al momento in cui scrivo, quindi ho dovuto provarne un altro: Odyssey.
Quali sono le condizioni e la metodologia di prova?
Proviamo da Mosca. Provider - MGTS, tariffa 500 Mbit/s, connessione via cavo, non WiFi. Impostiamo le impostazioni della qualità grafica nei servizi sul valore predefinito, risoluzione – FullHD.
Utilizzando il programma Simuliamo problemi di rete, ovvero perdita di pacchetti di vario tipo e dimensione.
Perdite singole uniformi. Questo avviene quando viene perso solo 1 pacchetto e le perdite sono distribuite più o meno uniformemente. Pertanto, una perdita uniforme del 10% significa che su 100 pacchetti, ogni 10 pacchetti vengono persi, ma sempre solo 1 pacchetto. Il problema di solito si manifesta quando c'è una distorsione (schermatura) sul canale dal client al server.
Testiamo perdite uniformi del 5%, 10%, 25%.
Perdite di massa irregolari, quando in qualsiasi momento 40-70 pacchetti consecutivi vengono immediatamente persi. Tali perdite si verificano molto spesso quando si verificano problemi con le apparecchiature di rete (router, ecc.) dell'utente o del fornitore. Può essere associato a un buffer overflow delle apparecchiature di rete sulla linea di comunicazione utente-server. Anche il WiFi con pareti spesse può causare tali perdite. Un altro motivo, tipico degli uffici e dei condomini, è la congestione della rete wireless dovuta alla presenza di un gran numero di dispositivi.
Testiamo perdite irregolari dello 0,01%, 0,1%, 0,5%.
Di seguito analizzo tutti questi casi e allego un video confronto per chiarezza. E alla fine dell'articolo fornisco un collegamento a video di gameplay grezzi e inediti di tutti i servizi e casi: lì puoi guardare gli artefatti in modo più dettagliato, nonché informazioni tecniche (in tutti i servizi tranne Stadia, i dati del tecnico console è registrata; Stadia non l'ha trovata).
Andiamo!
Di seguito sono riportati 7 scenari di stress test e un video con timestamp (il video è lo stesso, per comodità, in ogni punto la visualizzazione inizia dal momento giusto). Alla fine del post ci sono i video originali per ciascuno dei servizi. Un buon amico mi ha aiutato a realizzare il video, per il quale lo ringrazio!
Scenario 1. Condizioni ideali. Zero perdite nella rete
Tutto è come dovrebbe essere in un mondo ideale. Non ci sono problemi di connessione, nemmeno una interruzione, nessuna interferenza, il tuo punto di accesso è il faro di Internet. In tali condizioni di serra, quasi tutti i partecipanti al test si comportano bene.
PC
Per ogni scenario abbiamo preso come riferimento le riprese del gioco per PC. È chiaro che la qualità della rete non influisce in alcun modo; il gioco gira localmente sul PC. La presenza di questi frame risponde alla domanda "c'è differenza quando si gioca nel cloud rispetto a giocare sul PC?". In condizioni ideali, nel nostro caso, ciò non viene percepito dalla maggior parte dei servizi. Non scriveremo nulla sul PC di seguito, ricordiamo solo che esiste.
GeForce Now
Va tutto bene, l'immagine è chiara, il processo procede senza intoppi, senza fregi.
Vortice
Il vortice sta rovinando il nostro mondo ideale. Ha subito iniziato ad avere problemi: l'immagine era peggiore di tutte le altre, inoltre i "freni" erano chiaramente visibili. Un possibile problema è che i server di gioco si trovano lontano da Mosca, inoltre l'hardware sui server di gioco sembra essere più debole e non gestisce bene il FullHD. Vortex ha funzionato male in tutti i test. Se qualcuno ha un'esperienza positiva giocando con Vortex, scrivi nei commenti, condividi da dove hai giocato e come è andato tutto bene.
Playkey
Tutto va bene, proprio come su un PC locale. Problemi visibili come blocchi, ritardi, ecc. NO.
gioco ad alto volume
Il servizio mostra un'immagine eccellente, non ci sono problemi visibili.
Stadia
Il servizio di gioco di Google funziona perfettamente nonostante non disponga di server nella Federazione Russa e, in generale, Stadia non funziona ufficialmente in Russia. Tuttavia, va tutto bene. È un peccato, ovviamente, che "The Witcher" non fosse disponibile su Stadia al momento del gioco, ma cosa puoi farci, hanno preso "Odyssey" - anch'esso impegnativo, anche su un uomo che fa a pezzi persone e animali.
Scenario n. 2. Perdita uniforme 5%
In questo test, su 100 pacchetti, circa uno ogni 20 viene perso. Lascia che ti ricordi che per eseguire il rendering di un fotogramma sono necessari 40-50 pacchetti.
GeForce Now
Il servizio di Nvidia va bene, nessun problema. L'immagine è un po' più sfocata di quella di Playkey, ma The Witcher è ancora giocabile.
Vortice
È qui che le cose sono peggiorate ancora. Il motivo non è del tutto chiaro: molto probabilmente la ridondanza non è prevista oppure è minima. La ridondanza è la codifica resistente al rumore dei dati inoltrati (FEC - Forward Error Correction). Questa tecnologia recupera i dati quando vengono parzialmente persi a causa di problemi di rete. Può essere implementato e configurato in diversi modi e, a giudicare dai risultati, i creatori di Vortex non ci sono riusciti. Non sarai in grado di giocare nemmeno con perdite minuscole. Durante i test successivi, Vortex semplicemente “morì”.
Playkey
Va tutto bene, non c'è alcuna differenza significativa rispetto alle condizioni ideali. Forse aiuta il fatto che i server dell’azienda si trovino a Mosca, dove sono stati effettuati i test. Ebbene, forse la ridondanza di cui sopra è meglio configurata.
gioco ad alto volume
Il servizio è diventato improvvisamente ingiocabile, nonostante le perdite di pacchetti relativamente basse. Cosa può esserci di sbagliato? Presumo che Loudplay funzioni con il protocollo TCP. In questo caso, mentre non c'è conferma di ricezione del pacco, non vengono inviati altri pacchi, il sistema attende la conferma di consegna. Pertanto, se un pacco viene smarrito, non ci sarà alcuna conferma della sua consegna, non verranno inviati nuovi pacchi, l'immagine diventerà vuota, fine della storia.
Ma se usi UDP, non sarà necessaria la conferma della ricezione del pacchetto. Per quanto si può giudicare, tutti gli altri servizi tranne Loudplay utilizzano il protocollo UDP. Se così non fosse, correggimi nei commenti.
Stadia
Tutto è giocabile. A volte l'immagine diventa pixelata e si verificano ritardi minimi nella risposta. Forse la codifica immune al rumore non funziona perfettamente, da qui i piccoli artefatti quando l'intero streaming è riproducibile.
Scenario n. 3. Perdita uniforme 10%
Perdiamo ogni 10 pacchetti su cento. Questa è già una sfida per i servizi. Per gestire efficacemente tali perdite, sono necessarie tecnologie per recuperare e/o inviare nuovamente i dati persi.
GeForce Now
GeForce sta riscontrando lievi cali nella qualità del flusso video. Per quanto ne sappiamo, GFN sta rispondendo ai problemi di rete cercando di mitigarli. Il servizio riduce il bitrate, ovvero il numero di bit per la trasmissione dei dati. In questo modo cerca di ridurre il carico su quella che ritiene una rete di qualità non sufficientemente elevata e di mantenere una connessione stabile. E non ci sono davvero dubbi sulla stabilità, ma la qualità video ne risente notevolmente. Vediamo una significativa pixelizzazione dell'immagine. Ebbene, poiché la modellazione presuppone una perdita costante del 10% di pacchetti, ridurre il bitrate non aiuta molto, la situazione non torna alla normalità.
Nella vita reale, molto probabilmente l'immagine non sarà costantemente negativa, ma fluttuante. Le perdite sono aumentate: l'immagine è diventata sfocata; le perdite sono state ridotte: l'immagine è tornata alla normalità e così via. Questo ovviamente non va bene per l'esperienza di gioco.
Playkey
Non ci sono problemi particolari. Probabilmente l'algoritmo rileva i problemi sulla rete, determina il livello delle perdite e si concentra maggiormente sulla ridondanza piuttosto che sulla riduzione del bitrate. Si scopre che con perdite uniformi del 10%, la qualità dell'immagine rimane praticamente invariata, è improbabile che l'utente noti tali perdite.
gioco ad alto volume
Non funziona, semplicemente non è iniziato. Durante gli ulteriori accertamenti la situazione si ripeté. Per quanto si può giudicare, questo servizio non si adatta in alcun modo ai problemi della rete. Forse la colpa è del protocollo TCP. La minima perdita paralizzerà completamente il servizio. Non molto pratico per la vita reale, ovviamente.
Vortice
Anche grossi problemi. Non puoi giocare in tali condizioni, anche se l'immagine è ancora lì e il personaggio continua a correre, anche se a scatti. Penso che si tratti della stessa ridondanza mal implementata o mancante. Spesso i pacchetti vengono persi e non possono essere recuperati. Di conseguenza, la qualità dell'immagine scende a un livello non riproducibile.
Stadia
Sfortunatamente, qui va tutto male. C'è un'interruzione nel flusso, motivo per cui gli eventi sullo schermo si verificano a scatti, rendendo estremamente difficile il gioco. Si può presumere che il problema sia sorto, come nel caso di Vortex, a causa di una ridondanza minima o assente. Mi sono consultato con un paio di amici che sono "al corrente", hanno detto che molto probabilmente Stadia sta aspettando che il telaio sia completamente assemblato. A differenza di GFN, non cerca di salvare la situazione abbassando completamente il bitrate. Di conseguenza, non ci sono artefatti, ma appaiono blocchi e ritardi (GFN, al contrario, ha meno fregi/ritardi, ma a causa del bitrate basso l'immagine è completamente poco attraente).
Anche altri servizi sembrano non aspettare che il telaio sia completamente assemblato, sostituendo la parte mancante con un frammento del vecchio telaio. Questa è una buona soluzione, nella maggior parte dei casi l'utente non noterà il problema (30+ fotogrammi cambiano al secondo), anche se a volte potrebbero verificarsi degli artefatti.
Scenario n. 4. Perdita uniforme 25%
Un pacchetto su quattro viene perso. Sta diventando sempre più spaventoso e interessante. In generale, con una connessione così "perdente", i normali giochi nel cloud difficilmente sono possibili. Sebbene alcuni partecipanti al confronto se la cavino, anche se non perfettamente.
Gfn
I problemi sono già abbastanza evidenti. L'immagine è pixelata e sfocata. Puoi ancora giocare, ma non è affatto quello che GFN offriva all'inizio. E sicuramente non è così che dovrebbero essere giocati i giochi più belli. La bellezza non può più essere apprezzata.
Playkey
Il gioco sta andando bene. C'è morbidezza, anche se l'immagine soffre un po'. A proposito, in alto a sinistra ci sono i numeri che mostrano quanti pacchetti persi vengono recuperati. Come puoi vedere, il 96% dei pacchetti viene ripristinato.
gioco ad alto volume
Non è iniziato.
Vortice
Non puoi giocare nemmeno con un desiderio molto forte, i blocchi (congelamento dell'immagine, ripresa del flusso video da un nuovo frammento) sono ancora più evidenti.
Stadia
Il servizio è praticamente ingiocabile. Le ragioni sono già state menzionate sopra. In attesa dell'assemblaggio del telaio, la ridondanza è minima, con tali perdite non è sufficiente.
Scenario n.5. Perdita irregolare 0,01%.
Per ogni 10 pacchetti, se ne perdono 000-1 consecutivi. Cioè, perdiamo circa 40 fotogramma su 70. Succede quando il buffer di un dispositivo di rete è pieno e tutti i nuovi pacchetti vengono semplicemente scartati (eliminati) finché il buffer non viene liberato. Tutti i partecipanti al confronto, ad eccezione di Loudplay, hanno compensato tali perdite in un modo o nell'altro.
Gfn
L'immagine ha perso un po' di qualità ed è diventata un po' torbida, ma tutto è abbastanza riproducibile.
Playkey
Tutto è molto buono L'immagine è fluida, l'immagine è buona. Puoi giocare senza problemi.
gioco ad alto volume
Nei primi secondi c'era una foto, l'eroe correva persino. Ma la connessione con il server si è interrotta quasi immediatamente. Oh, questo protocollo TCP. La primissima perdita ha distrutto il servizio alla radice.
Vortice
Si osservano i soliti problemi. Fregi, ritardi e basta. Sarebbe molto difficile giocare in queste condizioni.
Stadia
Giocabile. Si notano piccoli svantaggi, l'immagine a volte è pixelata.
Scenario n.6. Perdite irregolari 0,1%
Per 10 pacchetti, 000-10 pacchetti consecutivi vengono persi 40 volte. Si scopre che perdiamo 70 fotogrammi su 10.
Dirò subito che la maggior parte dei servizi presenta problemi evidenti. Ad esempio, l'immagine si muove, quindi la ridondanza non aiuta qui. Cioè, c'è un effetto positivo quando si utilizza la tecnologia di ridondanza, ma è piccolo.
Il fatto è che il tempo di reazione alle azioni dell'utente e al gioco stesso è limitato, il flusso video deve essere continuo. È impossibile ripristinare il flusso a una qualità accettabile nonostante gli sforzi dei servizi.
Appaiono artefatti (un tentativo di compensare la perdita di pacchetti, non ci sono abbastanza dati) e immagini a scatti.
Gfn
La qualità dell'immagine è diminuita notevolmente, il bitrate è stato chiaramente ridotto e in modo abbastanza significativo.
Playkey
Se la cava meglio, probabilmente perché la ridondanza è ben configurata, inoltre l'algoritmo del bitrate considera le perdite non molto elevate e non trasforma l'immagine in un pasticcio pixelato.
gioco ad alto volume
Non è iniziato.
Vortice
È iniziato, ma con una qualità dell'immagine terribile. Scosse e cedimenti sono molto evidenti. Difficilmente è possibile giocare in tali condizioni.
Stadia
I cretini sono chiaramente visibili, questo è un chiaro indicatore che non c'è abbastanza ridondanza. L'immagine si blocca, quindi vengono visualizzati altri fotogrammi e il flusso video si interrompe. In linea di principio, puoi giocare se hai un grande desiderio e una tendenza clinica all'autotortura.
Scenario n.7. Perdite irregolari 0,5%
Per 10 pacchetti 000 volte, si perdono 50-40 pacchetti consecutivi. Perdiamo 70 fotogrammi su 50.
Una situazione della classe “uniformemente incasinata”. Il tuo router funziona, il tuo ISP non funziona, i tuoi cavi vengono masticati dai topi, ma vuoi comunque giocare nel cloud. Quale servizio dovresti scegliere?
Gfn
È già molto difficile, se non impossibile, giocare: il bitrate è stato notevolmente ridotto. Si perdono le cornici, invece di una foto normale vediamo “sapone”. Le cornici non vengono ripristinate: non ci sono informazioni sufficienti per il restauro. Ammesso che il GFN preveda il recupero. Il modo in cui il servizio cerca aggressivamente di salvare la situazione con i bitrate fa sorgere dubbi sulla sua volontà di lavorare con ridondanza.
Playkey
C'è una distorsione del fotogramma, l'immagine si contrae, cioè gli elementi dei singoli fotogrammi vengono ripetuti. Si può notare che gran parte del telaio “rotto” è stato restaurato da pezzi del precedente. Cioè, i nuovi frame contengono parti dei vecchi frame. Ma l’immagine è più o meno chiara. Puoi controllarlo, ma nelle scene dinamiche, ad esempio in un combattimento, dove hai bisogno di una buona reazione, è difficile.
gioco ad alto volume
Non è iniziato.
Vortice
È iniziato, ma sarebbe meglio non iniziare: non puoi giocarci.
Stadia
Il servizio in tali condizioni è ingiocabile. Le ragioni sono la necessità di attendere l'assemblaggio del telaio e la scarsa ridondanza.
Chi è il vincitore?
La valutazione è, ovviamente, soggettiva. Puoi discutere nei commenti. Bene, il primo posto, ovviamente, va al PC locale. È proprio perché i servizi cloud sono estremamente sensibili alla qualità della rete, e questa qualità è piuttosto instabile nel mondo reale, che il tuo PC da gioco rimane ineguagliabile. Ma se per qualche motivo non è presente, guarda la valutazione.
- PC locale. Previsto.
- Playkey
- GeForce Now
- Stadi di Google
- Vortice
- gioco ad alto volume
In conclusione, vorrei ricordarvi ancora una volta cosa gioca un ruolo importante nel cloud gaming in termini di resistenza ai problemi di rete:
- Quale protocollo di rete viene utilizzato. È meglio utilizzare UDP per trasmettere un flusso video. Sospetto che Loudplay utilizzi TCP, anche se non ne sono sicuro. Ma hai visto i risultati del test.
- È implementata una codifica resistente al rumore? (FEC - Forward Error Correction, detta anche ridondanza). Anche il modo in cui si adatta alla perdita di pacchetti è importante. Come abbiamo visto, la qualità dell'immagine dipende in modo significativo dall'implementazione.
- Come è configurato l'adattamento del bitrate. Se il servizio salva la situazione principalmente con il bitrate, ciò ha un effetto maggiore sull'immagine. La chiave del successo è il delicato equilibrio tra manipolazione del bitrate e ridondanza.
- Come è impostata la post-elaborazione. Se sorgono problemi, i telai vengono ripristinati, ripristinati o riassemblati con frammenti di vecchi telai.
- Vicinanza dei server ai giocatori e potenza dell'hardware influiscono notevolmente anche sulla qualità del gioco, ma questo vale anche per una rete ideale. Se il ping sui server è troppo alto, non potrai giocare comodamente nemmeno su una rete ideale. Non abbiamo sperimentato il ping in questo studio.
Come promesso ecco il link.
Fonte: habr.com