Jeux en cloud : test de stress de 5 services de jeux en cloud avec une mauvaise connexion Internet

Il y a environ un an, j'ai publié un article «Jeux en cloud : évaluation des possibilités des services pour jouer sur de vieux PC». Dans cet article, j'analysais les avantages et les inconvénients de différents services de jeux en cloud sur de vieux PC. Au cours du jeu, j'ai testé chaque service et partagé mes impressions générales à la fin.

Dans les commentaires de cet article et d'autres articles similaires, les lecteurs ont souvent partagé leurs impressions sur différents services de jeux. Souvent, des opinions opposées sur le même service ont été exprimées. Pour certains, tout va parfaitement, tandis que d'autres ne peuvent pas jouer en raison de ralentissements ou de gel. À ce moment-là, j'ai eu l'idée d'évaluer la qualité de fonctionnement de ces services dans différentes conditions — des idéales aux terribles. Il s'agit de la qualité des réseaux, car il n'est pas toujours possible pour l'utilisateur de se vanter d'une connexion rapide et sans problèmes, n'est-ce pas ? Donc, ci-dessous, vous trouverez une évaluation des services avec une simulation de différentes qualités de réseau.

Quel est le problème ici ?

Comme mentionné ci-dessus — c'est la qualité de la connexion. Plus précisément — la perte de paquets pendant le jeu. Plus la perte est élevée, plus le gamer rencontre de problèmes, et moins il est satisfait de son expérience de jeu. Et il est rare que quelqu'un ait une connexion idéale comme la fibre optique jusqu'à son appareil, avec une bande passante dédiée, et non partagée entre tous les habitants de l'immeuble.

Pour info — avec une vitesse de connexion de 25 Mbit/s, il faut 40 à 50 paquets de données pour transmettre une image/image. Plus il y a de paquets perdus, moins la qualité de l'image est bonne, et plus les ralentissements et les gelées sont perceptibles. Dans des cas extrêmes, jouer devient tout simplement impossible.

Bien sûr, le service cloud lui-même ne peut pas influencer la largeur et la stabilité de la connexion de l'utilisateur (bien que ce serait bien, bien sûr). Mais on peut prévoir différentes manières d'atténuer les problèmes de connexion. Quels services s'en sortent le mieux ? Nous le verrons ci-dessous.

Qu'est-ce que nous comparons exactement ?

Un PC ordinaire (Intel i3-8100, GTX 1060 6 Go, 8 Go de RAM), GeForce Now (sa version russe GFN avec des serveurs à Moscou), Loudplay, Vortex, Playkey, Stadia. Sur tous les services, sauf Stadia, nous étudions la qualité du jeu dans «The Witcher». À l'époque de l'écriture de cet article, ce jeu n'était pas disponible sur Google Stadia, donc j'ai dû tester un autre jeu — «Odyssey».

Quelles conditions et méthode de test ?

Nous faisons des tests depuis Moscou. Fournisseur — MGTС, tarif 500 Mbit/s, connexion par câble, pas de WiFi. Nous utilisons les paramètres de qualité graphique par défaut dans les services, résolution — FullHD.

À l'aide de l'application Clumsy nous modélisons des problèmes de réseau, notamment des pertes de paquets de différents types et volumes.

Pertes uniques uniformes. C'est lorsque seuls 1 paquet est perdu et que les pertes sont réparties de manière plutôt homogène. Ainsi, des pertes uniformes de 10 % signifient que sur 100 paquets, chaque 10ème est perdu, mais toujours seulement 1 paquet. Le problème se manifeste généralement lors de distorsions (blindage) sur le lien entre le client et le serveur.

Nous testons des pertes uniformes de 5 %, 10 %, 25 %.

Pertes massives inégales, lorsque, à un moment donné, 40 à 70 paquets sont perdus consécutivement. Ces pertes surviennent le plus souvent en cas de problèmes avec le matériel réseau (routeurs, etc.) chez l'utilisateur ou chez le fournisseur. Elles peuvent être liées à un débordement de tampon du matériel réseau sur la ligne « utilisateur — serveur ». Le WiFi à travers des murs épais peut également provoquer de telles pertes. La charge d'une connexion sans fil en raison de la présence de nombreux appareils est une autre raison, très caractéristique des bureaux et des immeubles collectifs.

Nous testons des pertes inégales de 0,01 %, 0,1 %, 0,5 %.

Ci-dessous, j'analyse tous ces cas et joins une comparaison vidéo pour plus de clarté. À la fin de l'article, je donne un lien vers les vidéos brutes et non montées du gameplay de tous les services et cas — là, il est possible d'examiner plus en détail les artefacts ainsi que les informations techniques (dans tous les services, sauf Stadia, les données de la console technique ont été enregistrées ; je n'ai pas trouvé cela pour Stadia).

Allons-y !

Ci-dessous se trouvent 7 scénarios de tests de stress et des vidéos avec des timestamps (la vidéo est la même, pour plus de commodité, chaque point commence à l'instant voulu). À la fin du post, vous trouverez les vidéos sources pour chacun des services. Un bon ami m'a aidé à réaliser ces vidéos, merci à lui !

Scénario n°1. Conditions idéales. Pertes nulles dans le réseau

Tout est comme cela devrait être dans un monde idéal. Aucuns problèmes de connexion, pas de coupures, aucune interférence, votre point d'accès est un phare d'internet. Dans de telles conditions, quasiment tous les participants aux tests se comportent admirablement.

PC

Pour chaque scénario, nous avons utilisé des captures d'écran du jeu sur PC comme référence. Il est évident que la qualité du réseau n'affecte en rien cela, car le jeu est lancé localement sur le PC. La présence de ces captures répond à la question : "y a-t-il une différence lorsque l'on joue dans le cloud par rapport à jouer sur son propre PC ?" Dans des conditions idéales dans notre cas, cela ne se ressent pas pour la plupart des services. Nous ne parlerons plus du PC ci-dessous, souvenez-vous simplement qu'il existe.

GeForce Now

Tout va bien, l'image est nette, le processus se déroule sans accroc, sans freeze.

Vortex

C'est Vortex qui gâche notre monde idéal. Il a immédiatement commencé à avoir des problèmes : l'image est moins bonne que chez tous les autres, et on remarque bien des "lags". Un problème possible est que les serveurs de jeux sont loin de Moscou, de plus, le matériel sur ces serveurs semble moins puissant et FullHD n'est pas bien supporté. Dans tous les tests, Vortex a montré de mauvaises performances. Si quelqu'un a eu une bonne expérience de jeu avec Vortex, écrivez dans les commentaires, partagez d'où vous jouiez et à quel point cela s'est bien passé.

Playkey

Tout est excellent, comme sur un PC local. Il n'y a pas de problèmes visibles tels que des freeze, des lags, etc.

Loudplay

Le service offre une excellente image, sans problèmes apparents.

Stadia

Le service de jeu de Google fonctionne parfaitement malgré l'absence de serveurs en Russie, et en fait, Stadia ne fonctionne pas officiellement en Russie. Néanmoins, tout va bien. C'est dommage, bien sûr, que "The Witcher" n'était pas disponible sur Stadia au moment de jouer, mais tant pis, nous avons pris "Odyssey" — également exigeant, et toujours sur un homme qui coupe des gens et des animaux.

Scénario n°2. Pertes uniformes de 5%

Dans ce test, environ une trentième des 100 paquets est perdue. Je rappelle que pour rendre une image, il faut 40-50 paquets.

GeForce Now

Le service de Nvidia fonctionne bien, aucun problème. L'image est légèrement plus floue que chez Playkey, mais "The Witcher" reste jouable.

Vortex

Ici, tout a empiré. Pourquoi — ce n'est pas très clair, probablement en raison d'un manque de redondance ou d'une redondance minimale. La redondance est le codage de correction d'erreurs pour les données transmises (FEC — Forward Error Correction). Cette technologie restaure les données en cas de pertes partielles à cause de problèmes de réseau. Sa mise en œuvre et sa configuration peuvent varier, et d'après les résultats, les concepteurs de Vortex ne brillent pas dans ce domaine. Même avec de minimes pertes uniformes, il est impossible de jouer. Au cours des tests ultérieurs, Vortex a simplement "cessé de fonctionner".

Playkey

Tout va bien, il n'y a pas de réelle différence par rapport à des conditions idéales. Peut-être que le fait que les serveurs de la société soient également situés à Moscou, d'où les tests ont été effectués, aide. Et peut-être que la redondance mentionnée précédemment est mieux configurée.

Loudplay

Le service est devenu soudainement injouable, malgré des pertes de paquets relativement faibles. De quoi cela peut-il venir ? Je suppose que Loudplay utilise le protocole TCP. Dans ce cas, tant qu'il n'y a pas de confirmation de réception du paquet, d'autres paquets ne sont pas envoyés, le système attend cette confirmation de livraison. Par conséquent, si un paquet est perdu, il n'y aura pas de confirmation, de nouveaux paquets ne seront pas envoyés, l'image se fige, fin de l'histoire.

En revanche, si l'on utilise UDP, la confirmation de réception du paquet n'est pas nécessaire. D'après ce que l'on peut juger, tous les autres services, à l'exception de Loudplay, utilisent le protocole UDP. Si ce n'est pas le cas, corrigez-moi, s'il vous plaît, dans les commentaires.

Stadia

Tout est jouable. Parfois, l'image est pixelisée, avec des délais de réponse minimaux. Il se peut que le codage de résistance aux interférences ne fonctionne pas de manière optimale, d'où de légères artefacts dans un flux globalement jouable.

Scénario n°3. Pertes uniformes de 10%

Nous perdons un paquet sur dix sur cent. Cela représente déjà un défi pour les services. Pour faire face efficacement à de telles pertes, des spécialistes en récupération et/ou en renvoi de données perdues sont nécessaires.

GeForce Now

Chez Geforce, on observe de légers ralentissements dans la qualité du flux vidéo. D'après ce que l'on peut juger, GFN réagit aux problèmes de réseau, essayant de les atténuer. Le service réduit le bitrate, c'est-à-dire le nombre de bits pour la transmission de données. Ainsi, il essaie de réduire la charge sur un réseau jugé de qualité insuffisante à son avis et de maintenir une connexion stable. Et en ce qui concerne la stabilité, il n'y a vraiment pas de questions, mais la qualité vidéo en souffre considérablement. Nous voyons une pixelisation significative de l'image. Étant donné que la simulation implique une perte constante de 10 % des paquets, la réduction du bitrate n'aide pas vraiment, la situation ne s'améliore pas.

Dans la vie réelle, l'image sera probablement non pas instable mais fluctuante. Les pertes ayant augmenté, l'image devient floue ; les pertes ayant diminué, l'image revient à la normale, et ainsi de suite. Cela n'est certainement pas bénéfique pour l'expérience de jeu.

Playkey

Il n'y a pas de problèmes particuliers. L'algorithme détecte probablement les problèmes sur le réseau, évalue le niveau de perte et met davantage l'accent sur la redondance plutôt que sur la réduction du débit. Ainsi, avec 10 % de pertes uniformes, la qualité de l'image ne change pratiquement pas, et l'utilisateur ne remarquera probablement pas ces pertes.

Loudplay

Il est non fonctionnel, il ne s'est tout simplement pas lancé. Au cours de tests ultérieurs, la situation s'est répétée. À première vue, ce service ne s'adapte pas du tout aux problèmes de réseau. Peut-être que c'est la faute du protocole TCP. La moindre perte paralyse complètement le service. Ce n'est pas très pratique dans la vie réelle, bien sûr.

Vortex

Il y a aussi de gros problèmes. On ne peut pas jouer dans de telles conditions, bien que l'image soit encore là et que le personnage continue de courir, mais par à-coups. Je pense que tout cela est dû à la redondance mal implémentée ou absente. Les paquets se perdent souvent et ne sont pas du tout récupérés. En fin de compte, la qualité de l'image se dégrade à un niveau injouable.

Stadia

Malheureusement, tout est mauvais ici. Il y a des coupures dans le flux, ce qui fait que les événements à l'écran se produisent par à-coups, rendant le jeu extrêmement difficile. On peut supposer que le problème est apparu, tout comme dans le cas de Vortex, à cause d'une redondance minimale ou de son absence. J'ai consulté quelques connaissances qui sont 'dans le domaine', et ils ont déclaré que Stadia attend probablement la construction complète de la trame. Contrairement à GFN, elle ne tente pas de sauver la situation en réduisant globalement le débit. En fin de compte, il n'y a pas d'artefacts, mais des freezes et des lags apparaissent (chez GFN, au contraire, il y a moins de freezes/lags, mais à cause d'un faible débit, l'image est tout sauf attrayante).

Il semble que les autres services n'attendent pas non plus la construction complète de la trame, remplaçant la partie manquante par un fragment de l'ancienne trame. C'est une bonne solution ; dans la plupart des cas, l'utilisateur ne remarquera pas l'astuce (plus de 30 images changent par seconde), bien que des artefacts puissent parfois apparaître.

Scénario n°4. Pertes uniformes de 25 %

Chaque quatrième paquet est perdu. Cela devient de plus en plus intéressant. En fait, avec une connexion aussi 'trouée', un jeu normal dans le cloud est à peine possible. Bien que certains participants à la comparaison s'en sortent, même si ce n'est pas de manière idéale.

GFN

Les problèmes sont déjà assez visibles. L'image est pixelisée et floue. On peut encore jouer, mais ce n'est définitivement pas ce que GFN proposait au départ. Ce n'est pas non plus la façon idéale de jouer à de beaux jeux. On ne peut plus apprécier la beauté.

Playkey

Le processus de jeu se déroule assez bien. Il y a de la fluidité, même si l'image souffre un peu. D'ailleurs, en haut à gauche, il y a des chiffres montrant combien de paquets perdus sont récupérés. Comme on le voit, 96 % des paquets sont récupérés.

Loudplay

Il ne s'est pas lancé.

Vortex

On ne peut même pas jouer, même en ayant une grande envie. Les freezes (interruption de l'image, reprise du flux vidéo à partir d'un nouveau fragment) sont encore plus marqués.

Stadia

Le service est pratiquement injouable. Les raisons ont déjà été évoquées ci-dessus. Il attend la collecte des images, l'excédent est minimal et avec de telles pertes, cela ne suffit pas.

Scénario n°5. Pertes inégales de 0,01 %.

Sur 10 000 paquets, il y a 1 fois 40-70 paquets perdus consécutivement. En d'autres termes, nous perdons environ 1 image sur 200. Cela se produit lorsque le tampon de l'appareil réseau est plein et que tous les nouveaux paquets sont simplement jetés (dropés) jusqu'à ce que le tampon soit libéré. Tous les participants à la comparaison, à l'exception de Loudplay, ont géré de telles pertes d'une manière ou d'une autre.

GFN

L'image a légèrement perdu en qualité, elle est devenue un peu floue, mais tout reste jouable.

Playkey

Tout est plutôt bon. L'image est fluide, la qualité est bonne. On peut jouer sans problème.

Loudplay

Dans les premières secondes, l'image était là, le héros a même couru. Mais la connexion au serveur a été presque immédiatement perdue. Ah, ce protocole TCP. La première perte a coupé le service en un instant.

Vortex

On observe des problèmes habituels. Des freezes, des lags et tout ça. Jouer serait extrêmement difficile dans de telles conditions.

Stadia

Jouable. De petites baisses sont visibles, l'image est parfois pixelisée.

Scénario n°6. Pertes inégales de 0,1 %.

Sur 10 000 paquets, il y a 10 fois 40-70 paquets perdus consécutivement. Ce qui signifie que nous perdons 10 images sur 200.

Je dirai tout de suite que des problèmes notables sont apparus pour la plupart des services. Par exemple, l'image saccade, de sorte que l'excédent ici n'aide déjà plus. Cela signifie qu'il y a un effet positif en cas d'utilisation de la technologie d'excédent, mais il est faible.

Le fait est que le temps de réaction aux actions de l'utilisateur et du jeu lui-même est limité, le flux vidéo doit être continu. On ne peut pas restaurer le flux à une qualité acceptable malgré tous les efforts des services.

Des artefacts apparaissent (tentative de compenser la perte de paquets, données manquantes) et il y a des saccades dans l'image.

GFN

La qualité de l'image a nettement chuté, le débit binaire est visiblement très réduit.

Playkey

Elle s'en sort mieux - probablement parce que la redondance est bien configurée, de plus l'algorithme de débit binaire considère que les pertes ne sont pas très élevées et ne transforme pas l'image en une bouillie pixélisée.

Loudplay

Il ne s'est pas lancé.

Vortex

Le service a démarré, mais avec une qualité d'image horrible. Les saccades et les baisses de qualité sont très visibles. Jouer dans de telles conditions est peu probable.

Stadia

Les saccades sont bien visibles, ce qui est un indicateur clair qu'il manque de la redondance. L'image se fige, puis d'autres images apparaissent, entraînant des interruptions dans le flux vidéo. En principe, on peut jouer si on a une forte volonté et une tendance clinique à l'automutilation.

Scénario n°7. Pertes inégales de 0,5 %

Sur 10 000 paquets, on perd 40 à 70 paquets consécutifs 50 fois. Nous perdons 50 images sur 200.

Situation de type « véritable chaos ». Votre routeur crépite, le fournisseur a une panne, les câbles ont été rongés par des souris, mais vous voulez quand même jouer dans le cloud. Quel service allez-vous choisir ?

GFN

Il devient très difficile de jouer, si ce n'est possible - le débit binaire est très réduit. Des images sont perdues, au lieu d'une image normale, nous voyons des « images floues ». Les images ne se restaurent pas - il manque des informations pour la récupération. Si GFN propose une récupération, la façon agressive dont le service tente de sauver la situation par le débit binaire soulève des doutes quant à sa capacité à fonctionner avec la redondance.

Playkey

Il y a une distorsion de l'image, l'image tremble, c'est-à-dire que des éléments de certaines images se répètent. Il est visible qu'une grande partie de l'image « endommagée » a été récupérée à partir de morceaux précédents. Autrement dit, dans les nouvelles images, il y a des parties d'anciennes images. Cependant, l'image est à peu près nette. On peut contrôler, mais dans des scènes dynamiques, par exemple lors d'un combat, où une bonne réaction est nécessaire - c'est compliqué.

Loudplay

Il ne s'est pas lancé.

Vortex

Il a démarré, mais il aurait mieux valu qu'il ne démarre pas - jouer à cela est impossible.

Stadia

Le service est injouable dans de telles conditions. Raisons - nécessité d'attendre le montage de l'image et faible redondance.

Qui est le gagnant ?

Le classement est bien entendu subjectif. On peut en discuter dans les commentaires. Et bien sûr, la première place revient au PC local. C'est parce que les services cloud sont très sensibles à la qualité du réseau, qui est souvent instable dans le monde réel, qu'un PC de jeu personnel reste sans concurrence. Mais si vous n'en avez pas pour une raison quelconque, consultez le classement.

1. PC local. Comme prévu.
2. Playkey
3. GeForce Now
4. Google Stadia
5. Vortex
6. Loudplay

Pour conclure, je rappelle que le facteur clé pour le jeu en cloud en matière de résilience face aux problèmes réseau est :

• Quel protocole réseau est utilisé ? Pour la transmission de flux vidéo, il est préférable d'utiliser UDP. Je soupçonne que Loudplay utilise TCP, bien que je n'en sois pas sûr. Mais vous avez vu les résultats des tests.
• Y a-t-il un codage de correction d'erreurs ? (FEC — Correction d'erreurs en avant, aussi appelée redondance). La manière dont cela s'adapte aux pertes de paquets est aussi importante. Comme nous l'avons vu, la qualité de l'image dépend beaucoup de la mise en œuvre.
• Comment est configurée l'adaptation du débit binaire ? Si le service gère la situation principalement par le débit binaire, cela influence davantage l'image. Le secret du succès réside dans un équilibre fragile entre les manipulations du débit binaire et la redondance.
• Comment est configuré le post-traitement ? En cas de problèmes, les images sont soit supprimées, soit restaurées, soit complétées par des fragments d'anciennes images.
• La proximité des serveurs avec le joueur et la puissance du matériel influencent également considérablement la qualité du jeu, mais c'est vrai même pour un réseau idéal. Si le ping vers les serveurs est trop élevé, même sur un réseau idéal, il n'est pas confortable de jouer. Dans cette étude, nous n'avons pas expérimenté avec le ping.

Comme promis, voici le lien vers les vidéos brutes de différents services dans tous les cas.

Source : habr.com