Cloud-Gaming: Stresstest 5 Cloud-Gaming-Dienste mit schlechter Internetverbindung

Cloud-Gaming: Stresstest 5 Cloud-Gaming-Dienste mit schlechter Internetverbindung

Vor etwa einem Jahr habe ich einen Artikel veröffentlicht „Cloud-Gaming: Einschätzung der Leistungsfähigkeit von Diensten zum Spielen auf schwachen PCs aus erster Hand“. Es analysierte die Vor- und Nachteile verschiedener Dienste für Cloud-Gaming auf schwachen PCs. Ich habe jeden Dienst während des Spiels getestet und meinen Gesamteindruck mitgeteilt.

In den Kommentaren zu diesem und anderen ähnlichen Artikeln teilten Leser oft ihre Eindrücke zu verschiedenen Gaming-Diensten mit. Es gab oft gegensätzliche Meinungen zum selben Thema. Für einige ist alles perfekt, für andere kann das Spiel aufgrund von Verzögerungen und Einfrierungen nicht gespielt werden. Dann kam mir die Idee, die Qualität dieser Dienste unter verschiedenen Bedingungen zu bewerten – von ideal bis schrecklich. Die Rede ist von der Qualität von Netzwerken, denn der Nutzer kann sich doch nicht immer eines schnellen und störungsfreien Kommunikationskanals rühmen, oder? Unter dem Schnitt versteht man im Allgemeinen eine Bewertung von Diensten mit einer Simulation unterschiedlicher Qualität des Netzbetriebs.

Was ist das Problem überhaupt?

Wie oben erwähnt – als Verbindung. Genauer gesagt, im Verlust von Paketen während des Spiels. Je höher die Verluste, desto mehr Probleme hat der Spieler, desto unzufriedener ist er mit dem Spiel. Es kommt jedoch selten vor, dass jemand über einen idealen Kommunikationskanal wie Glasfaser zum Gerät und über ein dediziertes Internet verfügt, anstatt es allen Bewohnern eines Mehrfamilienhauses gemeinsam zu nutzen.

Als Referenz: Bei einer Verbindungsgeschwindigkeit von 25 Mbit/s werden 1–40 Datenpakete benötigt, um 50 Frame/Frame zu übertragen. Je mehr Pakete verloren gehen, desto schlechter wird die Bildqualität und desto deutlicher treten Verzögerungen und Einfrierungen auf. In besonders schweren Fällen ist das Spielen einfach unmöglich.

Natürlich kann der Cloud-Dienst selbst keinerlei Einfluss auf die Breite und Stabilität des Kanals des Benutzers haben (obwohl das natürlich großartig wäre). Es sind jedoch unterschiedliche Wege denkbar, Kommunikationsprobleme auszugleichen. Nachfolgend sehen wir, welche Dienste das Problem am besten lösen.

Was genau vergleichen wir?

Normaler PC (Intel i3-8100, GTX 1060 6 GB, 8 GB RAM), GeForce Now (seine russische Version). Gfn mit Servern in Moskau), Lautes Spiel, Wirbel, Playkey, Stadia. Bei allen Diensten außer Stadia untersuchen wir die Qualität des Spiels in The Witcher. Google Stadia hatte dieses Spiel zum Zeitpunkt des Schreibens noch nicht, also musste ich ein anderes testen – Odyssey.

Was sind die Testbedingungen und die Testmethodik?

Wir testen von Moskau aus. Anbieter - MGTS, Tarif 500 Mbit/s, Kabelverbindung, kein WLAN. Wir setzen die Grafikqualitätseinstellungen in den Diensten auf die Standardauflösung – FullHD.

Verwendung des Programms Ungeschickt Wir simulieren Netzwerkprobleme, nämlich den Verlust von Paketen unterschiedlicher Art und Größe.

Einheitliche Einzelverluste. In diesem Fall geht nur 1 Paket verloren und die Verluste sind mehr oder weniger gleichmäßig verteilt. Ein gleichmäßiger Verlust von 10 % bedeutet also, dass von 100 Paketen jedes 10. Paket verloren geht, aber immer nur 1 Paket. Das Problem manifestiert sich normalerweise, wenn es auf dem Kanal vom Client zum Server zu Verzerrungen (Abschirmungen) kommt.

Wir testen einheitliche Verluste von 5 %, 10 %, 25 %.

Ungleichmäßige Massenverluste, wenn zu einem beliebigen Zeitpunkt 40-70 Pakete hintereinander sofort verloren gehen. Solche Verluste treten am häufigsten auf, wenn Probleme mit der Netzwerkausrüstung (Router usw.) des Benutzers oder des Anbieters vorliegen. Kann mit einem Pufferüberlauf von Netzwerkgeräten auf der Benutzer-Server-Kommunikationsleitung verbunden sein. Auch WLAN mit dicken Wänden kann solche Verluste verursachen. Eine Überlastung des drahtlosen Netzwerks aufgrund der Anwesenheit einer großen Anzahl von Geräten ist ein weiterer Grund, der sehr typisch für Büros und Wohngebäude ist.

Wir testen ungleichmäßige Verluste von 0,01 %, 0,1 %, 0,5 %.

Im Folgenden analysiere ich alle diese Fälle und füge zur Verdeutlichung einen Videovergleich bei. Und am Ende des Artikels stelle ich einen Link zu rohen, unbearbeiteten Gameplay-Videos aller Dienste und Fälle bereit – dort können Sie sich die Artefakte genauer ansehen, sowie technische Informationen (in allen Diensten außer Stadia, Daten aus dem technischen Bereich). Konsole ist aufgezeichnet; Stadia hat solche nicht gefunden).

Lassen Sie uns gehen!

Nachfolgend finden Sie 7 Stresstestszenarien und ein Video mit Zeitstempeln (das Video ist der Einfachheit halber dasselbe, die Betrachtung beginnt an jedem Punkt im richtigen Moment). Ganz am Ende des Beitrags finden Sie die Originalvideos für jeden der Dienste. Ein guter Freund hat mir bei der Erstellung des Videos geholfen, wofür ich ihm danke!

Szenario 1. Ideale Bedingungen. Keine Verluste im Netzwerk

In einer idealen Welt ist alles so, wie es sein sollte. Es gibt keine Verbindungsprobleme, keine einzige Unterbrechung, keine Störungen, Ihr Zugangspunkt ist der Leuchtturm des Internets. Unter solchen Treibhausbedingungen schneiden fast alle Testteilnehmer gut ab.


PC

Für jedes Szenario haben wir Filmmaterial aus dem PC-Spiel als Referenz herangezogen. Es ist klar, dass die Qualität des Netzwerks keinen Einfluss darauf hat, das Spiel läuft lokal auf dem PC. Das Vorhandensein dieser Frames beantwortet die Frage: „Gibt es einen Unterschied beim Spielen in der Cloud im Vergleich zum Spielen auf Ihrem PC?“ Unter idealen Bedingungen, in unserem Fall, ist dies bei den meisten Diensten nicht zu spüren. Wir werden im Folgenden nichts über den PC schreiben, denken Sie nur daran, dass er existiert.

GeForce Now

Alles ist in Ordnung, das Bild ist klar, der Vorgang verläuft reibungslos, ohne Friese.

Wirbel

Vortex verdirbt unsere ideale Welt. Er bekam sofort Probleme – das Bild war schlechter als alle anderen, außerdem waren die „Bremsen“ deutlich sichtbar. Ein mögliches Problem besteht darin, dass die Spieleserver weit von Moskau entfernt stehen und die Hardware auf den Spieleservern schwächer zu sein scheint und mit FullHD nicht gut zurechtkommt. Vortex schnitt in allen Tests schlecht ab. Wenn jemand positive Erfahrungen mit Vortex gemacht hat, schreiben Sie es in die Kommentare und teilen Sie mit, von wo aus Sie gespielt haben und wie gut alles gelaufen ist.

Playkey

Alles ist in Ordnung, genau wie auf einem lokalen PC. Sichtbare Probleme wie Einfrieren, Verzögerungen usw. Nein.

Lautes Spiel

Der Service zeigt ein hervorragendes Bild, es gibt keine sichtbaren Probleme.

Stadia

Der Spieledienst von Google funktioniert einwandfrei, obwohl er keine Server in der Russischen Föderation hat und Stadia im Allgemeinen nicht offiziell in Russland funktioniert. Allerdings ist alles in Ordnung. Schade ist natürlich, dass „The Witcher“ zum Zeitpunkt des Spiels nicht auf Stadia verfügbar war, aber was soll man machen, die haben „Odyssey“ genommen – ebenfalls anspruchsvoll, auch über einen Mann, der Menschen und Tiere zerstückelt.

Szenario Nr. 2. Einheitlicher Verlust 5 %

Bei diesem Test geht von 100 Paketen etwa jedes 20. verloren. Ich möchte Sie daran erinnern, dass Sie zum Rendern eines Frames 40–50 Pakete benötigen.


GeForce Now

Der Service von Nvidia ist in Ordnung, keine Probleme. Das Bild ist etwas verschwommener als bei Playkey, aber The Witcher ist immer noch spielbar.

Wirbel

Hier kam es noch schlimmer. Warum, ist nicht ganz klar; höchstwahrscheinlich ist die Redundanz nicht gegeben oder sie ist minimal. Redundanz ist eine rauschresistente Kodierung weitergeleiteter Daten (FEC – Forward Error Correction). Diese Technologie stellt Daten wieder her, wenn diese aufgrund von Netzwerkproblemen teilweise verloren gehen. Es kann auf unterschiedliche Weise implementiert und konfiguriert werden, und den Ergebnissen nach zu urteilen, ist dies den Machern von Vortex nicht gelungen. Selbst mit geringfügigen Verlusten können Sie nicht spielen. Bei nachfolgenden Tests ist Vortex einfach „gestorben“.

Playkey

Alles ist in Ordnung, es gibt keinen wesentlichen Unterschied zu den idealen Bedingungen. Vielleicht hilft es, dass die Server des Unternehmens in Moskau stehen, wo die Tests durchgeführt wurden. Nun, vielleicht ist die oben erwähnte Redundanz besser konfiguriert.

Lautes Spiel

Der Dienst war trotz relativ geringer Paketverluste plötzlich nicht mehr spielbar. Was kann falsch sein? Ich gehe davon aus, dass Loudplay mit dem TCP-Protokoll funktioniert. In diesem Fall liegt zwar keine Empfangsbestätigung des Pakets vor, es werden aber keine weiteren Pakete verschickt, das System wartet auf die Zustellbestätigung. Demnach gibt es bei Verlust eines Pakets keine Zustellungsbestätigung, es werden keine neuen Pakete verschickt, das Bild wird leer, Ende der Geschichte.

Wenn Sie jedoch UDP verwenden, ist keine Bestätigung des Paketempfangs erforderlich. Soweit beurteilt werden kann, nutzen alle anderen Dienste außer Loudplay das UDP-Protokoll. Sollte dies nicht der Fall sein, korrigieren Sie mich bitte in den Kommentaren.

Stadia

Alles ist spielbar. Manchmal wird das Bild pixelig und es kommt zu minimalen Reaktionsverzögerungen. Möglicherweise funktioniert die rauschimmune Codierung nicht perfekt, daher die geringfügigen Artefakte, wenn der gesamte Stream abspielbar ist.

Szenario Nr. 3. Einheitlicher Verlust 10 %

Wir verlieren jedes 10. Paket pro Hundert. Für den Dienstleistungssektor stellt dies bereits eine Herausforderung dar. Um solche Verluste effektiv zu bewältigen, sind Technologien erforderlich, um verlorene Daten wiederherzustellen und/oder erneut zu senden.


GeForce Now

Bei GeForce kommt es zu leichten Einbußen bei der Qualität des Videostreams. Soweit wir wissen, reagiert GFN auf Netzwerkprobleme, indem es versucht, diese zu entschärfen. Der Dienst reduziert die Bitrate, also die Anzahl der Bits für die Datenübertragung. Auf diese Weise versucht er, die Belastung des seiner Meinung nach nicht ausreichend hochwertigen Netzwerks zu reduzieren und eine stabile Verbindung aufrechtzuerhalten. Und an der Stabilität gibt es eigentlich keine Zweifel, aber die Videoqualität leidet spürbar. Wir sehen eine deutliche Verpixelung des Bildes. Nun, da die Modellierung von einem konstanten Verlust von 10 % der Pakete ausgeht, hilft eine Reduzierung der Bitrate nicht wirklich, die Situation normalisiert sich nicht.

Im wirklichen Leben wird das Bild höchstwahrscheinlich nicht durchweg schlecht, sondern schwebend sein. Die Verluste nahmen zu – das Bild wurde unscharf; Verluste wurden reduziert – das Bild normalisierte sich wieder und so weiter. Das ist natürlich nicht gut für das Spielerlebnis.

Playkey

Es gibt keine besonderen Probleme. Wahrscheinlich erkennt der Algorithmus Probleme im Netzwerk, bestimmt die Höhe der Verluste und konzentriert sich mehr auf Redundanz als auf die Reduzierung der Bitrate. Es stellt sich heraus, dass bei 10 % gleichmäßigen Verlusten die Bildqualität nahezu unverändert bleibt und der Benutzer solche Verluste wahrscheinlich nicht bemerken wird.

Lautes Spiel

Es funktioniert nicht, es ist einfach nicht gestartet. Bei weiteren Tests wiederholte sich die Situation. Soweit man beurteilen kann, passt sich dieser Dienst in keiner Weise an Netzwerkprobleme an. Vielleicht ist das TCP-Protokoll schuld. Der kleinste Verlust wird den Dienst völlig lahmlegen. Natürlich nicht sehr praktisch für das wirkliche Leben.

Wirbel

Auch große Probleme. Unter solchen Bedingungen kann man nicht spielen, obwohl das Bild noch da ist und die Figur weiterläuft, wenn auch ruckartig. Ich denke, es geht um die gleiche schlecht implementierte oder fehlende Redundanz. Pakete gehen oft verloren und können nicht wiederhergestellt werden. Dadurch verschlechtert sich die Bildqualität auf ein unspielbares Niveau.

Stadia

Leider ist hier alles schlecht. Es kommt zu einer Unterbrechung des Spielflusses, weshalb das Geschehen auf dem Bildschirm ruckartig abläuft, was das Spielen extrem erschwert. Es ist davon auszugehen, dass das Problem, wie im Fall von Vortex, auf minimale oder fehlende Redundanz zurückzuführen ist. Ich habe mich mit ein paar Freunden beraten, die „informiert“ sind. Sie sagten, Stadia warte höchstwahrscheinlich darauf, dass der Rahmen vollständig zusammengebaut sei. Im Gegensatz zu GFN wird nicht versucht, die Situation durch eine vollständige Senkung der Bitrate zu retten. Dadurch treten keine Artefakte auf, es treten jedoch Einfrierungen und Verzögerungen auf (GFN hingegen hat weniger Friese/Verzögerungen, aber aufgrund der niedrigen Bitrate ist das Bild völlig unattraktiv).

Andere Dienste scheinen auch nicht darauf zu warten, dass der Rahmen vollständig zusammengebaut ist, sondern ersetzen das fehlende Teil durch ein Fragment des alten Rahmens. Dies ist eine gute Lösung, in den meisten Fällen wird der Benutzer den Haken nicht bemerken (mehr als 30 Bilder ändern sich pro Sekunde), obwohl manchmal Artefakte auftreten können.

Szenario Nr. 4. Einheitlicher Verlust 25 %

Jedes vierte Paket geht verloren. Es wird immer gruseliger und interessanter. Generell ist bei einer so „undichten“ Verbindung normales Gaming in der Cloud kaum möglich. Einige Vergleichsteilnehmer kommen zwar zurecht, wenn auch nicht perfekt.


Gfn

Die Probleme sind schon deutlich spürbar. Das Bild ist verpixelt und unscharf. Sie können immer noch spielen, aber es ist überhaupt nicht das, was GFN zu Beginn angeboten hat. Und so sollten schöne Spiele definitiv nicht gespielt werden. Schönheit kann nicht mehr geschätzt werden.

Playkey

Das Gameplay läuft gut. Es gibt eine Glätte, obwohl das Bild etwas leidet. Oben links stehen übrigens die Zahlen, die angeben, wie viele verlorene Pakete wiederhergestellt wurden. Wie Sie sehen, werden 96 % der Pakete wiederhergestellt.

Lautes Spiel

Nicht gestartet.

Wirbel

Sie können nicht einmal mit einem sehr starken Verlangen spielen, Einfrierungen (Einfrieren des Bildes, Fortsetzen des Videostreams von einem neuen Fragment) sind noch auffälliger.

Stadia

Der Dienst ist praktisch unspielbar. Die Gründe wurden bereits oben genannt. Beim Warten auf den Zusammenbau des Rahmens ist die Redundanz minimal, bei solchen Verlusten reicht sie nicht aus.

Szenario Nr. 5. Ungleichmäßiger Verlust 0,01 %.

Pro 10 Pakete gehen 000–1 Pakete hintereinander verloren. Das heißt, wir verlieren ungefähr 40 von 70 Frames. Dies geschieht, wenn der Puffer eines Netzwerkgeräts voll ist und alle neuen Pakete einfach verworfen (verworfen) werden, bis der Puffer freigegeben wird. Alle Vergleichsteilnehmer, außer Loudplay, haben solche Verluste mehr oder weniger aufgearbeitet.


Gfn

Das Bild hat etwas an Qualität verloren und ist etwas trüb geworden, aber alles ist ganz gut abspielbar.

Playkey

Alles ist sehr gut. Das Bild ist glatt, das Bild ist gut. Sie können ohne Probleme spielen.

Lautes Spiel

In den ersten Sekunden gab es ein Bild, der Held rannte sogar. Doch die Verbindung zum Server ging fast sofort verloren. Oh, dieses TCP-Protokoll. Der allererste Verlust beeinträchtigte den Dienst im Grunde.

Wirbel

Die üblichen Probleme werden beobachtet. Friese, Verzögerungen und das ist alles. Unter solchen Bedingungen wäre es sehr schwierig zu spielen.

Stadia

Spielbar. Kleinere Drawdowns sind erkennbar, das Bild ist teilweise verpixelt.

Szenario Nr. 6. Ungleichmäßige Verluste 0,1 %

Bei 10 Paketen gehen 000-mal 10-40 Pakete hintereinander verloren. Es stellt sich heraus, dass wir 70 von 10 Frames verlieren.

Ich sage gleich, dass die meisten Dienste spürbare Probleme haben. Beispielsweise ruckelt das Bild, hier hilft also keine Redundanz. Das heißt, es gibt einen positiven Effekt beim Einsatz der Redundanztechnologie, der jedoch gering ist.

Tatsache ist, dass die Reaktionszeit auf Benutzeraktionen und das Spiel selbst begrenzt ist, der Videostream muss kontinuierlich sein. Trotz aller Bemühungen der Dienste ist es unmöglich, den Stream in einer akzeptablen Qualität wiederherzustellen.

Es treten Artefakte auf (ein Versuch, den Paketverlust auszugleichen, da nicht genügend Daten vorhanden sind) und Bildruckel.


Gfn

Die Bildqualität ist spürbar gesunken, die Bitrate ist deutlich gesunken, und zwar deutlich.

Playkey

Es meistert es besser – wahrscheinlich, weil die Redundanz gut konfiguriert ist, außerdem berücksichtigt der Bitratenalgorithmus die Verluste nicht als sehr hoch und verwandelt das Bild nicht in ein pixeliges Durcheinander.

Lautes Spiel

Nicht gestartet.

Wirbel

Es fing an, aber mit schrecklicher Bildqualität. Rucke und Setzungen sind deutlich spürbar. Unter solchen Bedingungen ist es kaum möglich zu spielen.

Stadia

Es sind deutlich Ruckler zu erkennen, dies ist ein deutlicher Hinweis darauf, dass nicht genügend Redundanz vorhanden ist. Das Bild friert ein, dann erscheinen weitere Bilder und der Videostream wird unterbrochen. Grundsätzlich kann man spielen, wenn man große Lust und eine klinische Neigung zur Selbstquälerei hat.

Szenario Nr. 7. Ungleichmäßige Verluste 0,5 %

Bei 10 Paketen 000 Mal gehen 50–40 Pakete hintereinander verloren. Wir verlieren 70 von 50 Frames.

Eine Situation der Klasse „einheitlich beschissen“. Ihr Router funktioniert, Ihr ISP ist ausgefallen, Ihre Kabel werden von Mäusen zerfressen, aber Sie möchten trotzdem in der Cloud spielen. Welchen Service sollten Sie wählen?


Gfn

Das Spielen ist schon jetzt sehr schwierig, wenn nicht sogar unmöglich – die Bitrate wurde stark reduziert. Frames gehen verloren, statt eines normalen Bildes sehen wir „Seife“. Frames werden nicht wiederhergestellt – es liegen nicht genügend Informationen für die Wiederherstellung vor. Sofern GFN überhaupt für eine Genesung sorgt. Die Art und Weise, wie der Dienst aggressiv versucht, die Situation mit Bitraten zu retten, lässt Zweifel an seiner Bereitschaft aufkommen, mit Redundanz zu arbeiten.

Playkey

Es kommt zu einer Bildverzerrung, das Bild zuckt, d. h. Elemente einzelner Bilder wiederholen sich. Es ist zu erkennen, dass der größte Teil des „kaputten“ Rahmens aus Teilen des vorherigen restauriert wurde. Das heißt, die neuen Frames enthalten Teile der alten Frames. Aber das Bild ist mehr oder weniger klar. Man kann es kontrollieren, aber in dynamischen Szenen, zum Beispiel in einem Kampf, wo man eine gute Reaktion braucht, ist es schwierig.

Lautes Spiel

Nicht gestartet.

Wirbel

Es hat angefangen, aber es wäre besser, nicht anzufangen – man kann es nicht spielen.

Stadia

Der Dienst ist unter solchen Bedingungen nicht spielbar. Die Gründe sind die Notwendigkeit, auf die Montage des Rahmens zu warten, und eine schlechte Redundanz.

Wer ist der Gewinner?

Die Bewertung ist natürlich subjektiv. Sie können in den Kommentaren argumentieren. Nun, der erste Platz geht natürlich an den lokalen PC. Gerade weil Cloud-Dienste äußerst empfindlich auf die Netzwerkqualität reagieren und diese Qualität in der realen Welt recht instabil ist, bleibt der eigene Gaming-PC konkurrenzlos. Aber wenn es aus irgendeinem Grund nicht da ist, schauen Sie sich die Bewertung an.

  1. Lokaler PC. Erwartet.
  2. Playkey
  3. GeForce Now
  4. Google Stadia
  5. Wirbel
  6. Lautes Spiel

Abschließend möchte ich Sie noch einmal daran erinnern, was beim Cloud-Gaming in Bezug auf die Widerstandsfähigkeit gegenüber Netzwerkproblemen eine große Rolle spielt:

  • Welches Netzwerkprotokoll wird verwendet? Für die Übertragung eines Videostreams nutzen Sie am besten UDP. Ich vermute, dass Loudplay TCP verwendet, obwohl ich es nicht genau weiß. Aber Sie haben die Testergebnisse gesehen.
  • Ist eine rauschresistente Codierung implementiert? (FEC – Forward Error Correction, auch Redundanz genannt). Die Art und Weise, wie es sich an Paketverluste anpasst, ist ebenfalls wichtig. Wie wir gesehen haben, hängt die Qualität des Bildes maßgeblich von der Umsetzung ab.
  • Wie die Bitratenanpassung konfiguriert ist. Wenn der Dienst die Situation hauptsächlich mit der Bitrate speichert, wirkt sich dies stärker auf das Bild aus. Der Schlüssel zum Erfolg ist das empfindliche Gleichgewicht zwischen Bitratenmanipulation und Redundanz.
  • Wie die Nachbearbeitung eingerichtet ist. Bei Problemen werden die Frames entweder zurückgesetzt, wiederhergestellt oder mit Fragmenten alter Frames neu zusammengesetzt.
  • Nähe der Server zu Gamern und Hardwareleistung wirken sich auch erheblich auf die Qualität des Spiels aus, aber das gilt auch für ein ideales Netzwerk. Wenn der Ping zu den Servern zu hoch ist, können Sie selbst in einem idealen Netzwerk nicht komfortabel spielen. Wir haben in dieser Studie nicht mit Ping experimentiert.

Wie versprochen, hier der Link dazu Rohvideos von verschiedenen Diensten in allen Fällen.

Source: habr.com

Kommentar hinzufügen