Vor etwa einem Jahr habe ich einen Artikel veröffentlicht . Darin wurden die Vor- und Nachteile verschiedener Dienste für Cloud-Gaming auf schwachen PCs analysiert. Während des Spielens habe ich jeden Dienst getestet und am Ende meine Gesamtbewertung geteilt.
In den Kommentaren zu diesem und anderen ähnlichen Artikeln haben die Leser oft ihre Eindrücke von verschiedenen Gaming-Diensten geteilt. Häufig gab es gegensätzliche Meinungen zum selben Dienst. Für die einen funktioniert alles perfekt, während andere wegen Lags und Freezes nicht spielen können. Daraufhin kam mir die Idee, die Qualität der Dienste unter verschiedenen Bedingungen zu bewerten – von ideal bis schrecklich. Es geht um die Qualität der Netzwerke, denn nicht jeder Nutzer kann sich durchgehend über eine schnelle und problemlose Verbindung freuen, oder? Zusammengefasst, unter dem Cut – eine Bewertung der Dienste mit einer Simulation unterschiedlicher Netzwerkqualitäten.
Was ist überhaupt das Problem?
Wie bereits erwähnt, geht es um die Verbindung. Genauer gesagt, um den Paketverlust während des Spiels. Je höher der Verlust, desto mehr Probleme hat der Gamer und desto weniger Spaß hat er am Spiel. Weniger als ideal ist es, wenn man nicht über eine perfekte Verbindung wie Glasfaser bis zum Endgerät verfügt, insbesondere wenn man nicht mit einem dedizierten, sondern mit einem von allen Bewohnern eines Mehrfamilienhauses genutzten Internet verbunden ist.
Zur Info: Bei einer Verbindungsgeschwindigkeit von 25 Mbit/s sind für die Übertragung eines Frames/Frames 40-50 Datenpakete erforderlich. Je mehr Pakete verloren gehen, desto schlechter wird die Bildqualität, und desto deutlicher sind Lags und Störungen zu erkennen. In besonders schwierigen Fällen wird das Spielen einfach unmöglich.
Natürlich kann der Cloud-Service selbst nichts an der Breite und Stabilität des Benutzerskanals ändern (obwohl es natürlich ideal wäre). Aber es gibt verschiedene Möglichkeiten, um Kommunikationsprobleme abzumildern. Welche Dienste am besten mit dem Problem umgehen, zeigen wir gleich.
Was genau vergleichen wir?
Ein gewöhnlicher PC (Intel i3-8100, GTX 1060 6 GB, 8 GB RAM), GeForce Now (seine russische Version mit Servern in Moskau), , , , . Bei allen Diensten außer Stadia untersuchen wir die Spielqualität von „The Witcher“. Zum Zeitpunkt der Erstellung dieses Artikels war das Spiel bei Google Stadia nicht verfügbar, daher haben wir ein anderes getestet – „Odyssey“.
Welche Bedingungen und Testmethodik gelten?
Wir testen von Moskau aus. Anbieter – MGTS, Tarif 500 Mbit/s, Kabelverbindung, kein WiFi. Die Grafikeinstellungen der Dienste nehmen wir standardmäßig, Auflösung – FullHD.
Mit Hilfe der Software simulieren wir Netzwerkprobleme, insbesondere Paketverluste unterschiedlicher Art und Umfang.
Gleichmäßige Einzelsverluste. Das bedeutet, dass nur ein Paket verlorengeht und die Verluste mehr oder weniger gleichmäßig verteilt sind. So bedeuten gleichmäßige Verluste von 10 %, dass von 100 Paketen jedes 10. Paket verloren geht, aber immer nur ein Paket. Das Problem zeigt sich normalerweise bei Verzerrungen (Abschirmungen) auf der Leitung vom Client zum Server.
Wir testen gleichmäßige Verluste von 5 %, 10 %, 25 %.
Ungleichmäßige Massenverluste, wenn plötzlich 40-70 Pakete auf einmal verloren gehen. Solche Verluste treten häufig auf, wenn es Probleme mit den Netzwerkgeräten (Router usw.) des Benutzers oder des Anbieters gibt. Sie können auch durch die Überlastung des Puffers in den Netzwerkgeräten in der Verbindung „Benutzer – Server“ verursacht werden. WLAN mit dicken Wänden kann ebenfalls solche Verluste hervorrufen. Die Belastung des drahtlosen Netzwerks durch eine große Anzahl von Geräten ist ein weiterer typischer Grund, insbesondere in Büros und Mehrfamilienhäusern.
Wir testen unregelmäßige Verluste von 0,01 %, 0,1 %, 0,5 %.
Im Folgenden analysiere ich all diese Fälle und füge einen Videovergleich zur Veranschaulichung bei. Am Ende des Artikels gebe ich einen Link zu den Roh-, ungeschnittenen Gameplay-Videos aus allen Diensten und Fällen – dort kann man die Artefakte sowie technische Informationen näher betrachten (in allen Diensten außer Stadia sind technische Konsolendaten aufgezeichnet; solche habe ich bei Stadia nicht gefunden).
Los geht's!
Hier sind 7 Szenarien für den Stresstest sowie Videos mit Zeitstempeln (das Video ist dasselbe, um die Navigation zu erleichtern, beginnt die Ansicht in jedem Punkt ab dem relevanten Moment). Am Ende des Beitrags finden Sie die Originalvideos für jeden der Dienste. Ein guter Bekannter hat mir bei der Erstellung der Videos geholfen; dafür danke ich ihm!
Szenario Nr. 1. Ideale Bedingungen. Null Verluste im Netzwerk
Alles, wie es in einer idealen Welt sein sollte. Es gibt keine Verbindungsprobleme, keine Unterbrechungen, keine Störungen; Ihr Zugangspunkt ist ein Leuchtturm des Internets. Unter diesen optimalen Bedingungen zeigen fast alle Teilnehmer des Tests eine herausragende Leistung.
PC
In jedes Szenario haben wir Aufnahmen von einem PC-Spiel als Referenz aufgenommen. Klar ist, dass die Qualität des Netzwerks dabei keine Rolle spielt, da das Spiel lokal auf dem PC gestartet wird. Diese Aufnahmen beantworten die Frage: „Spürt man einen Unterschied, wenn man in der Cloud spielt im Vergleich zum Spielen auf dem eigenen PC?“ Unter idealen Bedingungen – meist nicht bei den meisten Diensten spürbar. Weitere Informationen zum PC werden wir nicht mehr geben, merken Sie sich einfach, dass er existiert.
GeForce Now
Alles läuft gut, das Bild ist klar, der Prozess verläuft reibungslos, ohne Verzögerungen.
Vortex
Der Vortex stört unsere perfekte Welt. Sofort traten Probleme auf – das Bild ist schlechter als bei allen anderen, und es gibt deutlich spürbare 'Ruckler'. Ein mögliches Problem könnte sein, dass die Gaming-Server weit von Moskau entfernt sind und die Hardware auf den Gaming-Servern offenbar schwächer ist, was FullHD schlecht bewältigt. In allen Tests hat Vortex schlecht abgeschnitten. Wenn jemand positive Erfahrungen mit Vortex gemacht hat, schreibt in die Kommentare, teilt mit, von wo aus ihr gespielt habt und wie gut es gelaufen ist.
Playkey
Alles ist hervorragend, genau wie auf einem lokalen PC. Sichtbare Probleme wie Ruckler, Lags usw. gibt es nicht.
Loudplay
Der Service liefert ein ausgezeichnetes Bild, sichtbare Probleme gibt es nicht.
Stadia
Der Gaming-Service von Google funktioniert hervorragend, obwohl es keine Server in Russland gibt und Stadia offiziell nicht in Russland verfügbar ist. Dennoch läuft alles gut. Es ist schade, dass es 'Witcher' auf Stadia nicht gab, als ich gespielt habe, aber was soll man machen, wir haben 'Odyssey' genommen – ebenfalls anspruchsvoll, auch über einen Mann, der Menschen und Tiere niedermäht.
Szenario Nr. 2. Gleichmäßige Verluste von 5%
In diesem Test geht etwa jedes 20. Paket von 100 verloren. Zur Erinnerung: Für das Rendering eines einzelnen Frames werden 40-50 Pakete benötigt.
GeForce Now
Der Dienst von Nvidia funktioniert einwandfrei, es gibt keine Probleme. Das Bild ist etwas unschärfer als bei Playkey, aber „The Witcher“ ist weiterhin spielbar.
Vortex
Hier ist es noch schlechter geworden. Warum ist nicht ganz klar, wahrscheinlich gibt es keine oder nur minimale Redundanz. Redundanz bedeutet, dass Datenübertragungen mit Fehlerkorrektur codiert werden (FEC – Forward Error Correction). Diese Technologie stellt Daten bei teilweisem Verlust aufgrund von Netzwerkproblemen wieder her. Sie kann unterschiedlich implementiert und konfiguriert werden, und judging by the results, haben die Entwickler von Vortex dabei nicht überzeugt. Selbst bei minimalen und gleichmäßigen Verlusten ist es unmöglich zu spielen. Bei nachfolgenden Tests hat Vortex einfach „aufgehört zu funktionieren“.
Playkey
Alles gut, es gibt keinen nennenswerten Unterschied zu den idealen Bedingungen. Möglicherweise hilft es, dass die Server des Unternehmens auch in Moskau stehen, wo die Tests durchgeführt wurden. Zudem könnte die oben erwähnte Redundanz besser konfiguriert sein.
Loudplay
Der Dienst ist abrupt unspielbar geworden, trotz relativ geringer Paketverluste. Woran könnte das liegen? Ich vermute, dass Loudplay mit dem TCP-Protokoll arbeitet. In diesem Fall werden, solange die Bestätigung des Paketempfangs aussteht, keine weiteren Pakete gesendet; das System wartet auf die Bestätigung der Zustellung. Wenn das Paket verloren geht, gibt es keine Bestätigung, und neue Pakete werden nicht gesendet, das Bild bleibt stehen – Ende der Geschichte.
Wenn man jedoch UDP verwendet, benötigt man keine Empfangsbestätigung für das Paket. Soweit ich beurteilen kann, nutzen alle anderen Dienste außer Loudplay das UDP-Protokoll. Falls das nicht stimmt, bitte korrigiert mich in den Kommentaren.
Stadia
Alles ist spielbar. Manchmal pixeliert das Bild, es gibt minimale Verzögerungen. Wahrscheinlich funktioniert die Fehlertoleranz nicht perfekt, daher gibt es geringfügige Artefakte bei einem insgesamt spielbaren Stream.
Szenario Nr. 3. Gleichmäßige Verluste von 10%
Wir verlieren jedes zehnte Paket von hundert. Das ist bereits eine Herausforderung für die Dienste. Um mit solchen Verlusten effektiv umzugehen, werden Techniken zur Wiederherstellung und/oder erneuten Übertragung verlorener Daten benötigt.
GeForce Now
Bei Geforce gibt es gelegentliche Einbrüche bei der Videoqualität. Soweit man beurteilen kann, reagiert GFN auf Netzwerkprobleme und versucht, diese zu minimieren. Der Dienst reduziert die Bitrate, also die Menge an Bits, die zur Datenübertragung verwendet werden. Damit versucht er die Belastung eines seiner Meinung nach unzureichenden Netzwerks zu verringern und eine stabile Verbindung zu erhalten. Die Stabilität ist tatsächlich gegeben, jedoch leidet die Videoqualität erheblich darunter. Wir sehen eine deutliche Pixelation des Bildes. Da das Modellieren einen ständigen Verlust von 10 % der Pakete beinhaltet, hilft die Reduzierung der Bitrate nicht wirklich; die Situation normalisiert sich nicht.
Im realen Leben wird das Bild wahrscheinlich nicht konstant schlecht sein, sondern schwankend. Bei erhöhten Verlusten wird das Bild unscharf; wenn die Verluste zurückgehen, normalisiert sich das Bild wieder, und so weiter. Das beeinflusst das Spielerlebnis natürlich nicht positiv.
Playkey
Es gibt keine besonderen Probleme. Wahrscheinlich erkennt der Algorithmus Netzwerkprobleme, bewertet den Verlustgrad und setzt eher auf Redundanz als auf die Reduzierung der Bitrate. Bei gleichmäßigen Verlusten von 10 % ändert sich die Bildqualität nahezu nicht, solche Verluste wird der Nutzer kaum bemerken.
Loudplay
Ist nicht funktionsfähig, er startet einfach nicht. Bei weiteren Tests trat die Situation erneut auf. Nach allem, was man sagen kann, passt sich dieser Dienst nicht an Netzwerkprobleme an. Möglicherweise ist das TCP-Protokoll schuld daran. Bereits kleinste Verluste lähmen den Dienst komplett. Für den realen Einsatz ist das natürlich nicht sehr praktisch.
Vortex
Es gibt auch hier große Probleme. Unter solchen Bedingungen kann man nicht spielen, obwohl das Bild noch da ist und die Figur weiterläuft, allerdings ruckartig. Ich denke, es liegt an der schlecht implementierten oder fehlenden Redundanz. Pakete gehen häufig verloren und werden nicht wiederhergestellt. Infolgedessen sinkt die Bildqualität auf ein unspielbares Niveau.
Stadia
Leider sieht es hier schlecht aus. Es gibt Unterbrechungen im Stream, wodurch die Ereignisse auf dem Bildschirm ruckartig ablaufen und das Spielen extrem schwierig wird. Man könnte annehmen, dass das Problem, wie im Fall von Vortex, aufgrund minimaler Redundanz oder deren völliger Abwesenheit auftritt. Ich habe mich mit einigen Bekannten beraten, die sich auskennen, und sie haben gesagt, dass Stadia wahrscheinlich auf die vollständige Bildzusammenstellung wartet. Im Gegensatz zu GFN versucht sie nicht, die Situation durch eine drastische Senkung der Bitrate zu retten. Das führt dazu, dass zwar keine Artefakte vorhanden sind, aber es entstehen Ruckler und Lags (bei GFN hingegen gibt es weniger Ruckler/Lags, aber durch die niedrige Bitrate ist das Bild völlig unattraktiv).
Auch die anderen Dienste scheinen nicht auf die vollständige Bildzusammenstellung zu warten und ersetzen den fehlenden Teil durch einen Ausschnitt eines alten Frames. Das ist eine gute Lösung, in den meisten Fällen wird der Nutzer nichts im Verdacht schöpfen (während pro Sekunde mehr als 30 Frames wechseln), obwohl gelegentlich Artefakte auftreten können.
Szenario Nr. 4. Gleichmäßige Verluste von 25%
Jeder vierte Paket geht verloren. Es wird immer bedrohlicher und interessanter. Bei einer solchen „löchrigen“ Verbindung ist ein normales Cloud-Gaming kaum möglich. Einige Teilnehmer unseres Vergleichs kommen zwar klar, jedoch nicht perfekt.
GFN
Die Probleme sind bereits deutlich spürbar. Das Bild ist pixelig und unscharf. Man kann weiterhin spielen, aber das entspricht nicht mehr dem, was GFN ursprünglich angeboten hat. Und es ist definitiv nicht das, wie man schöne Spiele spielen sollte. Die Schönheit ist nicht mehr wahrzunehmen.
Playkey
Der Spielablauf funktioniert ganz gut. Die Flüssigkeit ist vorhanden, obwohl das Bild etwas leidet. Übrigens, oben links — die Zahlen zeigen, wie viele verlorene Pakete wiederhergestellt werden. Wir sehen, dass 96% der Pakete wiederhergestellt werden.
Loudplay
Hat sich nicht gestartet.
Vortex
Spielen ist selbst mit großer Begeisterung unmöglich; die Framerates (Bildstopps, Wiederaufnahme des Videostreams ab einem neuen Fragment) sind noch auffälliger.
Stadia
Der Dienst ist praktisch unspielbar. Die Gründe wurden bereits oben genannt. Das Warten auf den Frame-Zusammenbau dauert zu lange, die Redundanz ist minimal und bei diesen Verlusten nicht ausreichend.
Szenario Nr. 5. Ungleichmäßige Verluste 0,01%.
Bei 10.000 Paketen gehen einmal 40-70 Pakete hintereinander verloren. Das bedeutet, wir verlieren ungefähr 1 von 200 Frames. Das kann passieren, wenn der Puffer des Netzwerkgeräts überläuft und alle neuen Pakete einfach verworfen (gedroppt) werden, bis der Puffer wieder frei ist. Alle Vergleichsteilnehmer, außer Loudplay, haben dieses Problem in irgendeiner Form bewältigt.
GFN
Das Bild hat nur minimal an Qualität verloren, es ist etwas verschwommen, aber alles ist spielbar.
Playkey
Alles ist ganz in Ordnung. Das Bild ist flüssig, die Darstellung ist gut. Man kann ohne Probleme spielen.
Loudplay
In den ersten paar Sekunden war das Bild da, der Charakter ist sogar gelaufen. Aber die Verbindung zum Server ging fast sofort verloren. Dieser TCP-Protokoll ist schon ärgerlich. Der erste Verlust hat den Dienst sofort lahmgelegt.
Vortex
Es treten die üblichen Probleme auf. Ruckler, Lags und all das. Es wäre sehr schwierig, unter solchen Bedingungen zu spielen.
Stadia
Spielbar. Es gibt merkliche leichte Einbrüche, das Bild pixelt manchmal.
Szenario Nr. 6. Unregelmäßige Verluste von 0,1%
Bei 10.000 Paketen gehen 10 Mal 40-70 Pakete hintereinander verloren. Das ergibt, dass wir 10 von 200 Frames verlieren.
Ich möchte gleich sagen, dass bei den meisten Diensten erhebliche Probleme aufgetreten sind. Zum Beispiel ruckelt das Bild, sodass Überflüssigkeit hier nicht mehr hilft. Das bedeutet, dass der positive Effekt bei der Verwendung von Redundanztechnologie zwar vorhanden ist, aber eher gering ist.
Das Problem ist, dass die Reaktionszeit auf die Aktionen des Benutzers und des Spiels begrenzt ist – der Video-Stream muss kontinuierlich sein. Es ist unmöglich, den Stream trotz aller Bemühungen der Dienste auf eine akzeptable Qualität wiederherzustellen.
Es treten Artefakte auf (ein Versuch, Packetverluste zu kompensieren, es fehlen Daten) und Bildruckler.
GFN
Die Bildqualität ist merklich gesunken, die Bitrate wurde offensichtlich erheblich reduziert.
Playkey
Es läuft besser – wahrscheinlich, weil die Redundanz gut eingestellt ist und der Bitratemanager die Verluste als nicht allzu hoch einschätzt und das Bild nicht in eine pixelige Einheit verwandelt.
Loudplay
Hat sich nicht gestartet.
Vortex
Es hat gestartet, aber mit schrecklicher Bildqualität. Ruckler und Einbrüche sind deutlich sichtbar. Unter solchen Bedingungen ist ein Spielen wahrscheinlich nicht möglich.
Stadia
Die Ruckler sind deutlich sichtbar, was ein klares Zeichen dafür ist, dass es an Redundanz mangelt. Das Bild bleibt stehen, dann erscheinen andere Frames, und es ist ein Ausfall des Video-Streams zu beobachten. Spielen ist grundsätzlich möglich, wenn man einen starken Willen hat und geneigt ist, sich selbst zu foltern.
Szenario Nr. 7. Ungleichmäßige Verluste von 0,5 %
Von 10.000 Paketen gehen 40-70 Pakete hintereinander verloren. Wir verlieren 50 Frames von 200.
Situation der Klasse "voller Chaos". Ihr Router zickt, beim Anbieter gibt es einen Ausfall, Kabel wurden von Mäusen angenagt, und trotzdem möchten Sie in der Cloud spielen. Welchen Dienst sollten Sie wählen?
GFN
Spielen ist mittlerweile äußerst schwierig, wenn nicht sogar unmöglich – die Bitrate ist stark reduziert. Frames gehen verloren; anstelle eines klaren Bildes sehen wir "Schmieren". Frames werden nicht wiederhergestellt – es fehlt an Informationen zur Wiederherstellung. Ob GFN überhaupt eine Wiederherstellung vorsieht, steht in den Sternen. Die Aggressivität, mit der der Dienst versucht, die Bitrate zu retten, wirft Fragen zur Fähigkeit auf, mit Redundanz zu arbeiten.
Playkey
Es gibt Verzerrungen im Bild, es ruckelt, das bedeutet, dass Elemente einzelner Frames wiederholt werden. Man sieht, dass ein großer Teil des „beschädigten“ Frames aus Teilen früherer Frames wiederhergestellt wurde. Das heißt, in neuen Frames sind Teile alter Frames enthalten. Aber das Bild ist dabei mehr oder weniger klar. Es ist möglich, es zu steuern, aber in dynamischen Szenen, zum Beispiel in Kämpfen, wo eine gute Reaktion erforderlich ist, wird es schwierig.
Loudplay
Hat sich nicht gestartet.
Vortex
Es hat gestartet, aber besser wäre es gewesen, es hätte nicht gestartet - das lässt sich nicht spielen.
Stadia
Der Service ist unter diesen Bedingungen unspielbar. Die Gründe sind die Notwendigkeit, auf den Frame-Aufbau zu warten, und die schwache Redundanz.
Wer ist der Gewinner?
Die Bewertung ist natürlich subjektiv. In den Kommentaren kann darüber diskutiert werden. Nun, der erste Platz geht natürlich an den lokalen PC. Gerade weil Cloud-Dienste sehr empfindlich auf die Qualität des Netzwerks reagieren, und diese Qualität in der realen Welt ziemlich instabil ist, bleibt ein eigener Gaming-PC unübertroffen. Aber wenn dieser aus irgendeinem Grund nicht vorhanden ist, schauen Sie sich das Ranking an.
- Lokaler PC. Erwartungsgemäß.
- Playkey
- GeForce Now
- Google Stadia
- Vortex
- Loudplay
Als Fazit möchte ich noch einmal betonen, dass die Hauptrolle im Cloud-Gaming hinsichtlich der Stabilität gegenüber Netzwerkproblemen gespielt wird:
- Welches Netzwerkprotokoll wird verwendet. Für die Übertragung von Video-Streams ist es am besten, UDP zu verwenden. Ich vermute, dass Loudplay TCP verwendet, aber das kann ich nicht mit Sicherheit sagen. Die Testergebnisse haben Sie gesehen.
- Ist eine fehlerresistente Kodierung implementiert? (FEC – Forward Error Correction, auch genannt Redundanz). Ebenso wichtig ist die Anpassungsmethode bei Paketverlusten. Wie wir gesehen haben, hängt die Bildqualität stark von der Implementierung ab.
- Wie ist die Bitratenanpassung konfiguriert? Wenn der Dienst in erster Linie die Bitrate optimiert, hat dies einen stärkeren Einfluss auf das Bild. Der Schlüssel zum Erfolg liegt in einem fragilen Gleichgewicht zwischen Bitrate-Manipulationen und Redundanz.
- Wie ist die Nachbearbeitung eingerichtet? Wenn Probleme auftreten, werden die Frames entweder verworfen, wiederhergestellt oder aus Fragmenten älterer Frames zusammengefügt.
- Die Nähe der Server zum Gamer und die Leistung der Hardware wirken sich ebenfalls erheblich auf die Spielqualität aus, aber das gilt auch für ein ideales Netzwerk. Wenn die Latenz zu den Servern zu hoch ist, lässt es sich auch in einem idealen Netzwerk nicht komfortabel spielen. In dieser Studie haben wir mit der Latenz nicht experimentiert.
Wie versprochen, hier ist der Link zu.
Quelle: habr.com
