Około rok temu opublikowałam artykuł . W nim analizowałam zalety i wady różnych serwisów do gier chmurowych na słabych PC. Podczas grania testowałam każdy serwis i podzieliłam się ogólnymi wrażeniami.
W komentarzach do tamtego oraz innych podobnych artykułów czytelnicy często dzielili się wrażeniami na temat różnych serwisów gier. Często pojawiały się przeciwne opinie na temat tego samego. U niektórych wszystko działa idealnie, a inni nie mogą grać z powodu lagów i zacięć. Wtedy wpadłam na pomysł, aby ocenić jakość pracy tych serwisów w różnych warunkach — od idealnych do katastrofalnych. Mowa tutaj o jakości sieci, ponieważ rzadko kiedy użytkownik może pochwalić się szybkim i bezproblemowym łączem, prawda? Generalnie, poniżej przedstawiam ocenę serwisów przy symulacji różnego jakości pracy sieci.
Jaki jest w ogóle problem?
Jak wspomniano wcześniej — chodzi o jakość łącza. A dokładniej — o utratę pakietów w trakcie gry. Im większa utrata, tym więcej problemów ma gracz, tym mniej jest zadowolony z gry. A przecież rzadko kto ma idealne łącze, takie jak światłowód do urządzenia, a do tego jeszcze z dedykowanym, a nie współdzielonym z innymi mieszkańcami bloku internetem.
Dla informacji — przy prędkości połączenia 25 Mb/s do przesłania 1 ramki/klatki potrzeba 40-50 pakietów danych. Im więcej pakietów zostaje utraconych, tym mniej jakościowy staje się obraz, a tym bardziej zauważalne są lagi i zacięcia. W szczególnie trudnych przypadkach granie staje się po prostu niemożliwe.
Oczywiście sam serwis chmurowy w żaden sposób nie może wpłynąć na szerokość i stabilność łącza użytkownika (chociaż byłoby to świetne, oczywiście). Można jednak przewidzieć różne sposoby niwelowania problemów z łącznością. Jakie serwisy radzą sobie z problemem najlepiej — zobaczymy poniżej.
Co dokładnie porównujemy?
Zwykły PC (Intel i3-8100, GTX 1060 6 GB, 8 GB RAM), GeForce Now (jego rosyjska wersja z serwerami w Moskwie), , , , . Na wszystkich serwisach, poza Stadią, badamy jakość grania w „Wiedźmina”. W Google Stadia w momencie pisania artykułu nie było tej gry, dlatego musiałam przetestować inną — „Odyseję”.
Jakie są warunki i metodologia testowania?
Testujemy z Moskwy. Dostawca — МГТС, taryfa 500 Mbit/s, połączenie kablowe, nie WiFi. Ustawienia jakości grafiki w serwisach przyjmujemy domyślnie, rozdzielczość — FullHD.
Za pomocą programu modelujemy problemy z siecią, a mianowicie, utraty pakietów różnego rodzaju i objętości.
Jednolite pojedyncze straty. To sytuacja, gdy gubi się tylko 1 pakiet, a straty są rozłożone mniej więcej równomiernie. Tak, jednolite straty 10% oznaczają, że na 100 pakietów każdy 10-ty jest gubiony, ale zawsze tylko 1 pakiet. Problem zazwyczaj objawia się przy zniekształceniach (ekranowaniu) na linii od klienta do serwera.
Testujemy jednolite straty 5%, 10%, 25%.
Niejednolite masowe straty, gdy w pewnym momencie gubi się od razu 40-70 pakietów z rzędu. Takie straty najczęściej występują przy problemach z wyposażeniem sieciowym (routerami itp.) u użytkownika lub u dostawcy. Mogą być związane z przepełnieniem bufora sprzętu sieciowego na linii „użytkownik — serwer”. WiFi z grubymi ścianami również może powodować takie straty. Obciążenie sieci bezprzewodowej z powodu wielu urządzeń — jeszcze jedna przyczyna, bardzo charakterystyczna dla biur i bloków mieszkalnych.
Testujemy niejednolite straty 0,01%, 0,1%, 0,5%.
Poniżej analizuję wszystkie te przypadki i dołączam wideo porównawcze dla lepszej ilustracji. Na końcu artykułu podaję link do surowych, nieedytowanych filmów z gameplayu z wszystkich serwisów i przypadków — tam można dokładniej przyjrzeć się artefaktom oraz uzyskać informacje techniczne (w wszystkich serwisach, poza Stadią, zarejestrowano dane technicznej konsoli; w Stadii takich nie znalazłam).
Zaczynamy!
Poniżej — 7 scenariuszy testu obciążeniowego i wideo z znacznikami czasowymi (wideo jest to samo, dla wygody w każdym punkcie oglądanie zaczyna się od odpowiedniego momentu). Na końcu posta — źródłowe filmy dla każdego z serwisów. Film pomógł mi zrealizować dobry znajomy, za co mu dziękuję!
Scenariusz nr 1. Idealne warunki. Zerowe straty w sieci
Wszystko, jak powinno być w idealnym świecie. Nie ma problemów z połączeniem, żadnych przerw, brak zakłóceń, twoja strefa dostępu — latarnia internetu. W takich cieplarnianych warunkach prawie wszyscy uczestnicy testowania spisują się dobrze.
PC
W każdym scenariuszu przyjęliśmy klatki z gry na PC jako odniesienie. Oczywiste, że na jakość sieci nie ma to wpływu, gra uruchamiana jest lokalnie na PC. Obecność tych klatek odpowiada na pytanie „czy odczuwalna jest różnica w grze w chmurze w porównaniu do gry na własnym PC”. W idealnych warunkach w naszym przypadku — nie jest odczuwalna dla większości usług. Poniżej już nic nie będziemy pisać o PC, po prostu zapamiętajcie, że to istnieje.
GeForce Now
Wszystko dobrze, obraz jest wyraźny, proces przebiega płynnie, bez zacięć.
Vortex
Tu Vortex psuje nasz idealny świat. Od razu zaczął mieć problemy — obraz gorszy niż u wszystkich innych, a dodatkowo dobrze widoczne „zacięcia”. Możliwy problem — serwery gier są daleko od Moskwy, a sprzęt na serwerach gier wydaje się słabszy i FullHD nie radzi sobie dobrze. We wszystkich testach Vortex wypadł słabo. Jeśli ktoś miał pozytywne doświadczenia z grą na Vortexie — napiszcie w komentarzach, podzielcie się, z jakiego miejsca graliście i jak dobrze wszystko poszło.
Playkey
Wszystko świetnie, dokładnie tak jak na lokalnym PC. Nie widać żadnych problemów, jak zacięcia, opóźnienia itp.
Loudplay
Usługa pokazuje znakomity obraz, nie widać żadnych problemów.
Stadia
Serwis gier od Google działa świetnie, mimo że nie ma serwerów w Rosji, a sam Stadia oficjalnie nie działa w Rosji. Niemniej jednak wszystko jest w porządku. Szkoda, że „Wiedźmin” nie był dostępny na Stadia w momencie gry, ale co poradzić, wzięliśmy „Odyseję” — również wymagającą, również o facetach, którzy tną ludzi i zwierzęta.
Scenariusz nr 2. Równomierne straty 5%
W teście z 100 pakietów gubi się około co 20. Przypominam, że do renderowania jednej klatki potrzebne jest 40-50 pakietów.
GeForce Now
Usługa od Nvidii ma się dobrze, problemów nie ma. Obraz jest nieco bardziej rozmyty niż u Playkey, ale „Wiedźmin” jest nadal grywalny.
Vortex
Tutaj wszystko stało się jeszcze gorsze. Dlaczego — nie do końca wiadomo, prawdopodobnie nie przewidziano nadmiarowości lub jest ona minimalna. Nadmiarowość — to kodowanie odpornych na zakłócenia danych przesyłanych (FEC — Forward Error Correction). Ta technologia przywraca dane przy częściowej utracie z powodu problemów w sieci. Można ją wdrożyć i skonfigurować na różne sposoby, a sądząc po wynikach, twórcy Vortexa w tym nie odnieśli sukcesu. Nawet przy minimalnych równomiernych stratach granie nie będzie możliwe. W trakcie kolejnych testów Vortex po prostu „umarł”.
Playkey
Wszystko w porządku, nie ma znaczącej różnicy w porównaniu do idealnych warunków. Możliwe, że pomaga fakt, iż serwery firmy znajdują się także w Moskwie, skąd przeprowadzano testy. No i być może lepiej jest skonfigurowana wcześniej wspomniana nadmiarowość.
Loudplay
Usługa nagle stała się niegrywalna, mimo stosunkowo niewielkich strat pakietów. Co może być przyczyną? Przypuszczam, że Loudplay działa na protokole TCP. W takim przypadku, dopóki nie ma potwierdzenia odbioru pakietu, inne pakiety nie są wysyłane, system czeka na potwierdzenie dostawy. W związku z tym, jeśli pakiet zaginie, potwierdzenia jego dostawy nie będzie, nowe pakiety nie zostaną wysłane, obraz zaciśnie się, koniec historii.
Gdyby używać UDP, potwierdzenie odbioru pakietu nie byłoby potrzebne. Na ile można ocenić, wszystkie inne usługi oprócz Loudplay korzystają z protokołu UDP. Jeśli jest inaczej, proszę poprawcie mnie w komentarzach.
Stadia
Wszystko jest grywalne. Czasami obraz staje się pikselowy, są minimalne opóźnienia odpowiedzi. Możliwe, że odporne kodowanie na zakłócenia nie działa idealnie, stąd niewielkie artefakty w ogólnie grywalnym strumieniu.
Scenariusz nr 3. Równomierne straty 10%
Tracimy co dziesiąty pakiet na setkę. To już stanowi wyzwanie dla usług. Aby efektywnie radzić sobie z takimi stratami, potrzebni są technolodzy do przywracania i/lub ponownego wysyłania utraconych danych.
GeForce Now
W Geforce obserwuje się niewielkie spadki jakości strumienia wideo. Na ile można ocenić, GFN reaguje na problemy w sieci, starając się je zminimalizować. Usługa zmniejsza bitrate, czyli liczbę bitów do przesyłania danych. W ten sposób stara się zmniejszyć obciążenie na według niej niewystarczająco wydajnej sieci i zachować stabilne połączenie. A co do stabilności, nie ma rzeczywiście żadnych zastrzeżeń, ale jakość wideo odczuwalnie cierpi. Widzimy znaczną pikselizację obrazu. A ponieważ symulacja zakłada stałą utratę 10% pakietów, obniżenie bitrate'u nie pomaga zbytnio, sytuacja nie wraca do normy.
W rzeczywistości obraz prawdopodobnie będzie nie stabilnie zły, a raczej chwiejny. Wzrosły straty — obraz się rozmył; straty zmniejszyły się — obraz wrócił do normy i tak dalej. Oczywiście, to nie służy doświadczeniu w grze.
Playkey
Nie ma szczególnych problemów. Prawdopodobnie algorytm wykrywa problemy w sieci, określa poziom strat i bardziej stawia na nadmiarowość, a nie na obniżenie bitrate'u. Okazuje się, że przy 10% równomiernych strat jakość obrazu praktycznie się nie zmienia, użytkownik takich strat prawdopodobnie nie zauważy.
Loudplay
Nie działa, po prostu się nie uruchomił. Podczas dalszych testów sytuacja się powtórzyła. Z tego co można sądzić, ten serwis w żaden sposób nie dostosowuje się do problemów z siecią. Możliwe, że to wina protokołu TCP. Najmniejsze straty paraliżują serwis całkowicie. Oczywiście, to mało praktyczne w rzeczywistości.
Vortex
Też ogromne problemy. Nie da się grać w takich warunkach, chociaż obraz jeszcze jest, a postać nadal biegnie, prawdę mówiąc, chaotycznie. Myślę, że chodzi o tę samą słabo zrealizowaną lub brakującą nadmiarowość. Pakiety gubią się często i w żaden sposób nie są odzyskiwane. W rezultacie jakość obrazu pogarsza się do niegrywalnego poziomu.
Stadia
Niestety, tutaj wszystko jest źle. Obserwuje się zrywanie strumienia, przez co wydarzenia na ekranie odbywają się skokowo, gra jest skrajnie trudna. Można przypuszczać, że problem pojawił się, tak jak w przypadku Vortex, z powodu minimalnej nadmiarowości lub jej braku. Konsultowałam się z kilkoma znajomymi, którzy „siedzą w temacie”, oni stwierdzili, że Stadia prawdopodobnie czeka na pełną klatkę. W przeciwieństwie do GFN, nie stara się ratować sytuacji całkowitym obniżeniem bitrate'u. W rezultacie nie ma artefaktów, ale pojawiają się zacięcia i opóźnienia (w GFN, przeciwnie, zacięć/wyhamowań jest mniej, ale przez niski bitrate obraz jest zupełnie nieatrakcyjny).
Inne serwisy również nie czekają na pełną klatkę, zastępując zaginioną część fragmentem starej klatki. To dobre rozwiązanie, w większości przypadków użytkownik nie zauważy podstępu (na sekundę zmienia się 30+ klatek), chociaż czasami mogą pojawić się artefakty.
Scenariusz nr 4. Równomierne straty 25%
Gubiony jest co czwarty pakiet. Staje się coraz straszniej i ciekawiej. W ogóle, przy takim „dziurawego” połączeniu normalna gra w chmurze jest mało możliwa. Chociaż niektórzy uczestnicy porównania sobie radzą, choć nie idealnie.
GFN
Problemy są już wyraźnie zauważalne. Obraz jest zniekształcony i zamazany. Grać się da, ale to już nie to, co oferował GFN na początku. Piękno już nie da się docenić.
Playkey
Proces gry idzie całkiem nieźle. Płynność jest, chociaż obraz nieco cierpi. Nota bene, w lewym górnym rogu znajdują się liczby pokazujące, ile utraconych pakietów zostało odzyskanych. Jak widać, odzyskuje się 96% pakietów.
Loudplay
Nie uruchomił się.
Vortex
Nie da się grać nawet przy ogromnej chęci, zacięcia (zatrzymanie obrazu, wznowienie strumienia wideo z nowego fragmentu) są jeszcze bardziej zauważalne.
Stadia
Usługa praktycznie nie nadaje się do gry. Przyczyny zostały już wymienione powyżej. Czeka na złożenie klatki, nadmiarowość jest minimalna, przy takich stratach jest niewystarczająca.
Scenariusz nr 5. Nierównomierne straty 0,01%.
Na 10 000 pakietów traci się 40-70 pakietów pod rząd 1 raz. Tracimy więc około 1 z 200 klatek. Dzieje się tak, jeśli bufor urządzenia sieciowego jest pełny i wszystkie nowe pakiety są po prostu wyrzucane (dropped), dopóki bufor nie zostanie zwolniony. Wszystkie porównywane usługi, poza Loudplay, w mniejszym lub większym stopniu poradziły sobie z takimi stratami.
GFN
Obraz stracił tylko nieco na jakości, stał się odrobinę zamazany, ale wszystko jest całkiem grywalne.
Playkey
Wszystko jest bardzo w porządku. Obraz jest płynny, jakość jest dobra. Można grać bez problemów.
Loudplay
Pierwsze kilka sekund obraz był, bohater nawet biegł. Ale po chwili połączenie z serwerem zostało prawie natychmiastowo utracone. Ach, ten protokół TCP. Pierwsza strata natychmiast zrujnowała usługę.
Vortex
Występują zwykłe problemy. Zacięcia, lagi i tym podobne. Gra byłaby bardzo trudna w takich warunkach.
Stadia
Da się grać. Zauważalne są drobne spadki, obraz czasami jest pikselizowany.
Scenariusz nr 6. Nierównomierne straty 0,1%.
Na 10 000 pakietów 10 razy traci się 40-70 pakietów pod rząd. Oznacza to, że tracimy 10 z 200 klatek.
Od razu powiem, że zauważalne problemy pojawiły się w większości usług. Na przykład, obraz się zaciąga, więc nadmiarowość tutaj już nie pomaga. To znaczy, że pozytywny efekt stosowania technologii nadmiarowości istnieje, ale jest niewielki.
Faktem jest, że czas reakcji na działania użytkownika i samej gry jest ograniczony, strumień wideo musi być nieprzerwany. Nie da się przywrócić strumienia do akceptowalnej jakości, niezależnie od wysiłków usług.
Pojawiają się artefakty (próba rekompensacji utraty pakietów, brak danych) oraz szarpania obrazu.
GFN
Jakość obrazu wyraźnie spadła, bitrate został znacznie obniżony.
Playkey
Radzi sobie lepiej — prawdopodobnie dlatego, że dobrze skonfigurowano nadmiarowość, plus algorytm bitrate'u ocenia straty jako niezbyt wysokie, przez co obraz nie zamienia się w pikselową papkę.
Loudplay
Nie uruchomił się.
Vortex
Uruchomił się, ale z okropną jakością obrazu. Wyraźnie widoczne szarpania i opóźnienia. Gra w takich warunkach jest mało prawdopodobna.
Stadia
Wyraźnie widoczne szarpania, to wyraźny wskaźnik, że brakuje nadmiarowości. Obraz zastyga, potem pojawiają się inne klatki, występuje przerywanie strumienia wideo. Gra jest możliwa, jeśli masz duże chęci i kliniczne skłonności do samopotępienia.
Scenariusz nr 7. Nierównomierne straty 0,5%
Na 10 000 pakietów traci się 40-70 pakietów za jednym razem. Tracimy 50 klatek z 200.
Sytuacja klasy „mocny chaos”. Twój router iskrzy, dostawca ma awarię, kable pogryzły myszy, ale nadal chcesz grać w chmurze. Którą usługę powinieneś wybrać?
GFN
Gra jest już bardzo trudna, jeśli w ogóle możliwa — bitrate jest znacznie obniżony. Gubione są klatki, zamiast normalnego obrazu widzimy „mydło”. Klatki się nie regenerują — brakuje informacji do przywrócenia. Jeśli GFN w ogóle przewiduje regenerację. Sposób, w jaki usługa próbuje ratować sytuację bitrate'em, budzi wątpliwości co do jej gotowości do pracy z nadmiarowością.
Playkey
Występuje zniekształcenie klatki, obraz się trzęsie, to znaczy, że elementy poszczególnych klatek się powtarzają. Widać, że większość „uszkodzonej” klatki została odbudowana z kawałków poprzednich. To znaczy, że w nowych klatkach są części starych klatek. Ale obraz jest w miarę wyraźny. Można grać, ale w dynamicznych scenach, na przykład podczas walki, gdzie potrzebna jest dobra reakcja — jest to trudne.
Loudplay
Nie uruchomił się.
Vortex
Uruchomił się, ale lepiej by nie uruchamiał się — nie da się w to grać.
Stadia
Usługa w takich warunkach jest niegrywalna. Powody — konieczność czekania na złożenie klatki oraz słaba nadmiarowość.
Kto jest zwycięzcą?
Oczywiście, ocena jest subiektywna. Można podyskutować w komentarzach. No i pierwsze miejsce, jak się spodziewano, należy do lokalnego PC. Faktem jest, że usługi chmurowe są niezwykle wrażliwe na jakość sieci, która w prawdziwym świecie jest dość niestabilna, dlatego własny komputer do gier pozostaje bezkonkurencyjny. Ale jeśli z jakiegoś powodu go nie ma, sprawdź ranking.
- Lokalny PC. Spodziewane.
- Playkey
- GeForce Now
- Google Stadia
- Vortex
- Loudplay
Podsumowując, przypominam, że kluczową rolę w chmurowym gamingu odgrywa odporność na problemy z siecią:
- Jaki protokół sieciowy jest używany. Do przesyłania strumienia wideo najlepiej używać UDP. Podejrzewam, że Loudplay używa TCP, chociaż nie mam co do tego pewności. Ale wyniki testów widzieliście.
- Czy zrealizowano kodowanie odporne na zakłócenia. (FEC — Forward Error Correction, innymi słowy nadmiarowość). Ważny jest również sposób dopasowania go do utraty pakietów. Jak widzieliśmy, jakość obrazu znacząco zależy od realizacji.
- Jak skonfigurowana jest adaptacja bitrate. Jeśli serwis w pierwszej kolejności uratuje sytuację bitrate'em, wpływa to mocniej na obraz. Kluczem do sukcesu jest delikatna równowaga między manipulacjami bitrate'em a nadmiarowością.
- Jak skonfigurowana jest postprodukcja. Jeśli występują problemy, klatki są albo porzucane, albo przywracane, albo uzupełniane fragmentami starych klatek.
- Bliskość serwerów do gracza oraz moc sprzętu również znacząco wpływają na jakość gry, ale prawdą jest, że to dotyczy również idealnej sieci. Jeśli ping do serwerów jest zbyt wysoki, nawet w idealnej sieci nie da się komfortowo grać. W tym badaniu nie testowaliśmy pingu.
Jak obiecałam, oto link do.
Źródło: habr.com
