Około rok temu opublikowałem artykuł . Przeanalizowano zalety i wady różnych usług gier w chmurze na słabych komputerach. Przetestowałem każdą usługę podczas gry i podzieliłem się moim ogólnym wrażeniem.
W komentarzach do tego i innych podobnych artykułów czytelnicy często dzielili się swoimi wrażeniami z różnych usług gier. Często pojawiały się odmienne opinie na ten sam temat. Dla niektórych wszystko jest idealne, ale dla innych nie mogą grać z powodu opóźnień i zawieszeń. Potem wpadłem na pomysł, aby ocenić jakość tych usług w różnych warunkach - od idealnych do strasznych. Mówimy o jakości sieci, bo użytkownik nie zawsze może pochwalić się szybkim i bezproblemowym kanałem komunikacji, prawda? Generalnie pod cięciem objęta jest ocena usług z symulacją różnej jakości pracy sieci.
Jaki jest problem?
Jak wspomniano powyżej - jako połączenie. Dokładniej, w utracie pakietów podczas gry. Im wyższe straty, tym więcej problemów ma gracz, tym mniej jest zadowolony z gry. Rzadko jednak zdarza się, aby ktoś miał idealny kanał komunikacji, taki jak światłowód z urządzeniem, i dedykowany Internet, a nie współdzielony przez wszystkich mieszkańców apartamentowca.
Dla porównania, przy szybkości połączenia 25 Mbit/s do przesłania 1 ramki/ramki potrzeba 40-50 pakietów danych. Im więcej pakietów zostanie utraconych, tym niższa będzie jakość obrazu i tym bardziej zauważalne będą opóźnienia i zawieszenia. W szczególnie ciężkich przypadkach gra staje się po prostu niemożliwa.
Naturalnie sama usługa w chmurze nie może w żaden sposób wpłynąć na szerokość i stabilność kanału użytkownika (choć byłoby to oczywiście świetne). Można jednak przewidzieć różne sposoby wyrównania problemów komunikacyjnych. Zobaczymy poniżej, które serwisy najlepiej radzą sobie z problemem.
Co dokładnie porównujemy?
Zwykły PC (Intel i3-8100, GTX 1060 6 GB, 8 GB RAM), GeForce Now (jego rosyjska wersja z serwerami w Moskwie), , , , . We wszystkich usługach z wyjątkiem Stadii badamy jakość gry w Wiedźminie. W momencie pisania tego tekstu na Google Stadia nie było tej gry, więc musiałem przetestować inną – Odyssey.
Jakie są warunki i metodologia testowania?
Testujemy z Moskwy. Dostawca - MGTS, taryfa 500 Mbit/s, łącze kablowe, nie WiFi. Ustawienia jakości grafiki w usługach ustawiamy na domyślną, rozdzielczość – FullHD.
Korzystanie z programu Symulujemy problemy z siecią, czyli utratę pakietów różnego typu i wielkości.
Jednolite pojedyncze straty. Dzieje się tak w przypadku utraty tylko 1 pakietu, a straty rozkładają się mniej więcej równomiernie. Zatem jednolita utrata wynosząca 10% oznacza, że na 100 pakietów co 10-ty pakiet zostanie utracony, ale zawsze tylko 1 pakiet. Problem zwykle objawia się, gdy na kanale od klienta do serwera występują zniekształcenia (ekranowanie).
Testujemy równomierne straty na poziomie 5%, 10%, 25%.
Nierównomierne straty masy, gdy w dowolnym momencie 40-70 pakietów z rzędu zostaje natychmiast utraconych. Takie straty najczęściej powstają w przypadku problemów ze sprzętem sieciowym (routerami itp.) użytkownika lub dostawcy. Może być związane z przepełnieniem bufora sprzętu sieciowego na linii komunikacyjnej użytkownik-serwer. WiFi przy grubych ścianach też może powodować takie straty. Przeciążenie sieci bezprzewodowej spowodowane obecnością dużej liczby urządzeń to kolejna przyczyna, bardzo typowa dla biur i apartamentowców.
Testujemy nierównomierne straty 0,01%, 0,1%, 0,5%.
Poniżej analizuję wszystkie te przypadki i dla przejrzystości załączam porównanie wideo. A na koniec artykułu podaję link do surowych, nieedytowanych filmów z rozgrywki ze wszystkich serwisów i przypadków - tam można przyjrzeć się bardziej szczegółowo artefaktom, a także informacjom technicznym (we wszystkich usługach z wyjątkiem Stadii, dane z bazy technicznej konsola jest nagrana; Stadia takich nie znalazła).
Chodźmy!
Poniżej znajduje się 7 scenariuszy testów warunków skrajnych oraz film ze znacznikami czasu (wideo jest takie samo, dla wygody, oglądanie w każdym momencie rozpoczyna się od odpowiedniego momentu). Na samym końcu wpisu znajdują się oryginalne filmy dla każdej z usług. W nakręceniu filmu pomógł mi dobry przyjaciel, za co mu dziękuję!
Scenariusz nr 1. Idealne warunki. Zero strat w sieci
Wszystko jest tak, jak powinno być w idealnym świecie. Nie ma problemów z połączeniem, ani jednej przerwy, żadnych zakłóceń, Twój punkt dostępu jest latarnią morską Internetu. W takich cieplarnianych warunkach prawie wszyscy uczestnicy testu radzą sobie dobrze.
PC
Dla każdego scenariusza jako punkt odniesienia wykorzystaliśmy materiał filmowy z gry na PC. Oczywiste jest, że jakość sieci nie ma na to żadnego wpływu, gra działa lokalnie na komputerze PC. Obecność tych ramek odpowiada na pytanie „czy gra w chmurze różni się od gry na komputerze PC?” W idealnych warunkach w naszym przypadku większość usług tego nie odczuwa. Poniżej nie będziemy pisać nic o pececie, pamiętajmy tylko, że on istnieje.
GeForce Now
Wszystko jest w porządku, obraz jest wyraźny, proces przebiega sprawnie, bez fryz.
Wir
Wir psuje nasz idealny świat. Od razu zaczął mieć problemy - obraz był gorszy niż wszystkie inne, a do tego wyraźnie widoczne były „hamulce”. Możliwym problemem jest to, że serwery gier są zlokalizowane daleko od Moskwy, a sprzęt na serwerach gier wydaje się słabszy i nie radzi sobie dobrze z FullHD. Vortex wypadł słabo we wszystkich testach. Jeśli ktoś ma pozytywne doświadczenia z grą w Vortex, niech napisze w komentarzach, podzieli się skąd grał i jak dobrze wszystko wyszło.
klucz do gry
Wszystko jest w porządku, tak jak na lokalnym komputerze. Widoczne problemy, takie jak zawieszanie się, opóźnienia itp. NIE.
głośna gra
Usługa pokazuje doskonały obraz, nie ma widocznych problemów.
Stadia
Usługa gier Google działa doskonale, mimo że nie ma serwerów w Federacji Rosyjskiej i ogólnie Stadia oficjalnie nie działa w Rosji. Jednak wszystko jest w porządku. Szkoda oczywiście, że „Wiedźmin” w momencie premiery gry nie był dostępny na Stadii, ale cóż zrobić, zabrali „Odyseję” – też wymagającą, także o człowieku siekającym ludzi i zwierzęta.
Scenariusz nr 2. Jednolita strata 5%
W tym teście na 100 pakietów średnio co 20 zostaje utracony. Przypominam, że do wyrenderowania jednej klatki potrzeba 40-50 pakietów.
GeForce Now
Usługa Nvidii jest w porządku, nie ma żadnych problemów. Obraz jest trochę bardziej rozmazany niż w Playkey, ale w Wiedźmina nadal można grać.
Wir
Tutaj sytuacja stała się jeszcze gorsza. Dlaczego nie jest do końca jasne, najprawdopodobniej redundancja nie jest zapewniona lub jest minimalna. Redundancja to odporne na zakłócenia kodowanie przesyłanych danych (FEC – Forward Error Correction). Technologia ta umożliwia odzyskanie danych w przypadku ich częściowej utraty na skutek problemów z siecią. Można go wdrażać i konfigurować na różne sposoby, a sądząc po wynikach, twórcom Vortexu się to nie udało. Nie będziesz mógł grać nawet przy minimalnych stratach. Podczas kolejnych testów Vortex po prostu „umarł”.
klucz do gry
Wszystko jest w porządku, nie ma znaczącej różnicy od warunków idealnych. Być może pomaga fakt, że serwery firmy znajdują się w Moskwie, gdzie przeprowadzono testy. No cóż, być może wspomniana powyżej redundancja jest lepiej skonfigurowana.
głośna gra
Usługa nagle stała się niegrywalna, pomimo stosunkowo niewielkich strat pakietów. Co może być nie tak? Zakładam, że Loudplay działa z protokołem TCP. W takim przypadku, w przypadku braku potwierdzenia odbioru przesyłki, nie są wysyłane żadne inne paczki, system oczekuje na potwierdzenie doręczenia. Odpowiednio, jeśli paczka zaginie, nie będzie potwierdzenia jej dostarczenia, nowe paczki nie zostaną wysłane, zdjęcie stanie się puste i koniec historii.
Ale jeśli używasz UDP, potwierdzenie odbioru pakietu nie będzie potrzebne. O ile można ocenić, wszystkie inne usługi z wyjątkiem Loudplay korzystają z protokołu UDP. Jeśli tak nie jest, proszę poprawić mnie w komentarzach.
Stadia
Wszystko jest grywalne. Czasami obraz ulega pikselowaniu i występują minimalne opóźnienia w reakcji. Być może kodowanie odporne na zakłócenia nie działa idealnie, stąd drobne artefakty, gdy można odtworzyć cały strumień.
Scenariusz nr 3. Jednolita strata 10%
Na sto tracimy co 10 pakiet. To już jest wyzwanie dla służb. Aby skutecznie uporać się z takimi stratami, potrzebne są technologie umożliwiające odzyskanie i/lub ponowne przesłanie utraconych danych.
GeForce Now
GeForce doświadcza niewielkich spadków jakości strumienia wideo. O ile nam wiadomo, GFN reaguje na problemy z siecią, próbując je złagodzić. Usługa zmniejsza bitrate, czyli liczbę bitów potrzebnych do transmisji danych. Próbuje w ten sposób zmniejszyć obciążenie sieci, jego zdaniem, o niewystarczająco wysokiej jakości i utrzymać stabilne połączenie. I naprawdę nie ma pytań o stabilność, ale jakość wideo zauważalnie spada. Widzimy znaczną pikselację obrazu. No cóż, skoro modelowanie zakłada stałą utratę 10% pakietów, zmniejszenie bitrate niewiele pomaga, sytuacja nie wraca do normy.
W prawdziwym życiu obraz najprawdopodobniej nie będzie stale zły, ale płynny. Zwiększyły się straty - obraz stał się zamazany; straty zostały zmniejszone - obraz wrócił do normy i tak dalej. Nie jest to oczywiście dobre dla wrażeń z gry.
klucz do gry
Nie ma żadnych specjalnych problemów. Prawdopodobnie algorytm wykrywa problemy w sieci, określa poziom strat i skupia się bardziej na redundancji niż na zmniejszaniu przepływności. Okazuje się, że przy 10% równomiernych stratach jakość obrazu pozostaje praktycznie niezmieniona, a użytkownik raczej nie zauważy takich strat.
głośna gra
To nie działa, po prostu się nie zaczęło. Podczas dalszych testów sytuacja się powtórzyła. O ile można ocenić, usługa ta w żaden sposób nie dostosowuje się do problemów z siecią. Być może winny jest protokół TCP. Najmniejsza strata całkowicie sparaliżuje usługę. Oczywiście mało praktyczne w prawdziwym życiu.
Wir
Również duże problemy. W takich warunkach nie da się grać, chociaż obraz nadal jest, a postać nadal biegnie, choć szarpnięciami. Myślę, że chodzi o tę samą źle zaimplementowaną lub brakującą redundancję. Pakiety często są tracone i nie można ich odzyskać. W rezultacie jakość obrazu spada do poziomu nie do odtworzenia.
Stadia
Niestety, tutaj wszystko jest złe. Następuje przerwa w przepływie, przez co wydarzenia na ekranie toczą się gwałtownie, co niezwykle utrudnia grę. Można przypuszczać, że problem powstał, podobnie jak w przypadku Vortexu, na skutek minimalnej redundancji lub jej braku. Konsultowałem się z kilkoma znajomymi, którzy się na tym znają, powiedzieli, że Stadia najprawdopodobniej czeka na całkowity montaż ramy. W przeciwieństwie do GFN nie próbuje ratować sytuacji poprzez całkowite obniżenie bitrate. W rezultacie nie ma artefaktów, ale pojawiają się zawieszenia i opóźnienia (GFN przeciwnie, ma mniej fryz/opóźnień, ale ze względu na niski bitrate obraz jest zupełnie nieatrakcyjny).
Inne serwisy również wydają się nie czekać na całkowity montaż ramy, zastępując brakującą część fragmentem starej ramy. Jest to dobre rozwiązanie, w większości przypadków użytkownik nie zauważy haczyka (zmiany klatek na sekundę wynosi ponad 30), chociaż czasem mogą pojawić się artefakty.
Scenariusz nr 4. Jednolita strata 25%
Co czwarty pakiet zostaje utracony. Robi się coraz bardziej strasznie i interesująco. Ogólnie rzecz biorąc, przy tak „nieszczelnym” połączeniu normalna gra w chmurze jest prawie niemożliwa. Chociaż niektórzy uczestnicy porównania radzą sobie, choć nie doskonale.
Gfn
Problemy są już dość zauważalne. Obraz jest rozpikselowany i rozmazany. Można dalej grać, ale to już zupełnie nie to, co GFN oferowało na samym początku. I zdecydowanie nie tak powinno się grać w piękne gry. Piękno nie może być już docenione.
klucz do gry
Rozgrywka przebiega dobrze. Jest płynność, chociaż obraz trochę cierpi. Nawiasem mówiąc, w lewym górnym rogu znajdują się liczby pokazujące, ile utraconych pakietów zostało odzyskanych. Jak widać, 96% pakietów zostaje przywróconych.
głośna gra
Nie zaczęło się.
Wir
Nie da się grać nawet przy bardzo silnych chęciach, zawieszenia (zamrożenie obrazu, wznowienie strumienia wideo od nowego fragmentu) są jeszcze bardziej zauważalne.
Stadia
Usługa jest praktycznie niegrywalna. Powody zostały już wymienione powyżej. W oczekiwaniu na montaż ramy redundancja jest minimalna, przy takich stratach to nie wystarczy.
Scenariusz nr 5. Nierówna strata 0,01%.
Na każde 10 000 pakietów następuje utrata 1–40 pakietów z rzędu. Oznacza to, że tracimy około 70 z 1 klatek. Dzieje się tak, gdy bufor urządzenia sieciowego jest pełny i wszystkie nowe pakiety są po prostu odrzucane (upuszczane) do czasu zwolnienia bufora. Wszyscy uczestnicy porównania, z wyjątkiem Loudplay, w mniejszym lub większym stopniu odpracowali te straty.
Gfn
Obraz stracił trochę na jakości i stał się nieco mętny, ale wszystko jest całkiem grywalne.
klucz do gry
Wszystko jest bardzo dobre. Obraz jest płynny, obraz jest dobry. Można grać bez problemów.
głośna gra
Przez pierwsze kilka sekund był obraz, bohater nawet biegł. Jednak połączenie z serwerem zostało utracone niemal natychmiast. Ach, ten protokół TCP. Już pierwsza porażka osłabiła serwis u podstaw.
Wir
Obserwuje się typowe problemy. Fryzy, opóźnienia i tyle. W takich warunkach byłoby bardzo trudno grać.
Stadia
Odtwarzane. Widoczne są drobne ubytki, obraz czasami jest pikselowany.
Scenariusz nr 6. Nierówne straty 0,1%
W przypadku 10 000 pakietów 10–40 pakietów z rzędu zostaje utraconych 70 razy. Okazuje się, że tracimy 10 z 200 klatek.
Od razu powiem, że większość serwisów ma zauważalne problemy. Na przykład obraz drga, więc redundancja tutaj nie pomaga. Oznacza to, że korzystanie z technologii redundancji daje pozytywny efekt, ale jest on niewielki.
Faktem jest, że czas reakcji na działania użytkownika i samą grę jest ograniczony, strumień wideo musi być ciągły. Pomimo wysiłków służb nie da się przywrócić transmisji do akceptowalnej jakości.
Pojawiają się artefakty (próba zrekompensowania utraty pakietów, brak wystarczającej ilości danych) i szarpnięcia obrazu.
Gfn
Jakość obrazu spadła zauważalnie, bitrate wyraźnie i dość znacząco spadł.
klucz do gry
Radzi sobie lepiej – pewnie dlatego, że redundancja jest dobrze skonfigurowana, a dodatkowo algorytm bitrate uwzględnia straty niezbyt duże i nie zamienia obrazu w pikselowany bałagan.
głośna gra
Nie zaczęło się.
Wir
Zaczęło się, ale ze straszną jakością obrazu. Szarpnięcia i osiadanie są bardzo zauważalne. W takich warunkach nie da się grać.
Stadia
Szarpnięcia są wyraźnie widoczne, jest to wyraźny sygnał, że nie ma wystarczającej redundancji. Obraz zatrzymuje się, następnie pojawiają się inne klatki i strumień wideo zostaje przerwany. W zasadzie możesz grać, jeśli masz duże pragnienie i kliniczną skłonność do samotorturowania się.
Scenariusz nr 7. Nierówne straty 0,5%
W przypadku 10 000 pakietów 50 razy następuje utrata 40–70 pakietów z rzędu. Tracimy 50 klatek na 200.
Sytuacja klasy „jednolicie popierdolonej”. Twój router iskrzy, Twój dostawca usług internetowych nie działa, myszy gryzą przewody, a Ty nadal chcesz grać w chmurze. Którą usługę wybrać?
Gfn
Gra jest już bardzo trudna, jeśli nie niemożliwa – bitrate został znacznie obniżony. Gubią się ramki, zamiast normalnego zdjęcia widzimy „mydło”. Ramki nie są przywracane – nie ma wystarczających informacji do przywrócenia. Jeśli GFN w ogóle przewiduje odzyskanie. Sposób, w jaki serwis agresywnie próbuje ratować sytuację bitratem, budzi wątpliwości co do jego chęci do pracy z redundancją.
klucz do gry
Następuje zniekształcenie klatki, obraz drga, czyli powtarzają się elementy poszczególnych klatek. Widać, że większość „zepsutej” ramy została odtworzona z fragmentów poprzedniej. Oznacza to, że nowe ramki zawierają części starych ramek. Ale obraz jest mniej więcej wyraźny. Można to kontrolować, ale w dynamicznych scenach, np. podczas bójki, gdzie potrzebna jest dobra reakcja, jest to trudne.
głośna gra
Nie zaczęło się.
Wir
Zaczęło się, ale lepiej nie zaczynać - nie możesz w to grać.
Stadia
Usługa w takich warunkach jest nie do odtworzenia. Powody to konieczność oczekiwania na montaż ramy i słaba redundancja.
Kto jest zwycięzcą?
Ocena jest oczywiście subiektywna. Można dyskutować w komentarzach. Cóż, pierwsze miejsce oczywiście należy do lokalnego komputera. Właśnie dlatego, że usługi w chmurze są niezwykle wrażliwe na jakość sieci, a ta jakość jest dość niestabilna w prawdziwym świecie, Twój własny komputer do gier pozostaje bezkonkurencyjny. Ale jeśli z jakiegoś powodu go tam nie ma, spójrz na ocenę.
- Lokalny komputer. Oczekiwany.
- klucz do gry
- GeForce Now
- Google Stadia
- Wir
- głośna gra
Na zakończenie jeszcze raz przypomnę, co w grach w chmurze odgrywa główną rolę pod względem odporności na problemy sieciowe:
- Jaki protokół sieciowy jest używany. Do przesyłania strumienia wideo najlepiej używać protokołu UDP. Podejrzewam, że Loudplay korzysta z protokołu TCP, chociaż nie mam pewności. Ale widziałeś wyniki testu.
- Czy zaimplementowano kodowanie odporne na zakłócenia? (FEC – Forward Error Correction, znana również jako redundancja). Ważny jest również sposób, w jaki dostosowuje się do utraty pakietów. Jak widzieliśmy, jakość obrazu zależy w dużym stopniu od implementacji.
- Jak skonfigurowane jest dostosowanie szybkości transmisji bitów. Jeśli usługa zapisuje sytuację przede wszystkim za pomocą bitrate, ma to silniejszy wpływ na obraz. Kluczem do sukcesu jest delikatna równowaga pomiędzy manipulowaniem przepływnością a redundancją.
- Jak skonfigurowane jest przetwarzanie końcowe. Jeśli pojawią się problemy, ramy są resetowane, przywracane lub ponownie składane z fragmentów starych ram.
- Bliskość serwerów do graczy i moc sprzętu również znacząco wpływają na jakość gry, ale dotyczy to również idealnej sieci. Jeśli ping do serwerów jest zbyt wysoki, nie będziesz mógł komfortowo grać nawet w idealnej sieci. W tym badaniu nie eksperymentowaliśmy z pingiem.
Tak jak obiecałem, poniżej link do.
Źródło: www.habr.com