Molnspel: stresstest 5 molnspeltjänster med dåligt internet

Molnspel: stresstest 5 molnspeltjänster med dåligt internet

För ungefär ett år sedan publicerade jag en artikel "Molnspel: förstahandsbedömning av funktionerna hos tjänster för att spela på svaga datorer". Den analyserade för- och nackdelarna med olika tjänster för molnspel på svaga datorer. Jag testade varje tjänst under spelet och delade med mig av mitt helhetsintryck.

I kommentarerna till denna och andra liknande artiklar delade läsarna ofta sina intryck av olika speltjänster. Det fanns ofta motsatta åsikter om samma sak. För vissa är allt perfekt, men för andra kan de inte spela på grund av fördröjningar och frysningar. Sedan fick jag idén att utvärdera kvaliteten på dessa tjänster under olika förhållanden - från idealiska till hemska. Vi pratar om kvaliteten på nätverk, eftersom användaren inte alltid kan skryta med en snabb och problemfri kommunikationskanal, eller hur? I allmänhet ligger under snittet en bedömning av tjänster med en simulering av olika kvalitet på nätdriften.

Vad är problemet?

Som nämnts ovan - som ett samband. Mer exakt, i förlusten av paket under spelet. Ju högre förluster, desto fler problem spelaren har, desto mindre nöjd är han med spelet. Men det är sällsynt att någon har en idealisk kommunikationskanal som fiberoptik till enheten och med ett dedikerat internet snarare än delat mellan alla invånare i ett hyreshus.

Som referens, med en anslutningshastighet på 25 Mbit/s, behövs 1-40 datapaket för att överföra 50 bildruta/bildruta. Ju fler paket som går förlorade, desto lägre kvalitet blir bilden, och desto mer märkbara fördröjningar och frysningar är. I särskilt svåra fall blir det helt enkelt omöjligt att spela.

Självklart kan molntjänsten i sig inte på något sätt påverka bredden och stabiliteten på användarens kanal (även om det skulle vara bra, förstås). Men det går att tänka sig olika sätt att utjämna kommunikationsproblem. Vi kommer att se nedan vilka tjänster som klarar problemet bäst.

Vad exakt jämför vi?

Vanlig PC (Intel i3-8100, GTX 1060 6 GB, 8 GB RAM), GeForce Now (dess ryska version GFN med servrar i Moskva), högljutt spel, Vortex, playkey, Stadias. På alla tjänster utom Stadia studerar vi kvaliteten på spelet i The Witcher. Google Stadia hade inte det här spelet i skrivande stund, så jag var tvungen att testa ett annat - Odyssey.

Vilka är testvillkoren och metoderna?

Vi testar från Moskva. Leverantör - MGTS, tariff 500 Mbit/s, kabelanslutning, inte WiFi. Vi ställer in grafikkvalitetsinställningarna i tjänster till standardupplösningen – FullHD.

Använder programmet Klumpig Vi simulerar nätverksproblem, nämligen förlust av paket av olika typer och storlekar.

Enhetliga enstaka förluster. Detta är när endast 1 paket går förlorat och förlusterna fördelas mer eller mindre jämnt. En enhetlig förlust på 10 % innebär alltså att av 100 paket går vart tionde paket förlorat, men alltid bara 10 paket. Problemet visar sig vanligtvis när det finns distorsion (avskärmning) på kanalen från klienten till servern.

Vi testar enhetliga förluster på 5 %, 10 %, 25 %.

Ojämna massförluster, när 40-70 paket i rad omedelbart går förlorade. Sådana förluster uppstår oftast när det finns problem med nätverksutrustningen (routrar etc.) hos användaren eller leverantören. Kan vara associerat med ett buffertspill av nätverksutrustning på kommunikationslinjen mellan användare och server. WiFi med tjocka väggar kan också orsaka sådana förluster. Överbelastning av det trådlösa nätverket på grund av närvaron av ett stort antal enheter är en annan orsak, mycket typisk för kontor och flerbostadshus.

Vi testar ojämna förluster på 0,01 %, 0,1 %, 0,5 %.

Nedan analyserar jag alla dessa fall och bifogar en videojämförelse för tydlighetens skull. Och i slutet av artikeln ger jag en länk till råa, oredigerade spelvideor från alla tjänster och fall - där kan du titta på artefakterna mer detaljerat, såväl som teknisk information (i alla tjänster utom Stadia, data från den tekniska konsolen spelas in; Stadia hittade inte sådana).

Låt oss gå!

Nedan finns 7 stresstestscenarier och en video med tidsstämplar (videon är densamma, för enkelhetens skull, vid varje punkt som visningen börjar från rätt ögonblick). I slutet av inlägget finns originalvideorna för var och en av tjänsterna. En god vän hjälpte mig att göra videon, vilket jag tackar honom för!

Scenario 1. Idealiska förhållanden. Noll förluster i nätverket

Allt är som det ska vara i en idealisk värld. Det finns inga anslutningsproblem, inte ett enda avbrott, inga störningar, din åtkomstpunkt är internets ledstjärna. Under sådana växthusförhållanden presterar nästan alla testdeltagare bra.


PC

För varje scenario tog vi bilder från PC-spelet som referens. Det är tydligt att kvaliteten på nätverket inte påverkar det på något sätt, spelet körs på datorn lokalt. Närvaron av dessa ramar svarar på frågan "finns det någon skillnad när du spelar i molnet jämfört med att spela på din PC." Under idealiska förhållanden, i vårt fall, känns detta inte av de flesta tjänster. Vi kommer inte att skriva något om datorn nedan, kom bara ihåg att den finns.

GeForce Now

Allt är bra, bilden är tydlig, processen går smidigt, utan friser.

Vortex

Vortex förstör vår ideala värld. Han började genast få problem - bilden var sämre än alla andra, plus att "bromsarna" var tydligt synliga. Ett möjligt problem är att spelservrarna är placerade långt från Moskva, plus att hårdvaran på spelservrarna verkar vara svagare och inte hanterar FullHD bra. Vortex presterade dåligt i alla tester. Om någon har en positiv erfarenhet av att spela med Vortex, skriv i kommentarerna, dela var du spelade ifrån och hur bra allt blev.

playkey

Allt är bra, precis som på en lokal PC. Synliga problem som frysningar, fördröjningar osv. Nej.

högljutt spel

Tjänsten visar en utmärkt bild, det finns inga synliga problem.

Stadias

Speltjänsten från Google fungerar perfekt trots att den inte har servrar i Ryska federationen, och i allmänhet fungerar Stadia inte officiellt i Ryssland. Allt är dock bra. Det är förstås synd att "The Witcher" inte var tillgänglig på Stadia vid tiden för spelet, men vad kan man göra, de tog "Odyssey" - också krävande, också om en man som hugger upp människor och djur.

Scenario nr 2. Enhetlig förlust 5 %

I detta test, av 100 paket, förloras ungefär vart 20:e. Låt mig påminna dig om att du behöver 40-50 paket för att rendera en bildruta.


GeForce Now

Tjänsten från Nvidia är bra, inga problem. Bilden är lite suddigare än Playkeys, men The Witcher är fortfarande spelbar.

Vortex

Det var här det blev ännu värre. Varför är inte helt klart, troligtvis tillhandahålls inte redundans eller så är den minimal. Redundans är brusbeständig kodning av vidarebefordrad data (FEC - Forward Error Correction). Denna teknik återställer data när den delvis går förlorad på grund av nätverksproblem. Det kan implementeras och konfigureras på olika sätt, och av resultaten att döma lyckades inte skaparna av Vortex med detta. Du kommer inte att kunna spela även med små förluster. Under efterföljande tester "död Vortex helt enkelt".

playkey

Allt är bra, det finns ingen signifikant skillnad från idealiska förhållanden. Kanske hjälper det att företagets servrar finns i Moskva, där testerna utfördes. Tja, kanske den ovan nämnda redundansen är bättre konfigurerad.

högljutt spel

Tjänsten blev plötsligt ospelbar, trots relativt låga paketförluster. Vad kan vara fel? Jag kommer att anta att Loudplay fungerar med TCP-protokollet. I det här fallet, medan det inte finns någon bekräftelse på mottagandet av paketet, skickas inga andra paket, systemet väntar på bekräftelse på leverans. Följaktligen, om ett paket går förlorat, kommer det inte att finnas någon bekräftelse på leveransen, nya paket kommer inte att skickas, bilden blir tom, slutet på historien.

Men om du använder UDP, behövs ingen bekräftelse på att ta emot paketet. Så vitt det kan bedömas använder alla andra tjänster utom Loudplay UDP-protokollet. Om så inte är fallet, vänligen korrigera mig i kommentarerna.

Stadias

Allt är spelbart. Ibland blir bilden pixlad och det blir minimala svarsförseningar. Kanske fungerar inte brus-immunkodningen perfekt, därav de mindre artefakterna när hela streamen är spelbar.

Scenario nr 3. Enhetlig förlust 10 %

Vi förlorar vart tionde paket per hundra. Detta är redan en utmaning för tjänster. För att effektivt hantera sådana förluster behövs teknik för att återställa och/eller skicka förlorad data igen.


GeForce Now

GeForce upplever små sänkningar i videoströmningskvaliteten. Så vitt vi kan säga svarar GFN på nätverksproblem genom att försöka mildra dem. Tjänsten minskar bithastigheten, det vill säga antalet bitar för dataöverföring. På så sätt försöker han minska belastningen på vad han anser är ett otillräckligt högkvalitativt nätverk och upprätthålla en stabil uppkoppling. Och det finns egentligen inga frågor om stabilitet, men videokvaliteten blir märkbart lidande. Vi ser betydande pixelering av bilden. Tja, eftersom modelleringen förutsätter en konstant förlust av 10% av paketen, hjälper det inte riktigt att minska bithastigheten, situationen återgår inte till det normala.

I verkligheten kommer bilden med största sannolikhet inte att vara konsekvent dålig, utan flytande. Förlusterna ökade - bilden blev suddig; förlusterna minskade - bilden återgick till det normala, och så vidare. Detta är naturligtvis inte bra för spelupplevelsen.

playkey

Det finns inga speciella problem. Förmodligen upptäcker algoritmen problem i nätverket, bestämmer nivån på förluster och fokuserar mer på redundans snarare än att minska bithastigheten. Det visar sig att med 10% enhetliga förluster förblir bildkvaliteten praktiskt taget oförändrad, användaren är osannolikt att märka sådana förluster.

högljutt spel

Det fungerar inte, det startade bara inte. Under ytterligare tester upprepade sig situationen. Så vitt man kan bedöma anpassar sig denna tjänst inte till nätverksproblem på något sätt. Det är kanske TCP-protokollet som bär skulden. Den minsta förlust kommer att förlama tjänsten helt. Inte särskilt praktiskt i verkligheten, förstås.

Vortex

Också stora problem. Du kan inte spela under sådana förhållanden, även om bilden finns kvar och karaktären fortsätter att springa, om än i ryck. Jag tror att allt handlar om samma dåligt implementerade eller saknade redundans. Paket går ofta förlorade och kan inte återställas. Som ett resultat försämras bildkvaliteten till en ospelbar nivå.

Stadias

Tyvärr är allt dåligt här. Det är ett avbrott i flödet, vilket är anledningen till att händelser på skärmen sker i ryck, vilket gör det extremt svårt att spela. Man kan anta att problemet uppstod, som i fallet med Vortex, på grund av minimal eller ingen redundans. Jag rådfrågade ett par vänner som är "in the know", de sa att Stadia troligen väntar på att ramen ska vara helt monterad. Till skillnad från GFN försöker den inte rädda situationen genom att helt sänka bithastigheten. Som ett resultat finns det inga artefakter utan det uppstår frysningar och laggar (GFN har tvärtom färre friser/lags, men på grund av den låga bithastigheten är bilden helt oattraktiv).

Andra tjänster verkar inte heller vänta på att ramen är helt monterad, och ersätter den saknade delen med ett fragment av den gamla ramen. Detta är en bra lösning, i de flesta fall kommer användaren inte att märka haken (30+ bilder ändras per sekund), även om artefakter ibland kan uppstå.

Scenario nr 4. Enhetlig förlust 25 %

Vart fjärde paket går förlorat. Det blir mer och mer läskigt och intressant. I allmänhet, med en sådan "läckande" anslutning, är normalt spelande i molnet knappast möjligt. Även om vissa jämförelsedeltagare klarar sig, om än inte perfekt.


GFN

Problemen är redan ganska märkbara. Bilden är pixlad och suddig. Du kan fortfarande spela, men det är inte alls vad GFN erbjöd i början. Och det är definitivt inte så vackra spel ska spelas. Skönhet kan inte längre uppskattas.

playkey

Spelet går bra. Det är jämnhet, även om bilden lider lite. Förresten, längst upp till vänster finns siffrorna som visar hur många förlorade paket som återvinns. Som du kan se är 96% av paketen återställda.

högljutt spel

Startade inte.

Vortex

Du kan inte spela ens med en mycket stark önskan, frysningar (frysning av bilden, återuppta videoströmmen från ett nytt fragment) är ännu mer märkbara.

Stadias

Tjänsten är praktiskt taget ospelbar. Skälen har redan nämnts ovan. I väntan på att ramen ska monteras är redundansen minimal, med sådana förluster räcker det inte.

Scenario #5. Ojämn förlust 0,01%.

För varje 10 000 paket förloras 1-40 paket i rad. Det vill säga, vi förlorar ungefär 70 av 1 bildrutor. Det händer när bufferten för en nätverksenhet är full och alla nya paket helt enkelt kasseras (släpps) tills bufferten frigörs. Alla jämförelsedeltagare, utom Loudplay, arbetade bort sådana förluster i en eller annan grad.


GFN

Bilden har tappat lite kvalitet och blivit något grumlig, men allt är ganska spelbart.

playkey

Allt är väldigt bra. Bilden är jämn, bilden är bra. Du kan spela utan problem.

högljutt spel

De första sekunderna var det en bild, hjälten sprang till och med. Men anslutningen till servern förlorades nästan omedelbart. Åh, detta TCP-protokoll. Den allra första förlusten skar ner tjänsten vid dess rötter.

Vortex

De vanliga problemen observeras. Friser, släpar och det är allt. Det skulle vara väldigt svårt att spela under sådana förhållanden.

Stadias

Spelbar. Små neddragningar märks, bilden är ibland pixlad.

Scenario nr 6. Ojämna förluster 0,1 %

För 10 000 paket förloras 10-40 paket i rad 70 gånger. Det visar sig att vi tappar 10 av 200 bilder.

Jag ska genast säga att de flesta tjänster har märkbara problem. Till exempel rycker bilden, så redundans hjälper inte här. Det vill säga att det finns en positiv effekt när man använder redundansteknik, men den är liten.

Faktum är att reaktionstiden på användarens handlingar och själva spelet är begränsad, videoströmmen måste vara kontinuerlig. Det är omöjligt att återställa strömmen till acceptabel kvalitet trots alla ansträngningar från tjänsterna.

Artefakter dyker upp (ett försök att kompensera för förlusten av paket, det finns inte tillräckligt med data) och bildryck.


GFN

Kvaliteten på bilden har sjunkit märkbart, bithastigheten har helt klart minskat, och det ganska rejält.

playkey

Det klarar sig bättre - förmodligen för att redundansen är välkonfigurerad, plus att bithastighetsalgoritmen anser att förlusterna inte är särskilt höga och inte förvandlar bilden till en pixlad röra.

högljutt spel

Startade inte.

Vortex

Det började, men med fruktansvärd bildkvalitet. Ryck och sättningar är mycket märkbara. Det är knappast möjligt att spela under sådana förhållanden.

Stadias

Jerks är tydligt synliga, detta är en tydlig indikator på att det inte finns tillräckligt med redundans. Bilden fryser, sedan visas andra ramar och videoströmmen avbryts. I princip kan du spela om du har en stor lust och en klinisk tendens till självplågeri.

Scenario nr 7. Ojämna förluster 0,5 %

För 10 000 paket 50 gånger förloras 40-70 paket i rad. Vi förlorar 50 bilder av 200.

En situation av den "likformigt jävla" klassen. Din router gnistor, din internetleverantör är nere, dina sladdar tuggas av möss, men du vill fortfarande spela i molnet. Vilken tjänst ska du välja?


GFN

Det är redan väldigt svårt, för att inte säga omöjligt, att spela - bithastigheten har minskat kraftigt. Ramar försvinner, istället för en vanlig bild ser vi "tvål". Ramar återställs inte - det finns inte tillräckligt med information för återställning. Om GFN ger möjlighet till återhämtning överhuvudtaget. Det sätt som tjänsten aggressivt försöker rädda situationen med bithastigheter väcker tvivel om dess vilja att arbeta med redundans.

playkey

Det finns ramförvrängning, bilden rycker, det vill säga delar av enskilda ramar upprepas. Det kan ses att det mesta av den "trasna" ramen återställdes från delar av den föregående. Det vill säga att de nya ramarna innehåller delar av de gamla ramarna. Men bilden är mer eller mindre tydlig. Du kan kontrollera det, men i dynamiska scener, till exempel i en kamp, ​​där du behöver en bra reaktion, är det svårt.

högljutt spel

Startade inte.

Vortex

Det började, men det skulle vara bättre att inte starta - du kan inte spela det.

Stadias

Tjänsten under sådana förhållanden är ospelbar. Orsakerna är behovet av att vänta på att ramen ska monteras och dålig redundans.

Vem är vinnaren?

Betyget är naturligtvis subjektivt. Du kan argumentera i kommentarerna. Jo, första platsen går naturligtvis till den lokala datorn. Det är just för att molntjänster är extremt känsliga för nätverkskvalitet, och denna kvalitet är ganska instabil i den verkliga världen, som din egen speldator förblir oöverträffad. Men om det av någon anledning inte finns där, titta då på betyget.

  1. Lokal PC. Förväntat.
  2. playkey
  3. GeForce Now
  4. Google Stadia
  5. Vortex
  6. högljutt spel

Som en slutsats, låt mig återigen påminna dig om vad som spelar en viktig roll i molnspel när det gäller motstånd mot nätverksproblem:

  • Vilket nätverksprotokoll som används. Det är bäst att använda UDP för att överföra en videoström. Jag misstänker att Loudplay använder TCP, även om jag inte vet säkert. Men du såg testresultaten.
  • Är brustålig kodning implementerad? (FEC - Forward Error Correction, även känd som redundans). Hur den anpassar sig till paketförlust är också viktigt. Som vi har sett beror kvaliteten på bilden avsevärt på genomförandet.
  • Hur bithastighetsanpassning är konfigurerad. Om tjänsten räddar situationen i första hand med bithastigheten har detta en starkare effekt på bilden. Nyckeln till framgång är den känsliga balansen mellan bithastighetsmanipulation och redundans.
  • Hur efterbehandling ställs in. Om problem uppstår, återställs ramarna antingen, återställs eller sätts ihop med fragment av gamla ramar.
  • Närhet till servrar till spelare och hårdvarukraft påverkar också kvaliteten på spelet avsevärt, men detta gäller också för ett idealiskt nätverk. Om ping till servrarna är för hög kommer du inte att kunna spela bekvämt ens på ett idealiskt nätverk. Vi experimenterade inte med ping i denna studie.

Som utlovat, här är länken till råvideor från olika tjänster i alla fall.

Källa: will.com

Lägg en kommentar