Воблачнае гульні: стрэс-тэст 5 хмарных гульнявых сэрвісаў дрэнным інтэрнэтам

Воблачнае гульні: стрэс-тэст 5 хмарных гульнявых сэрвісаў дрэнным інтэрнэтам

Каля года таму я публікавала артыкул "Хмарныя гульні: ацэнка магчымасцяў сэрвісаў для гульні на слабых ПК з першых рук". У ёй аналізаваліся плюсы і мінусы розных сэрвісаў для хмарных гульняў на слабых ПК. Я падчас гульні тэсціравала кожны сэрвіс і падзялілася ў выніку агульным уражаннем.

У каментарах да таго і іншым падобным артыкулам чытачы часта дзяліліся ўражаннямі аб розных гульнявых сэрвісах. Нярэдка сустракаліся супрацьлеглыя думкі аб адным і тым жа. У кагосьці ўсё ідэальна, а хтосьці гуляць не можа з-за лагаў і фрызаў. Тады ў мяне ўзнікла ідэя ацаніць якасць працы гэтых сэрвісаў у розных умовах - ад ідэальных да жудасных. Гаворка ідзе аб якасці сетак, бо далёка не заўсёды карыстач можа пахваліцца хуткім і беспраблемным каналам сувязі, праўда? Увогуле, пад катам – ацэнка сэрвісаў з сімуляцыяй рознай якасці працы сеткі.

У чым увогуле праблема?

Як і гаварылася вышэй - у якасці сувязі. А дакладней - у страце пакетаў падчас гульні. Чым вышэй страты, тым больш праблем у геймера, тым менш ён задаволены гульнёй. А бо рэдка ў каго ёсць ідэальны канал сувязі накшталт оптавалакна да прылады, прычым з вылучаным, а не пашмараным на ўсіх насельнікаў шматкватэрнай хаты інтэрнэтам.

Для даведкі - пры хуткасці злучэння ў 25 Мбіт / с для перадачы 1 фрэйма / кадра трэба 40-50 пакетаў дадзеных. Чым больш пакетаў губляецца, тым менш якаснай становіцца карцінка, і тым мацней прыкметныя лагі і фрызы. У асабліва цяжкіх выпадках гуляць становіцца проста немагчыма.

Натуральна, сам хмарны сэрвіс ніяк не можа паўплываць на шырыню і стабільнасць канала карыстача (хоць было б выдатна, вядома). Але затое можна прадугледзець розныя спосабы нівеліравання праблем сувязі. Якія сэрвісы спраўляюцца з праблемай лепш за ўсіх – убачым ніжэй.

Што менавіта параўноўваем?

Звычайны ПК (Intel i3-8100, GTX 1060 6 GB, 8GB RAM), GeForce Now (яго рускую версію NFG з серверамі ў Маскве), Loudplay, Віхравы, playkey, стадыёны. На ўсіх сэрвісах, акрамя Stadia, вывучаем якасць гульні ў «Ведзьмака». У Google Stadia на момант напісання артыкула гэтай гульні не было, таму прыйшлося тэставаць іншую - «Адысею».

Якія ўмовы і методыка тэсціравання?

Тэстуем з Масквы. Правайдэр - МГТС, тарыф 500 Мбіт / с, падключэнне кабельнае, не WiFi. Налады якасці графікі ў сэрвісах бярэм па змаўчанні, дазвол - FullHD.

Пры дапамозе праграмы сякерна мадэлюем праблемы з сеткай, а менавіта, страты пакетаў рознага выгляду і аб'ёму.

Раўнамерныя адзіночныя страты. Гэта калі губляецца ўсяго 1 пакет і страты размеркаваны больш-менш раўнамерна. Так, раўнамерныя страты 10% азначаюць, што на 100 пакетаў кожны 10-ты губляецца, але заўсёды толькі 1 пакет. Праблема звычайна выяўляецца пры скажэннях (экранаванні) на канале ад кліента да сервера.

Тэстуем раўнамерныя страты 5%, 10%, 25%.

Нераўнамерныя масавыя страты, калі ў нейкі адзін момант адразу губляецца 40-70 пакетаў запар. Такія страты часцей за ўсё ўзнікаюць пры праблемах з сеткавым абсталяваннем (роўтарамі і да т.п.) у карыстальніка або ў правайдэра. Могуць быць звязаныя з перапаўненнем буфера сеткавага абсталявання на лініі сувязі "карыстальнік - сервер". WiFi з тоўстымі сценамі таксама можа выклікаць такія страты. Загружанасць бесправадной сеткі з-за наяўнасці вялікай колькасці прылад - яшчэ адна прычына, вельмі характэрная для офісаў і шматкватэрных дамоў.

Тэстуем нераўнамерныя страты 0,01%, 0,1%, 0,5%.

Ніжэй я аналізую ўсе гэтыя кейсы і прыкладаю відэапараўнанне для навочнасці. А ў канцы артыкула даю спасылку на волкія, немантаваныя відэа геймплэя з усіх сэрвісаў і кейсаў - там можна дэталёва разгледзець артэфакты, а таксама тэхнічную інфармацыю (ва ўсіх сэрвісах, акрамя Stadia, запісаныя дадзеныя тэхнічнай кансолі; у Stadia такіх не знайшла).

Паехалі!

Ніжэй - 7 сцэнарыяў стрэс-тэсту і відэа з таймстампамі (відэа адно і тое ж, для зручнасці ў кожным пункце прагляд пачынаецца з патрэбнага моманту). У самым канцы паста - зыходныя ролікі для кожнага з сэрвісаў. Відэа мне дапамог зрабіць добры знаёмы, завошта яму дзякуй!

Сцэнар №1. Ідэальныя ўмовы. Нулявыя страты ў сетцы

Усё, як і павінна быць у ідэальным свеце. Праблем са сувяззю няма, парываў - ніводнага, перашкод няма, ваша кропка доступу - светач інтэрнэту. У такіх цяплічных умовах амаль усе ўдзельнікі тэсціравання паказваюць сябе годна.


ПК

У кожны сцэнар мы ўзялі кадры з гульні на ПК як эталон. Зразумела, што на яго якасць сеткі ніяк не ўплывае, гульня запускаецца на ПК лакальна. Наяўнасць гэтых кадраў адказвае на пытанне "а ці адчуваецца розніца пры гульні ў воблаку ў параўнанні з гульнёй на сваім ПК". У ідэальных умовах у нашым выпадку - не адчуваецца ў большасці сэрвісаў. Ніжэй пра ПК ужо нічога пісаць не будзем, проста запомніце, што ен ёсць.

GeForce Цяпер

Усё добра, карцінка выразная, працэс ідзе гладка, без фрызаў.

Віхравы

Вось Vortex псуе наш ідэальны свет. У яго адразу ж пачаліся праблемы карцінка горай, чым усе астатнія, плюс добра прыкметныя тормазы . Магчымая праблема - гульнявыя сервера размешчаны далёка ад Масквы плюс жалеза на гульнявых серверах, падобна, слабей і FullHD вывозіць дрэнна. Ва ўсіх тэстах Vortex паказаў сябе дрэнна. Калі ў кагосьці ёсць станоўчы досвед гульні з Vortex - пішыце ў каментарах, падзяліцеся, з якога месца гулялі і наколькі добра ўсё склалася.

playkey

Усё выдатна, прама як на лакальным ПК. Бачных праблем накшталт фрызаў, лагаў і да т.п. не.

Loudplay

Сэрвіс дэманструе выдатную карцінку, бачных праблем няма.

стадыёны

Гульнявы ​​сэрвіс ад Google працуе выдатна нягледзячы на ​​тое, што сервераў у РФ у яго няма, ды і ўвогуле афіцыйна Stadia не працуе ў Расіі. Тым не менш, усё добра. Шкада, вядома, што "Ведзьмака" ў Stadia не было на момант гульні, але што парабіць, узялі "Адысею" -таксама патрабавальная, таксама пра мужыка, які сячэ людзей і жывёл.

Сцэнар №2. Раўнамерныя страты 5%

У гэтым тэсце з 100 пакетаў губляецца прыкладна кожны 20-й. Нагадаю, што для адмалёўкі аднаго кадра патрэбна 40-50 пакетаў.


GeForce Цяпер

У сэрвісу ад Nvidia усё добра, праблем няма. Малюнак некалькі больш замыленая, чым у Playkey, але «Ведзьмак» па-ранейшаму іграбельны.

Віхравы

Тут усё стала яшчэ горш. Чаму - не зусім незразумела, хутчэй за ўсё, не прадугледжана надмернасць або яна мінімальная. Надмернасць – гэта перашкодаўстойлівае кадаваньне перасыланых дадзеных (FEC – Forward Error Correction). Гэтая тэхналогія аднаўляе дадзеныя пры частковай страце з-за праблем у сетцы. Рэалізаваць і наладзіць яе можна па-рознаму, і, мяркуючы па выніках, стваральнікі Vortex у гэтым не атрымалі поспех. Нават з мізэрнымі раўнамернымі стратамі гуляць не атрымаецца. Падчас наступных тэстаў Vortex проста памёр .

playkey

Усё добра, асаблівай розніцы з ідэальнымі ўмовамі няма. Магчыма, дапамагае тое, што серверы кампаніі размешчаны ў тым ліку і ў Маскве, адкуль праводзіліся выпрабаванні. Ну і, магчыма, лепш настроена вышэйзгаданая надмернасць.

Loudplay

Сэрвіс рэзка стаў негульнявым, нягледзячы на ​​адносна малыя страты пакетаў. У чым можа быць? Выкажу здагадку, што Loudplay працуе з TCP-пратаколам. У гэтым выпадку, пакуль няма пацверджання атрымання пакета, іншыя пакеты не адпраўляюцца, сістэма чакае пацверджання аб дастаўцы. Адпаведна, калі пакет згубіўся, пацверджання аб яго дастаўцы не будзе, новыя пакеты не адправяцца, карцінка ўстане калом, канец гісторыі.

А вось калі выкарыстоўваць UDP, тое пацверджанне на атрыманне пакета не спатрэбіцца. Наколькі можна меркаваць, усе іншыя сэрвісы, акрамя Loudplay, выкарыстоўваюць UDP-пратакол. Калі гэта не так, папраўце мяне, калі ласка, у каментарах.

стадыёны

Усё іграбельна. Часам пікселізуецца карцінка, ёсць мінімальныя затрымкі водгуку. Магчыма, неідэальна адпрацоўвае перашкодаўстойлівае кадаваньне, адгэтуль малаважныя артэфакты пры іграбельнай у цэлым струмені.

Сцэнар №3. Раўнамерныя страты 10%

Страчваем кожны 10-ы пакет на сотню. Гэта ўжо выклік для сервісаў. Каб эфектыўна спраўляцца з такімі стратамі, патрэбны тэхнолагі па аднаўленні і/або паўторнай адпраўцы страчаных дадзеных.


GeForce Цяпер

У Geforce назіраюцца невялікія прасадкі ў якасці відэаструменю. Наколькі можна меркаваць, GFN рэагуе на праблемы ў сетцы, імкнучыся іх паменшыць. Сэрвіс памяншае бітрэйт, гэта значыць колькасць біт для перадачы даных. Так ён спрабуе знізіць нагрузку на недастаткова якасную, на яго думку, сетку і захаваць стабільнае злучэнне. І да стабільнасці пытанняў сапраўды няма, але вось якасць відэа пакутуе адчувальна. Бачым значную пікселізацыю карцінкі. Ну а паколькі мадэляванне мяркуе сталую страту 10% пакетаў, тое зніжэнне бітрэйту не асоба дапамагае, сітуацыя ў норму не прыходзіць.

У рэальным жыцці карцінка, хутчэй за ўсё, будзе не стабільна дрэннай, а якая плавае. Павялічыліся страты - выява размылілася; страты скараціліся - выява вярнулася ў норму і гэтак далей. Гульнявому досведу гэта не на карысць, вядома.

playkey

Адмысловых праблем няма. Верагодна, алгарытм дэтэктуе праблемы на сетцы, вызначае ўзровень страт і больш упірае на надмернасць, а не на зніжэнне бітрэйту. Атрымліваецца, пры 10% раўнамерных страт якасць карцінкі практычна не мяняецца, карыстальнік такія страты наўрад ці заўважыць.

Loudplay

Непрацаздольны, ён проста не запусціўся. У ходзе далейшых тэстаў сітуацыя паўтарылася. Наколькі можна меркаваць, гэты сэрвіс ніяк не падладжваецца пад праблемы з сеткай. Магчыма, менавіта TCP-пратакол таму віной. Найменшыя страты паралізуюць сэрвіс цалкам. Не вельмі практычна для рэальнага жыцця, канешне.

Віхравы

Таксама вялікія праблемы. Гуляць у такіх умовах нельга, хоць карцінка яшчэ ёсць і персанаж працягвае бегчы, праўда, рыўкамі. Думаю, справа ўсё ў той жа дрэнна рэалізаванай або адсутнай надмернасці. Пакеты губляюцца часта і ніяк не аднаўляюцца. У выніку якасць малюнка дэградуе да неграбальнай ўзроўню.

стадыёны

Нажаль, тут усё дрэнна. Назіраецца разрыў патоку, з-за чаго падзеі на экране адбываюцца рыўкамі, гуляць вельмі складана. Можна меркаваць, што праблема з'явілася, як і ў выпадку з Vortex, з-за мінімальнай надмернасці або яе адсутнасці. Я пракансультавалася з парай знаёмых, якія "у тэме", яны заявілі, што Stadia, хутчэй за ўсё, чакае поўнай зборкі кадра. У адрозненне ад GFN, яна не спрабуе выратаваць становішча татальным паніжэннем бітрэйту. У выніку артэфактаў няма, але з'яўляюцца фрызы і лагі (у GFN, наадварот, фрызаў / лагаў менш, але з-за нізкага бітрэйту карцінка зусім непрывабная).

Астатнія сэрвісы таксама, падобна, не чакаюць поўнай зборкі кадра, замяняючы зніклую частку фрагментам старога кадра. Гэта добрае рашэнне, у большасці выпадкаў карыстач не заўважыць падвоху (у секунду змяняецца 30+ кадраў), хоць часам могуць узнікаць артэфакты.

Сцэнар №4. Раўнамерныя страты 25%

Губляецца кожны чацвёрты пакет. Становіцца ўсё страшней цікавейшым. Наогул, пры такім "дзіравым" злучэнні звычайная гульня ў воблаку ці ледзь магчымая. Хаця некаторыя ўдзельнікі параўнання спраўляюцца, хай не ідэальна.


NFG

Праблемы ўжо вельмі заўважныя. Малюнак пікселізаваная і замыленая. Гуляць усё яшчэ можна, але гэта ўжо зусім не тое, што прапанаваў GFN у самым пачатку. І сапраўды не тое, як трэба гуляць у прыгожыя гульні. Прыгажосць-то ўжо не ацаніць.

playkey

Гульнявы ​​працэс ідзе нядрэнна. Плыўнасць ёсць, хоць карцінка няшмат і пакутуе. Дарэчы, злева ўверсе - лічбы, колькі аднаўляецца страчаных пакетаў. Як бачым, аднаўляецца 96 працэнтаў пакетаў.

Loudplay

Не запусціўся.

Віхравы

Гуляць нельга нават пры вельмі вялікім жаданні, фрызы (прыпынак малюнак, аднаўленне відэаструменю з новага фрагмента) яшчэ прыкметней.

стадыёны

Сэрвіс практычна неграбальны. Прычыны ўжо называліся вышэй. Чакае зборкі кадра, надмернасць мінімальная, пры такіх стратах яе не хапае.

Сцэнар №5. Нераўнамерныя страты 0,01 працэнта.

На 10 000 пакетаў 1 раз губляецца 40-70 пакетаў запар. Гэта значыць губляем прыкладна 1 з 200 кадраў. Бывае, калі буфер сеткавай прылады перапоўнены і ўсе новыя пакеты проста выкідваюцца (дропаюцца), пакуль буфер не вызваліцца. Усе ўдзельнікі параўнання, акрамя Loudplay, такія страты ў той ці іншай ступені адпрацавалі.


NFG

Малюнак зусім трохі страціла якасць, стала некалькі мутнаватай, але ўсё цалкам іграбельна.

playkey

Усё вельмі нядрэнна. Малюнак плыўная, малюнак - добрае. Гуляць можна без праблем.

Loudplay

Першыя некалькі секунд карцінка была, герой нават пабег. Але сувязь з серверам амаль адразу ж была страчана. Ох ужо гэты TCP-пратакол. Першая ж страта ссекла сэрвіс на пні.

Віхравы

Назіраюцца звычайныя праблемы. Фрызы, лагі і вось гэта ўсё. Гуляць было б вельмі складана пры такіх умовах.

стадыёны

Іграбельна. Прыкметныя невялікія прасадкі, малюнак часам пікселізуецца.

Сцэнар №6. Нераўнамерныя страты 0,1%

На 10 000 пакетаў 10 разоў губляецца 40-70 пакетаў запар. Атрымліваецца, што губляем 10 з 200 кадраў.

Адразу скажу, што заўважныя праблемы з'явіліся ў большасці сэрвісаў. Напрыклад, тузаецца карцінка, так што надмернасць тут ужо не дапамагае. Гэта значыць станоўчы эфект у выпадку выкарыстання тэхналогіі надмернасці ёсць, але ён невялікі.

Справа ў тым, што час рэакцыі на дзеянні карыстальніка і самой гульні – абмежавана, відэаструмень павінен быць бесперапынным. Аднавіць паток да прымальнай якасці нельга нягледзячы ні на якія намаганні сэрвісаў.

З'яўляюцца артэфакты (спроба кампенсаваць страту пакетаў, дадзеных не хапае) і рыўкі выявы.


NFG

Якасць карцінкі прыкметна ўпала, відавочна паніжаны бітрэйт, прычым вельмі значна.

playkey

Спраўляецца лепш - верагодна, таму, што добра настроена надмернасць, плюс алгарытм бітрэйту лічыць страты не вельмі высокімі і не ператварае карцінку ў пікселізаваную кашу.

Loudplay

Не запусціўся.

Віхравы

Запусціўся, але з жахлівай якасцю карцінкі. Вельмі прыкметныя рыўкі і прасадкі. Гуляць пры такіх умовах ці наўрад магчыма.

стадыёны

Добра прыкметныя рыўкі, гэта выразны паказчык, што надмернасці не хапае. Малюнак замірае, потым з'яўляюцца іншыя кадры, узнікае абрыў відэаструменю. Гуляць, у прынцыпе, можна, калі ёсць вялікае жаданне і клінічная схільнасць да самакатавання.

Сцэнар №7. Нераўнамерныя страты 0,5%

На 10 000 пакетаў 50 разоў губляецца 40-70 пакетаў запар. Страчваем 50 кадраў з 200.

Сітуацыя класа "форменны пі***ц". Ваш роўтэр іскрыць, у правайдэра аварыя, правады пагрызлі мышы, але вы ўсё роўна жадаеце гуляць у воблаку. Які ж сэрвіс вам абраць?


NFG

Гуляць ужо вельмі складана, калі наогул магчыма - вельмі моцна паніжаны бітрэйт. Губляюцца кадры, замест нармальнага малюнка мы бачым «мыла». Кадры не аднаўляюцца - інфармацыі для аднаўлення не хапае. Калі ў GFN аднаўленне наогул прадугледжана. Тое, як агрэсіўна сэрвіс спрабуе ратаваць становішча бітрэйтам, выклікае сумневы ў яго гатоўнасці працаваць з надмернасцю.

playkey

Ёсць скажэнне кадра, малюнак паторгваецца, гэта значыць паўтараюцца элементы асобных кадраў. Відаць, што большая частка "бітага" кадра была адноўлена з кавалкаў папярэдняга. Гэта значыць, у новых кадрах ёсць часткі старых кадраў. Але выява пры гэтым больш-менш дакладная. Кіраваць можна, але ў дынамічных сцэнах, напрыклад, у бойцы, дзе патрэбна добрая рэакцыя - складана.

Loudplay

Не запусціўся.

Віхравы

Запусціўся, але лепш бы не запускаўся - гуляць у гэта нельга.

стадыёны

Сэрвіс у такіх умовах неграбальны. Прычыны - неабходнасць чакаць зборкі кадра і слабая надмернасць.

Хто пераможца?

Рэйтынг, вядома, суб'ектыўны. У каментарах можна паспрачацца. Ну і першае месца, вядома, за лакальным ПК. Менавіта з-за таго, што хмарныя сэрвісы вельмі адчувальныя да якасці сеткі, а якасць гэта даволі нестабільна ў рэальным свеце, уласны гульнявы ​​ПК застаецца па-за канкурэнцыяй. Але калі яго з нейкіх прычынаў няма, то глядзіце рэйтынг.

  1. Лакальны ПК. Чакана.
  2. playkey
  3. GeForce Цяпер
  4. Google Stadia
  5. Віхравы
  6. Loudplay

У якасці высновы яшчэ раз нагадаю, што гуляе галоўную ролю ў хмарным геймінгу ў плане ўстойлівасці да праблем на сеткі:

  • Які сеткавы пратакол выкарыстоўваецца. Для перадачы відэаструменю лепш за ўсё выкарыстоўваць UDP. Падазраю, што Loudplay выкарыстоўвае TCP, хоць дакладна мне гэта невядома. Але вынікі тэсціравання вы бачылі.
  • Ці рэалізаванае перашкодаўстойлівае кадаваньне (FEC – Forward Error Correction, яно ж надмернасць). Таксама важны спосаб яе падладкі пад страты пакетаў. Як мы ўбачылі, ад рэалізацыі якасць карцінкі залежыць значна.
  • Як настроена адаптацыя бітрэйту. Калі сэрвіс ратуе сітуацыю ў першую чаргу бітрэйтам, гэта мацней уплывае на карцінку. Заклад поспеху - далікатнае раўнавагу паміж маніпуляцыямі бітрэйтам і надмернасцю.
  • Як настроена постапрацоўка. Калі ўзнікаюць праблемы, то кадры або скідаюцца, або аднаўляюцца, або дазбіраюцца фрагментамі старых кадраў.
  • Блізкасць сервераў да геймера і магутнасць жалеза таксама значна ўплываюць на якасць гульні, але гэта дакладна і для ідэальнай сеткі. Калі пінг да сервераў занадта высокі, нават на ідэальнай сетцы камфортна не пагуляеш. З пінгам у дадзеным даследаванні мы ніяк не эксперыментавалі.

Як і абяцала, вось спасылка на сырыя відэа з розных сэрвісаў ва ўсіх кейсах.

Крыніца: habr.com

Дадаць каментар