Игре у облаку: стрес тест 5 услуга за игре у облаку са лошим интернетом

Пре отприлике годину дана објавио сам чланак „Игре у облаку: процена из прве руке о могућностима услуга за играње на слабим рачунарима“. Анализирали су предности и недостатке различитих услуга за играње игара у облаку на слабим рачунарима. Тестирао сам сваки сервис током игре и поделио свој општи утисак.

У коментарима на овај и друге сличне чланке, читаоци су често износили своје утиске о разним сервисима за игре. Често је било супротних мишљења о истој ствари. За неке је све савршено, али за друге не могу да играју због кашњења и замрзавања. Тада ми је пала идеја да проценим квалитет ових услуга под различитим условима – од идеалних до ужасних. Реч је о квалитету мрежа, јер корисник не може увек да се похвали брзим и несметаним каналом комуникације, зар не? Генерално, испод реза је процена услуга са симулацијом различитог квалитета рада мреже.

У чему је проблем?

Као што је горе поменуто - као веза. Тачније, у губитку пакета током игре. Што су губици већи, играч има више проблема, мање је задовољан игром. Али ретко ко има идеалан комуникациони канал као што је оптичко влакно са уређајем, и са наменским интернетом, а који се не дели међу свим становницима стамбене зграде.

За референцу, са брзином везе од 25 Мбит/с, потребно је 1-40 пакета података за пренос 50 оквира/фрејма. Што се више пакета изгуби, то је слика лошијег квалитета, а заостајање и замрзавање су уочљивији. У посебно тешким случајевима постаје једноставно немогуће играти.

Наравно, сама услуга у облаку не може ни на који начин утицати на ширину и стабилност канала корисника (мада би то било одлично, наравно). Али могуће је предвидети различите начине за изравнавање проблема у комуникацији. У наставку ћемо видети које услуге се најбоље носе са проблемом.

Шта тачно упоређујемо?

Обичан рачунар (Интел и3-8100, ГТКС 1060 6 ГБ, 8 ГБ РАМ-а), ГеФорце Нов (његова руска верзија ГФН са серверима у Москви), Лоудплаи, Вртлог, Плаикеи, Стадиа. На свим сервисима осим Стадиа, проучавамо квалитет игре у Тхе Витцхер-у. Гоогле Стадиа није имала ову игру у време писања, па сам морао да тестирам још једну - Одиссеи.

Који су услови и методологија тестирања?

Тестирамо из Москве. Провајдер - МГТС, тарифа 500 Мбит/с, кабловска веза, не ВиФи. Подешавања квалитета графике у сервисима постављамо на подразумеване вредности, резолуција – ФуллХД.

Коришћење програма Неспретан Симулирамо проблеме мреже, односно губитак пакета различитих врста и величина.

Уједначени појединачни губици. Ово је када се изгуби само 1 пакет, а губици су распоређени мање-више равномерно. Дакле, уједначен губитак од 10% значи да се од 100 пакета изгуби сваки 10. пакет, али увек само 1 пакет. Проблем се обично манифестује када постоји изобличење (заштита) на каналу од клијента до сервера.

Тестирамо уједначене губитке од 5%, 10%, 25%.

Неуједначени масовни губици, када се у било ком тренутку одмах изгуби 40-70 пакета за редом. Овакви губици најчешће настају када постоје проблеми са мрежном опремом (рутери и сл.) корисника или провајдера. Може бити повезано са преливањем бафера мрежне опреме на комуникационој линији корисник-сервер. ВиФи са дебелим зидовима такође може изазвати такве губитке. Загушење бежичне мреже услед присуства великог броја уређаја је још један разлог, веома типичан за канцеларије и стамбене зграде.

Тестирамо неуједначене губитке од 0,01%, 0,1%, 0,5%.

У наставку анализирам све ове случајеве и прилажем видео поређење ради јасноће. И на крају чланка дајем линк до необрађених, необрађених видео снимака играња из свих сервиса и случајева - тамо можете детаљније погледати артефакте, као и техничке информације (у свим сервисима осим Стадиа, подаци из техничког конзола је снимљена; Стадиа није нашла такву).

Идемо!

Испод је 7 сценарија стрес тестова и видео са временским ознакама (видео је исти, ради погодности, у свакој тачки гледање почиње од правог тренутка). На самом крају поста су оригинални видео снимци за сваку од услуга. Добар пријатељ ми је помогао да направим видео, на чему му се захваљујем!

Сценарио #1. Идеални услови. Нулти губици у мрежи

Све је како треба да буде у идеалном свету. Нема проблема са везом, нити једног прекида, нема сметњи, ваша приступна тачка је светионик Интернета. У оваквим условима стакленика, скоро сви учесници теста раде добро.

ПЦ

За сваки сценарио узели смо снимке из ПЦ игре као референцу. Јасно је да квалитет мреже ни на који начин не утиче на то, игра ради на рачунару локално. Присуство ових оквира одговара на питање „да ли постоји разлика када играте у облаку у поређењу са играњем на рачунару“. У идеалним условима, у нашем случају, то већина служби не осећа. Нећемо писати ништа о рачунару у наставку, само запамтите да постоји.

ГеФорце Нов

Све је у реду, слика је јасна, процес иде глатко, без фризова.

Вртлог

Вортек квари наш идеалан свет. Одмах су му почели проблеми - слика је била гора од свих осталих, плус "кочнице" су биле јасно видљиве. Могући проблем је што се сервери за игре налазе далеко од Москве, плус хардвер на серверима за игре изгледа да је слабији и не подноси добро ФуллХД. Вортек је био лош у свим тестовима. Ако неко има позитивно искуство играња са Вортек-ом, напишите у коментарима, поделите одакле сте играли и како је све испало.

Плаикеи

Све је у реду, као на локалном рачунару. Видљиви проблеми као што су замрзавање, заостајање итд. Не.

Лоудплаи

Сервис показује одличну слику, нема видљивих проблема.

Стадиа

Гоогле-ов сервис за игре ради савршено упркос чињеници да нема сервере у Руској Федерацији, а генерално, Стадиа званично не ради у Русији. Међутим, све је у реду. Штета, наравно, што „Тхе Витцхер” није био доступан на Стадији у време утакмице, али шта можете, узели су „Одисеју” – такође захтевну, такође о човеку који сече људе и животиње.

Сценарио бр.2. Униформни губитак 5%

У овом тесту, од 100 пакета, отприлике сваки 20. је изгубљен. Дозволите ми да вас подсетим да је за рендеровање једног оквира потребно 40-50 пакета.

ГеФорце Нов

Услуга Нвидије је у реду, нема проблема. Слика је мало мутнија од Плаикеи-а, али Тхе Витцхер се и даље може играти.

Вртлог

Овде су ствари постале још горе. Зашто није сасвим јасно; највероватније, вишак није обезбеђен или је минималан. Редунданција је кодирање прослеђених података отпорно на шум (ФЕЦ - Форвард Еррор Цоррецтион). Ова технологија опоравља податке када се делимично изгубе због проблема са мрежом. Може се имплементирати и конфигурисати на различите начине, а судећи по резултатима, креатори Вортек-а у томе нису успели. Нећете моћи да играте чак ни са малим губицима. Током наредних тестова, Вортек је једноставно „умро“.

Плаикеи

Све је у реду, нема значајне разлике од идеалних услова. Можда помаже то што се сервери компаније налазе у Москви, где су спроведени тестови. Па, можда је горе поменута редунданција боље конфигурисана.

Лоудплаи

Услуга је одједном постала немогућа за играње, упркос релативно малим губицима пакета. Шта може бити погрешно? Претпостављам да Лоудплаи ради са ТЦП протоколом. У овом случају, док нема потврде о пријему пакета, нити се шаљу други пакети, систем чека потврду испоруке. Сходно томе, ако се пакет изгуби, неће бити потврде о његовој испоруци, нови пакети се неће слати, слика ће постати празна, крај приче.

Али ако користите УДП, потврда о пријему пакета неће бити потребна. Колико се може проценити, сви остали сервиси осим Лоудплаи-а користе УДП протокол. Ако то није случај, исправите ме у коментарима.

Стадиа

Све се може играти. Понекад слика постаје пикселизирана и има минималних кашњења одговора. Можда кодирање отпорно на буку не функционише савршено, отуда и мањи артефакти када се цео стреам може играти.

Сценарио бр.3. Униформни губитак 10%

Губимо сваки десети пакет на сто. Ово је већ изазов за услуге. Да би се ефикасно носили са таквим губицима, потребне су технологије за опоравак и/или поновно слање изгубљених података.

ГеФорце Нов

ГеФорце доживљава благи пад квалитета видео стрима. Колико можемо да закључимо, ГФН реагује на проблеме мреже покушавајући да их ублажи. Услуга смањује битрате, односно број битова за пренос података. На овај начин покушава да смањи оптерећење мреже за коју сматра да је недовољно квалитетна и да одржи стабилну везу. И заиста нема питања о стабилности, али квалитет видеа приметно пати. Видимо значајну пикселизацију слике. Па, пошто моделирање претпоставља константан губитак од 10% пакета, смањење битрате-а баш и не помаже, ситуација се не враћа у нормалу.

У стварном животу, слика највероватније неће бити стално лоша, већ лебдећа. Губици су се повећали - слика је постала замагљена; губици су смањени - слика се вратила у нормалу и тако даље. Ово, наравно, није добро за искуство играња.

Плаикеи

Нема посебних проблема. Вероватно, алгоритам детектује проблеме на мрежи, одређује ниво губитака и више се фокусира на редундантност, а не на смањење брзине преноса. Испоставило се да са 10% равномерних губитака, квалитет слике остаје практично непромењен, мало је вероватно да ће корисник приметити такве губитке.

Лоудплаи

Не ради, само није почело. Током даљих тестова ситуација се поновила. Колико се може проценити, ова услуга се ни на који начин не прилагођава мрежним проблемима. Можда је крив ТЦП протокол. Најмањи губитак ће потпуно парализовати услугу. Није баш практично за стварни живот, наравно.

Вртлог

Такође велики проблеми. Не можете играти у таквим условима, иако је слика и даље ту и лик наставља да трчи, иако у трзајима. Мислим да се ради о истој лошој имплементацији или недостатку редунданције. Пакети се често губе и не могу се повратити. Као резултат, квалитет слике деградира на ниво који се не може играти.

Стадиа

Нажалост, овде је све лоше. Долази до прекида у току, због чега се догађаји на екрану дешавају у трзајима, што отежава играње. Може се претпоставити да је проблем настао, као иу случају Вортек-а, због минималног или никаквог залиха. Консултовао сам се са пар пријатеља који су „упознати“, рекли су да Стадиа највероватније чека да се оквир у потпуности склопи. За разлику од ГФН-а, он не покушава да спасе ситуацију потпуним смањењем брзине преноса. Као резултат, нема артефаката, али се појављују замрзавања и кашњења (ГФН, напротив, има мање фризова/заостајања, али због ниске брзине преноса слика је потпуно непривлачна).

Чини се да и друге службе не чекају да се оквир потпуно састави, замењујући део који недостаје фрагментом старог оквира. Ово је добро решење, у већини случајева корисник неће приметити хватање (промена 30+ фрејмова у секунди), иако понекад може доћи до артефаката.

Сценарио бр.4. Униформни губитак 25%

Сваки четврти пакет је изгубљен. Постаје све страшније и занимљивије. Уопштено говорећи, са тако „пропусном“ везом, нормално играње у облаку тешко је могуће. Иако се неки учесници поређења сналазе, иако не савршено.

ГФН

Проблеми су већ прилично уочљиви. Слика је пикселизирана и мутна. Још увек можете да играте, али то уопште није оно што је ГФН понудио на самом почетку. И то дефинитивно не треба да се играју лепе игре. Лепота се више не може ценити.

Плаикеи

Игра иде добро. Постоји глаткоћа, иако слика мало пати. Иначе, у горњем левом углу су бројеви који показују колико је изгубљених пакета враћено. Као што видите, 96% пакета је враћено.

Лоудплаи

Није почео.

Вртлог

Не можете да играте чак ни са јаком жељом, замрзавања (замрзавање слике, наставак видео стрима из новог фрагмента) су још уочљивија.

Стадиа

Услуга се практично не може играти. Разлози су већ поменути горе. Чекајући да се оквир склопи, вишак је минималан, са таквим губицима то није довољно.

Сценарио #5. Неуједначен губитак 0,01%.

На сваких 10 пакета губи се 000-1 пакета за редом. То јест, губимо отприлике 40 од 70 кадрова. То се дешава када је бафер мрежног уређаја пун и сви нови пакети се једноставно одбацују (испуштају) док се бафер не ослободи. Сви учесници поређења, осим Лоудплаи-а, у овом или оном степену су одрадили такве губитке.

ГФН

Слика је мало изгубила на квалитету и постала нешто мутна, али све је прилично игриво.

Плаикеи

Све је јако добро. Слика је глатка, слика добра. Можете играти без проблема.

Лоудплаи

Првих неколико секунди била је слика, јунак је чак и трчао. Али веза са сервером је скоро одмах изгубљена. Ох, овај ТЦП протокол. Први губитак је прекинуо услугу у њеним коренима.

Вртлог

Уочени су уобичајени проблеми. Фризови, лагови и то је све. Било би веома тешко играти у таквим условима.

Стадиа

Плаиабле. Приметни су мали падови, слика је понекад пикселизирана.

Сценарио бр.6. Неуједначени губици 0,1%

За 10 пакета, 000-10 пакета у низу се губи 40 пута. Испоставило се да губимо 70 од 10 кадрова.

Одмах ћу рећи да већина услуга има приметне проблеме. На пример, слика се трза, па сувишност овде не помаже. То јест, постоји позитиван ефекат када се користи технологија редунданце, али је мали.

Чињеница је да је време реакције на радње корисника и саму игру ограничено, видео стреам мора бити континуиран. Немогуће је вратити стрим на прихватљив квалитет упркос напорима сервиса.

Појављују се артефакти (покушај да се надокнади губитак пакета, нема довољно података) и трзаји слике.

ГФН

Квалитет слике је приметно опао, битрате је очигледно смањен, и то прилично значајно.

Плаикеи

Боље се сналази - вероватно зато што је редундантност добро конфигурисана, плус алгоритам битрате-а сматра да губици нису баш велики и не претвара слику у пикселски неред.

Лоудплаи

Није почео.

Вртлог

Почело је, али са ужасним квалитетом слике. Трзаји и слегање су веома приметни. У таквим условима тешко да је могуће играти.

Стадиа

Трзаји су јасно видљиви, то је јасан показатељ да нема довољно вишка. Слика се замрзава, затим се појављују други оквири, а видео стреам се прекида. У принципу, можете играти ако имате велику жељу и клиничку склоност ка самомучењу.

Сценарио бр.7. Неуједначени губици 0,5%

За 10 пакета 000 пута губи се 50-40 пакета за редом. Губимо 70 кадрова од 50.

Ситуација класе „униформисано сјебана“. Ваш рутер варничи, ваш ИСП не ради, мишеви жваћу ваше жице, али и даље желите да играте у облаку. Коју услугу да изаберете?

ГФН

Већ је веома тешко, ако не и немогуће, играти - битрате је знатно смањен. Оквири су изгубљени, уместо нормалне слике видимо „сапун“. Оквири се не обнављају - нема довољно информација за рестаурацију. Ако ГФН уопште предвиђа опоравак. Начин на који сервис агресивно покушава да спасе ситуацију са битрате-ом изазива сумњу у његову спремност да ради са редундантношћу.

Плаикеи

Постоји изобличење кадрова, слика се трза, односно понављају се елементи појединачних кадрова. Види се да је највећи део „поломљеног“ оквира рестауриран из делова претходног. То јест, нови оквири садрже делове старих оквира. Али слика је мање-више јасна. Можете то да контролишете, али у динамичним сценама, на пример, у тучи, где вам је потребна добра реакција, то је тешко.

Лоудплаи

Није почео.

Вртлог

Почело је, али би било боље да не почнете - не можете да играте.

Стадиа

Сервис у таквим условима је неизводљив. Разлози су потреба да се сачека монтажа оквира и лоша редундантност.

Ко је победник?

Оцена је, наравно, субјективна. Можете се расправљати у коментарима. Па, на првом месту је, наравно, локални рачунар. Управо зато што су услуге у облаку изузетно осетљиве на квалитет мреже, а овај квалитет је прилично нестабилан у стварном свету, ваш сопствени рачунар за игре остаје без премца. Али ако из неког разлога није ту, погледајте оцену.

1. Локални рачунар. Очекиван.
2. Плаикеи
3. ГеФорце Нов
4. Гоогле Стадиа
5. Вртлог
6. Лоудплаи

Као закључак, дозволите ми да вас још једном подсетим шта игра главну улогу у игрицама у облаку у смислу отпорности на проблеме са мрежом:

• Који се мрежни протокол користи. Најбоље је користити УДП за пренос видео тока. Претпостављам да Лоудплаи користи ТЦП, мада не знам сигурно. Али видели сте резултате теста.
• Да ли је имплементирано кодирање отпорно на буку? (ФЕЦ - Форвард Еррор Цоррецтион, такође познат као редундантност). Начин на који се прилагођава губитку пакета је такође важан. Као што смо видели, квалитет слике значајно зависи од имплементације.
• Како је конфигурисана адаптација брзине преноса. Ако услуга спасава ситуацију пре свега са битрате-ом, ово има јачи ефекат на слику. Кључ успеха је деликатан баланс између манипулације битрате-ом и редундантности.
• Како је постављена накнадна обрада. Ако се појаве проблеми, оквири се или ресетују, обнављају или поново склапају са фрагментима старих оквира.
• Близина сервера играчима и снага хардвера такође значајно утичу на квалитет игре, али то важи и за идеалну мрежу. Ако је пинг на серверима превисок, нећете моћи да играте удобно чак ни на идеалној мрежи. У овој студији нисмо експериментисали са пингом.

Као што је обећано, ево линка до необрађени видео снимци са различитих сервиса у свим случајевима.

Извор: ввв.хабр.цом