Jogos em nuvem: teste de estresse 5 serviços de jogos em nuvem com internet ruim

Jogos em nuvem: teste de estresse 5 serviços de jogos em nuvem com internet ruim

Há cerca de um ano publiquei um artigo “Jogos em nuvem: avaliação em primeira mão das capacidades dos serviços para jogar em PCs fracos”. Ele analisou os prós e os contras de vários serviços para jogos em nuvem em PCs fracos. Testei cada serviço durante o jogo e compartilhei minha impressão geral.

Nos comentários deste e de outros artigos semelhantes, os leitores frequentemente compartilhavam suas impressões sobre vários serviços de jogos. Muitas vezes havia opiniões opostas sobre a mesma coisa. Para alguns, tudo é perfeito, mas para outros, não conseguem jogar por causa de atrasos e travamentos. Tive então a ideia de avaliar a qualidade desses serviços em diferentes condições - do ideal ao péssimo. Estamos falando da qualidade das redes, pois nem sempre o usuário pode se orgulhar de ter um canal de comunicação rápido e sem problemas, certo? Em geral, sob o corte está uma avaliação de serviços com simulação de diferentes qualidades de operação da rede.

Qual é o problema?

Como mencionado acima - como uma conexão. Mais precisamente, na perda de pacotes durante o jogo. Quanto maiores as perdas, mais problemas o jogador tem e menos satisfeito ele fica com o jogo. Mas é raro que alguém tenha um canal de comunicação ideal, como fibra óptica para o dispositivo, e com Internet dedicada em vez de compartilhada entre todos os moradores de um prédio de apartamentos.

Para referência, com uma velocidade de conexão de 25 Mbit/s, são necessários 1-40 pacotes de dados para transmitir 50 quadro/quadro. Quanto mais pacotes são perdidos, menor a qualidade da imagem e mais atrasos e congelamentos são perceptíveis. Em casos especialmente graves, torna-se simplesmente impossível jogar.

Naturalmente, o próprio serviço de nuvem não pode de forma alguma afetar a largura e a estabilidade do canal do usuário (embora isso fosse ótimo, é claro). Mas é possível imaginar diferentes formas de nivelar os problemas de comunicação. Veremos a seguir quais serviços lidam melhor com o problema.

O que exatamente estamos comparando?

PC normal (Intel i3-8100, GTX 1060 6 GB, 8 GB de RAM), GeForce Now (sua versão russa GFN com servidores em Moscou), som alto, Vórtice, Tecla de jogo, estádio. Em todos os serviços, exceto Stadia, estudamos a qualidade do jogo em The Witcher. O Google Stadia não tinha esse jogo no momento em que este artigo foi escrito, então tive que testar outro - Odyssey.

Quais são as condições e metodologia de teste?

Testamos em Moscou. Provedor - MGTS, tarifa 500 Mbit/s, conexão a cabo, não WiFi. Definimos as configurações de qualidade gráfica nos serviços para a resolução padrão – FullHD.

Usando o programa Desajeitado Simulamos problemas de rede, nomeadamente, perda de pacotes de vários tipos e tamanhos.

Perdas únicas uniformes. É quando apenas 1 pacote é perdido e as perdas são distribuídas de maneira mais ou menos uniforme. Assim, uma perda uniforme de 10% significa que de 100 pacotes, cada 10 pacotes são perdidos, mas sempre apenas 1 pacote. O problema geralmente se manifesta quando há distorção (blindagem) no canal do cliente para o servidor.

Testamos perdas uniformes de 5%, 10%, 25%.

Perdas de massa desiguais, quando a qualquer momento 40-70 pacotes seguidos são perdidos imediatamente. Essas perdas ocorrem mais frequentemente quando há problemas com o equipamento de rede (roteadores, etc.) do usuário ou provedor. Pode estar associado a um buffer overflow de equipamentos de rede na linha de comunicação usuário-servidor. WiFi com paredes grossas também pode causar tais perdas. O congestionamento da rede wireless devido à presença de um grande número de dispositivos é outro motivo, muito típico de escritórios e prédios de apartamentos.

Testamos perdas desiguais de 0,01%, 0,1%, 0,5%.

Abaixo analiso todos esses casos e anexei um vídeo de comparação para maior clareza. E no final do artigo forneço um link para vídeos de gameplay brutos e não editados de todos os serviços e casos - lá você pode ver os artefatos com mais detalhes, bem como informações técnicas (em todos os serviços, exceto Stadia, dados do técnico console é gravado; o Stadia não encontrou isso).

Vamos lá!

Abaixo estão 7 cenários de testes de estresse e um vídeo com timestamps (o vídeo é o mesmo, por conveniência, em cada ponto a visualização começa no momento certo). No final do post estão os vídeos originais de cada um dos serviços. Um bom amigo me ajudou a fazer o vídeo, pelo que agradeço a ele!

Cenário 1. Condições ideais. Zero perdas na rede

Tudo está como deveria ser em um mundo ideal. Não há problemas de conexão, nem uma única interrupção, nem interferência, seu ponto de acesso é o farol da Internet. Nessas condições de estufa, quase todos os participantes do teste tiveram um bom desempenho.


PC

Para cada cenário, pegamos imagens do jogo para PC como referência. É claro que a qualidade da rede não afeta de forma alguma, o jogo roda localmente no PC. A presença desses frames responde à pergunta “há alguma diferença entre jogar na nuvem e jogar no PC”. Em condições ideais, no nosso caso, isto não é sentido pela maioria dos serviços. Não escreveremos nada sobre o PC abaixo, apenas lembre-se que ele existe.

GeForce Now

Está tudo bem, a imagem está nítida, o processo corre bem, sem frisos.

Vórtice

Vortex está estragando nosso mundo ideal. Ele imediatamente começou a ter problemas - a imagem era pior que todas as outras, e os “freios” eram claramente visíveis. Um possível problema é que os servidores do jogo estão localizados longe de Moscou, e o hardware dos servidores do jogo parece ser mais fraco e não funciona bem com FullHD. O Vortex teve um desempenho ruim em todos os testes. Se alguém tiver uma experiência positiva jogando com Vortex, escreva nos comentários, compartilhe de onde você jogou e como tudo correu bem.

Tecla de jogo

Está tudo bem, como em um PC local. Problemas visíveis, como congelamentos, atrasos, etc. Não.

som alto

O serviço apresenta uma excelente imagem, não há problemas visíveis.

estádio

O serviço de jogos do Google funciona perfeitamente, apesar de não possuir servidores na Federação Russa e, em geral, o Stadia não funcionar oficialmente na Rússia. No entanto, está tudo bem. É uma pena, claro, que “The Witcher” não estivesse disponível no Stadia na época do jogo, mas o que fazer, eles pegaram “Odyssey” - também exigente, também sobre um homem que retalha pessoas e animais.

Cenário nº 2. Perda uniforme 5%

Neste teste, de cada 100 pacotes, aproximadamente um em cada 20 é perdido. Deixe-me lembrá-lo de que para renderizar um quadro você precisa de 40 a 50 pacotes.


GeForce Now

O serviço da Nvidia está bom, sem problemas. A imagem está um pouco mais borrada que a da Playkey, mas The Witcher ainda pode ser jogado.

Vórtice

Foi aqui que as coisas ficaram ainda piores. Por que não está totalmente claro; provavelmente, a redundância não é fornecida ou é mínima. Redundância é codificação resistente a ruído de dados encaminhados (FEC - Forward Error Correction). Esta tecnologia recupera dados quando estes são parcialmente perdidos devido a problemas de rede. Ele pode ser implementado e configurado de diferentes maneiras e, a julgar pelos resultados, os criadores do Vortex não conseguiram. Você não conseguirá jogar mesmo com perdas minúsculas. Durante os testes subsequentes, o Vortex simplesmente “morreu”.

Tecla de jogo

Está tudo bem, não há diferença significativa em relação às condições ideais. Talvez ajude o fato de os servidores da empresa estarem localizados em Moscou, onde os testes foram realizados. Bem, talvez a redundância mencionada acima esteja melhor configurada.

som alto

O serviço tornou-se subitamente impossível de jogar, apesar das perdas de pacotes relativamente baixas. O que pode estar errado? Presumirei que o Loudplay funciona com o protocolo TCP. Neste caso, enquanto não houver confirmação de recebimento do pacote, nenhum outro pacote for enviado, o sistema aguarda a confirmação da entrega. Assim, se um pacote for extraviado, não haverá confirmação de sua entrega, novos pacotes não serão enviados, a imagem ficará em branco, fim da história.

Mas se você usar UDP, a confirmação do recebimento do pacote não será necessária. Tanto quanto se pode avaliar, todos os outros serviços, exceto o Loudplay, usam o protocolo UDP. Se não for esse o caso, corrija-me nos comentários.

estádio

Tudo é jogável. Às vezes, a imagem fica pixelada e há atrasos mínimos na resposta. Talvez a codificação imune a ruído não funcione perfeitamente, daí os pequenos artefatos quando todo o fluxo pode ser reproduzido.

Cenário nº 3. Perda uniforme 10%

Perdemos cada 10 pacotes em cada cem. Isto já é um desafio para os serviços. Para lidar eficazmente com essas perdas, são necessárias tecnologias para recuperar e/ou reenviar dados perdidos.


GeForce Now

A GeForce está enfrentando pequenas quedas na qualidade do stream de vídeo. Pelo que sabemos, a GFN está respondendo aos problemas de rede tentando mitigá-los. O serviço reduz a taxa de bits, ou seja, a quantidade de bits para transmissão de dados. Dessa forma, ele tenta reduzir a carga no que acredita ser uma rede de qualidade insuficiente e manter uma conexão estável. E realmente não há dúvidas sobre estabilidade, mas a qualidade do vídeo sofre visivelmente. Vemos pixelização significativa da imagem. Bom, como a modelagem pressupõe uma perda constante de 10% dos pacotes, reduzir a taxa de bits não ajuda muito, a situação não volta ao normal.

Na vida real, a imagem provavelmente não será consistentemente ruim, mas flutuante. As perdas aumentaram - a imagem ficou borrada; as perdas foram reduzidas - a imagem voltou ao normal e assim por diante. Isto não é bom para a experiência de jogo, é claro.

Tecla de jogo

Não há problemas especiais. Provavelmente, o algoritmo detecta problemas na rede, determina o nível de perdas e foca mais na redundância do que na redução da taxa de bits. Acontece que com perdas uniformes de 10%, a qualidade da imagem permanece praticamente inalterada, é improvável que o usuário perceba tais perdas.

som alto

Não está funcionando, simplesmente não começou. Durante novos testes a situação se repetiu. Pelo que sabemos, este serviço não se adapta de forma alguma aos problemas de rede. Talvez o protocolo TCP seja o culpado. A menor perda paralisará completamente o serviço. Não é muito prático para a vida real, é claro.

Vórtice

Também grandes problemas. Você não pode jogar nessas condições, embora a imagem ainda esteja lá e o personagem continue correndo, ainda que aos solavancos. Acho que se trata da mesma redundância mal implementada ou ausente. Os pacotes são frequentemente perdidos e não podem ser recuperados. Como resultado, a qualidade da imagem degrada a um nível impossível de reproduzir.

estádio

Infelizmente, tudo está ruim aqui. Há uma quebra no fluxo, razão pela qual os eventos na tela ocorrem aos solavancos, tornando extremamente difícil jogar. Pode-se presumir que o problema surgiu, como no caso do Vortex, devido à redundância mínima ou inexistente. Consultei alguns amigos que estão “por dentro”, eles disseram que o Stadia provavelmente está aguardando a montagem completa do quadro. Ao contrário do GFN, ele não tenta salvar a situação reduzindo completamente a taxa de bits. Como resultado, não há artefatos, mas aparecem congelamentos e atrasos (GFN, ao contrário, tem menos frisos/atrasos, mas devido à baixa taxa de bits a imagem é completamente pouco atraente).

Outros serviços também parecem não esperar a montagem completa da moldura, substituindo a peça que faltava por um fragmento da moldura antiga. Esta é uma boa solução, na maioria dos casos o usuário não notará o truque (mudança de mais de 30 quadros por segundo), embora às vezes possam ocorrer artefatos.

Cenário nº 4. Perda uniforme 25%

Cada quarto pacote é perdido. Está ficando cada vez mais assustador e interessante. Em geral, com uma conexão tão “vazada”, dificilmente é possível jogar normalmente na nuvem. Embora alguns participantes da comparação lidem, embora não perfeitamente.


GFN

Os problemas já são bastante perceptíveis. A imagem está pixelizada e desfocada. Você ainda pode jogar, mas não é nada disso que a GFN ofereceu no início. E definitivamente não é assim que jogos bonitos devem ser jogados. A beleza não pode mais ser apreciada.

Tecla de jogo

A jogabilidade está indo bem. Há suavidade, embora a imagem sofra um pouco. A propósito, no canto superior esquerdo estão os números que mostram quantos pacotes perdidos foram recuperados. Como você pode ver, 96% dos pacotes foram restaurados.

som alto

Não comecei.

Vórtice

Você não consegue jogar mesmo com muita vontade, os congelamentos (congelamento da imagem, retomada do stream de vídeo a partir de um novo fragmento) são ainda mais perceptíveis.

estádio

O serviço é praticamente impossível de jogar. As razões já foram mencionadas acima. Esperando a montagem do quadro, a redundância é mínima, com essas perdas não é suficiente.

Cenário #5. Perda irregular de 0,01%.

Para cada 10 pacotes, 000 a 1 pacotes são perdidos consecutivamente. Ou seja, perdemos aproximadamente 40 em 70 frames. Acontece quando o buffer de um dispositivo de rede está cheio e todos os novos pacotes são simplesmente descartados (descartados) até que o buffer seja liberado. Todos os participantes da comparação, exceto o Loudplay, superaram essas perdas de uma forma ou de outra.


GFN

A imagem perdeu um pouco de qualidade e ficou um pouco turva, mas tudo é bastante jogável.

Tecla de jogo

Tudo é muito bom. A imagem é suave, a imagem é boa. Você pode jogar sem problemas.

som alto

Nos primeiros segundos houve uma foto, o herói até correu. Mas a conexão com o servidor foi perdida quase imediatamente. Ah, esse protocolo TCP. A primeira perda destruiu o serviço pela raiz.

Vórtice

Os problemas habituais são observados. Frisos, atrasos e isso é tudo. Seria muito difícil jogar nessas condições.

estádio

Jogável. Pequenos rebaixamentos são perceptíveis, a imagem às vezes fica pixelada.

Cenário nº 6. Perdas desiguais 0,1%

Para 10 pacotes, 000 a 10 pacotes consecutivos são perdidos 40 vezes. Acontece que perdemos 70 dos 10 frames.

Direi imediatamente que a maioria dos serviços apresenta problemas perceptíveis. Por exemplo, a imagem se contorce, então a redundância não ajuda aqui. Ou seja, há um efeito positivo ao utilizar a tecnologia de redundância, mas é pequeno.

O fato é que o tempo de reação às ações do usuário e do jogo em si é limitado, o stream de vídeo deve ser contínuo. É impossível restaurar o fluxo para uma qualidade aceitável, apesar de quaisquer esforços dos serviços.

Aparecem artefatos (uma tentativa de compensar a perda de pacotes, não há dados suficientes) e imagens tremidas.


GFN

A qualidade da imagem caiu visivelmente, a taxa de bits foi claramente reduzida e de forma bastante significativa.

Tecla de jogo

Ele lida melhor - provavelmente porque a redundância está bem configurada, além do algoritmo de taxa de bits considerar as perdas não muito altas e não transformar a imagem em uma bagunça pixelada.

som alto

Não comecei.

Vórtice

Começou, mas com péssima qualidade de imagem. Empurrões e afundamentos são muito perceptíveis. Dificilmente é possível jogar nessas condições.

estádio

Os empurrões são claramente visíveis, este é um indicador claro de que não há redundância suficiente. A imagem congela, outros quadros aparecem e o fluxo de vídeo é interrompido. Em princípio, você pode jogar se tiver um grande desejo e uma tendência clínica à autotortura.

Cenário nº 7. Perdas desiguais 0,5%

Para 10 pacotes 000 vezes, 50-40 pacotes são perdidos consecutivamente. Perdemos 70 frames em 50.

Uma situação da turma dos “uniformemente fodidos”. Seu roteador está acendendo, seu ISP está fora do ar, seus fios estão sendo mastigados por ratos, mas você ainda quer jogar na nuvem. Qual serviço você deve escolher?


GFN

Já é muito difícil, senão impossível, jogar - a taxa de bits foi bastante reduzida. Os quadros são perdidos, em vez de uma imagem normal vemos “sabão”. Os quadros não são restaurados - não há informações suficientes para restauração. Se a GFN fornecer recuperação. A forma como o serviço tenta agressivamente salvar a situação com taxas de bits levanta dúvidas sobre sua disposição em trabalhar com redundância.

Tecla de jogo

Há distorção de quadro, a imagem se contorce, ou seja, elementos de quadros individuais são repetidos. Percebe-se que grande parte da moldura “quebrada” foi restaurada a partir de pedaços da anterior. Ou seja, os novos quadros contêm partes dos quadros antigos. Mas a imagem é mais ou menos clara. Você pode controlá-lo, mas em cenas dinâmicas, por exemplo, em uma luta, onde você precisa de uma boa reação, é difícil.

som alto

Não comecei.

Vórtice

Começou, mas seria melhor não começar - você não pode jogar.

estádio

O serviço nessas condições é impossível de jogar. Os motivos são a necessidade de aguardar a montagem do quadro e a má redundância.

Quem é o vencedor?

A classificação é, obviamente, subjetiva. Você pode argumentar nos comentários. Bem, o primeiro lugar, claro, vai para o PC local. É precisamente porque os serviços em nuvem são extremamente sensíveis à qualidade da rede, e esta qualidade é bastante instável no mundo real, que o seu próprio PC para jogos permanece incomparável. Mas se por algum motivo não estiver lá, observe a classificação.

  1. Computador local. Esperado.
  2. Tecla de jogo
  3. GeForce Now
  4. Estadios do Google
  5. Vórtice
  6. som alto

Para concluir, deixe-me lembrá-lo mais uma vez do que desempenha um papel importante nos jogos em nuvem em termos de resistência a problemas de rede:

  • Qual protocolo de rede é usado. É melhor usar UDP para transmitir um fluxo de vídeo. Suspeito que o Loudplay use TCP, embora não tenha certeza. Mas você viu os resultados do teste.
  • A codificação resistente a ruído está implementada? (FEC – Forward Error Correction, também conhecida como redundância). A forma como ele se ajusta à perda de pacotes também é importante. Como vimos, a qualidade da imagem depende significativamente da implementação.
  • Como a adaptação da taxa de bits é configurada. Se o serviço salvar a situação principalmente com a taxa de bits, isso terá um efeito mais forte na imagem. A chave do sucesso é o delicado equilíbrio entre manipulação da taxa de bits e redundância.
  • Como o pós-processamento é configurado. Se surgirem problemas, os quadros serão redefinidos, restaurados ou remontados com fragmentos de quadros antigos.
  • Proximidade dos servidores aos jogadores e potência do hardware também afetam significativamente a qualidade do jogo, mas isso também se aplica a uma rede ideal. Se o ping dos servidores for muito alto, você não conseguirá jogar confortavelmente, mesmo em uma rede ideal. Não experimentamos ping neste estudo.

Como prometido, aqui está o link para vídeos brutos de diferentes serviços em todos os casos.

Fonte: habr.com

Adicionar um comentário