Juegos en la nube: prueba de estrés 5 servicios de juegos en la nube con Internet deficiente

Juegos en la nube: prueba de estrés 5 servicios de juegos en la nube con Internet deficiente

Hace aproximadamente un año publiqué un artículo. "Juegos en la nube: evaluación de primera mano de las capacidades de los servicios para jugar en PC débiles". Analizó los pros y los contras de varios servicios para juegos en la nube en PC débiles. Probé cada servicio durante el juego y compartí mi impresión general.

En los comentarios a este y otros artículos similares, los lectores a menudo comparten sus impresiones sobre varios servicios de juegos. A menudo había opiniones encontradas sobre un mismo asunto. Para algunos, todo es perfecto, pero para otros no pueden jugar debido a retrasos y congelaciones. Entonces se me ocurrió la idea de evaluar la calidad de estos servicios en diferentes condiciones, desde ideales hasta terribles. Hablamos de la calidad de las redes, porque el usuario no siempre puede presumir de un canal de comunicación rápido y sin problemas, ¿verdad? En general, debajo del corte se encuentra una evaluación de servicios con una simulación de diferentes calidades de operación de la red.

Cual es el problema

Como se mencionó anteriormente, como una conexión. Más precisamente, en la pérdida de paquetes durante el juego. Cuanto mayores son las pérdidas, más problemas tiene el jugador y menos satisfecho está con el juego. Pero es raro que alguien tenga un canal de comunicación ideal como fibra óptica hasta el dispositivo y con una Internet dedicada en lugar de compartida entre todos los residentes de un edificio de apartamentos.

Como referencia, con una velocidad de conexión de 25 Mbit/s, se necesitan entre 1 y 40 paquetes de datos para transmitir 50 cuadro/cuadro. Cuantos más paquetes se pierden, menor es la calidad de la imagen y más notables son los retrasos y las congelaciones. En casos especialmente graves, resulta simplemente imposible jugar.

Naturalmente, el servicio en la nube en sí no puede afectar de ninguna manera el ancho y la estabilidad del canal del usuario (aunque eso sería genial, por supuesto). Pero es posible imaginar diferentes maneras de nivelar los problemas de comunicación. Veremos a continuación qué servicios afrontan mejor el problema.

¿Qué estamos comparando exactamente?

PC normal (Intel i3-8100, GTX 1060 6 GB, 8 GB RAM), GeForce Now (su versión rusa Gfn con servidores en Moscú), juego fuerte, Vórtice, Playkey, Estadios. En todos los servicios excepto Stadia, estudiamos la calidad del juego en The Witcher. Google Stadia no tenía este juego en el momento de escribir este artículo, así que tuve que probar otro: Odyssey.

¿Cuáles son las condiciones y la metodología de las pruebas?

Probamos desde Moscú. Proveedor - MGTS, tarifa 500 Mbit/s, conexión por cable, no WiFi. Configuramos la configuración de calidad de gráficos en los servicios a la resolución predeterminada: FullHD.

Usando el programa Torpe Simulamos problemas de red, es decir, pérdida de paquetes de varios tipos y tamaños.

Pérdidas individuales uniformes. Esto es cuando solo se pierde 1 paquete y las pérdidas se distribuyen de forma más o menos uniforme. Así, una pérdida uniforme del 10% significa que de 100 paquetes se pierde uno de cada diez, pero siempre sólo 10 paquete. El problema suele manifestarse cuando hay distorsión (blindaje) en el canal del cliente al servidor.

Probamos pérdidas uniformes del 5%, 10%, 25%.

Pérdidas de masa desiguales, cuando en cualquier momento se pierden inmediatamente entre 40 y 70 paquetes seguidos. Estas pérdidas ocurren con mayor frecuencia cuando hay problemas con el equipo de red (enrutadores, etc.) del usuario o del proveedor. Puede estar asociado con un desbordamiento del búfer del equipo de red en la línea de comunicación usuario-servidor. El WiFi con paredes gruesas también puede provocar este tipo de pérdidas. La congestión de la red inalámbrica debido a la presencia de una gran cantidad de dispositivos es otro motivo, muy típico de oficinas y edificios de apartamentos.

Probamos pérdidas desiguales del 0,01%, 0,1%, 0,5%.

A continuación analizo todos estos casos y adjunto un vídeo comparativo para mayor claridad. Y al final del artículo proporciono un enlace a videos de juegos sin editar y sin editar de todos los servicios y casos; allí puedes ver los artefactos con más detalle, así como información técnica (en todos los servicios excepto Stadia, datos del departamento técnico). la consola está grabada; Stadia no la encontró).

¡Vamos!

A continuación se muestran 7 escenarios de pruebas de estrés y un video con marcas de tiempo (el video es el mismo, para mayor comodidad, en cada punto la visualización comienza desde el momento adecuado). Al final de la publicación están los videos originales de cada uno de los servicios. Un buen amigo me ayudó a hacer el vídeo, ¡por lo cual le agradezco!

Escenario 1. Condiciones ideales. Cero pérdidas en la red

Todo es como debería ser en un mundo ideal. No hay problemas de conexión, ni una sola interrupción, ni interferencias, tu punto de acceso es el faro de Internet. En estas condiciones de invernadero, casi todos los participantes en la prueba obtienen buenos resultados.


PC

Para cada escenario, tomamos como referencia imágenes del juego de PC. Está claro que la calidad de la red no la afecta de ninguna manera, el juego se ejecuta en la PC localmente. La presencia de estos marcos responde a la pregunta "¿hay alguna diferencia entre jugar en la nube y jugar en tu PC?". En condiciones ideales, en nuestro caso, la mayoría de los servicios no sienten esto. No escribiremos nada sobre la PC a continuación, solo recuerda que existe.

GeForce Now

Todo está bien, la imagen es clara, el proceso transcurre sin problemas, sin frisos.

Vórtice

Vortex está arruinando nuestro mundo ideal. Inmediatamente comenzó a tener problemas: la imagen era peor que todas las demás y los "frenos" eran claramente visibles. Un posible problema es que los servidores del juego están ubicados lejos de Moscú, además el hardware de los servidores del juego parece ser más débil y no maneja bien FullHD. Vortex tuvo un mal desempeño en todas las pruebas. Si alguien tiene una experiencia positiva jugando con Vortex, escriba en los comentarios, comparta desde dónde jugó y qué tan bien resultó todo.

Playkey

Todo está bien, como en una PC local. Problemas visibles como congelaciones, retrasos, etc. No.

juego fuerte

El servicio muestra una imagen excelente, no hay problemas visibles.

Estadios

El servicio de juegos de Google funciona perfectamente a pesar de que no tiene servidores en la Federación Rusa y, en general, Stadia no funciona oficialmente en Rusia. Sin embargo, todo está bien. Es una lástima, por supuesto, que "The Witcher" no estuviera disponible en Stadia en el momento del juego, pero qué puedes hacer, tomaron "Odyssey", también exigente, también sobre un hombre que corta personas y animales.

Escenario No. 2. Pérdida uniforme 5%

En esta prueba, de 100 paquetes, se pierde aproximadamente uno de cada 20. Permítanme recordarles que para renderizar un cuadro se necesitan entre 40 y 50 paquetes.


GeForce Now

El servicio de Nvidia está bien, no hay problemas. La imagen es un poco más borrosa que la de Playkey, pero aún se puede jugar a The Witcher.

Vórtice

Aquí es donde las cosas empeoraron aún más. No está del todo claro por qué; lo más probable es que no se proporcione redundancia o que sea mínima. La redundancia es una codificación resistente al ruido de los datos reenviados (FEC - Forward Error Correction). Esta tecnología recupera datos cuando se pierden parcialmente debido a problemas de red. Se puede implementar y configurar de diferentes maneras y, a juzgar por los resultados, los creadores de Vortex no lo lograron. No podrás jugar ni siquiera con pérdidas minúsculas. Durante las pruebas posteriores, Vortex simplemente "murió".

Playkey

Todo está bien, no hay una diferencia significativa con las condiciones ideales. Quizás ayude el hecho de que los servidores de la empresa estén ubicados en Moscú, donde se llevaron a cabo las pruebas. Bueno, quizás la redundancia mencionada anteriormente esté mejor configurada.

juego fuerte

De repente, el servicio dejó de ser reproducible, a pesar de las pérdidas de paquetes relativamente bajas. ¿Qué puede estar mal? Asumiré que Loudplay funciona con el protocolo TCP. En este caso, mientras no haya confirmación de recepción del paquete, no se envían otros paquetes, el sistema espera la confirmación de entrega. En consecuencia, si un paquete se pierde, no habrá confirmación de su entrega, no se enviarán nuevos paquetes, la imagen quedará en blanco, fin de la historia.

Pero si utiliza UDP, no será necesaria la confirmación de la recepción del paquete. Hasta donde se puede juzgar, todos los demás servicios, excepto Loudplay, utilizan el protocolo UDP. Si este no es el caso, corrígeme en los comentarios.

Estadios

Todo es jugable. A veces la imagen se pixela y hay retrasos mínimos en la respuesta. Quizás la codificación inmune al ruido no funciona perfectamente, de ahí los pequeños artefactos cuando se puede reproducir toda la transmisión.

Escenario No. 3. Pérdida uniforme 10%

Perdemos uno de cada diez paquetes por cada cien. Esto ya es un desafío para los servicios. Para abordar eficazmente dichas pérdidas, se necesitan tecnologías que recuperen y/o reenvíen los datos perdidos.


GeForce Now

GeForce está experimentando ligeras caídas en la calidad de la transmisión de video. Hasta donde sabemos, GFN está respondiendo a los problemas de la red tratando de mitigarlos. El servicio reduce la tasa de bits, es decir, la cantidad de bits para la transmisión de datos. De esta manera, intenta reducir la carga en lo que considera una red de calidad insuficiente y mantener una conexión estable. Y realmente no hay dudas sobre la estabilidad, pero la calidad del vídeo se ve notablemente afectada. Vemos una pixelación significativa de la imagen. Bueno, dado que el modelado supone una pérdida constante del 10% de los paquetes, reducir la tasa de bits realmente no ayuda, la situación no vuelve a la normalidad.

En la vida real, lo más probable es que la imagen no sea siempre mala, sino flotante. Las pérdidas aumentaron: la imagen se volvió borrosa; las pérdidas se redujeron: la imagen volvió a la normalidad, etc. Por supuesto, esto no es bueno para la experiencia de juego.

Playkey

No hay problemas especiales. Probablemente, el algoritmo detecta problemas en la red, determina el nivel de pérdidas y se centra más en la redundancia que en reducir la tasa de bits. Resulta que con una pérdida uniforme del 10%, la calidad de la imagen permanece prácticamente sin cambios y es poco probable que el usuario note tales pérdidas.

juego fuerte

No funciona, simplemente no arranca. Durante más pruebas la situación se repitió. Hasta donde se puede juzgar, este servicio no se adapta de ninguna manera a los problemas de red. Quizás el protocolo TCP sea el culpable. La más mínima pérdida paralizará el servicio por completo. Por supuesto, no es muy práctico para la vida real.

Vórtice

También grandes problemas. No se puede jugar en tales condiciones, aunque la imagen sigue ahí y el personaje sigue corriendo, aunque a tirones. Creo que se trata de la misma redundancia mal implementada o faltante. Los paquetes a menudo se pierden y no se pueden recuperar. Como resultado, la calidad de la imagen se degrada a un nivel imposible de reproducir.

Estadios

Desafortunadamente, aquí todo está mal. Hay una interrupción en el flujo, razón por la cual los eventos en la pantalla ocurren a tirones, lo que hace que sea extremadamente difícil jugar. Se puede suponer que el problema surgió, como en el caso de Vortex, debido a una redundancia mínima o nula. Consulté con un par de amigos que están "al tanto" y dijeron que lo más probable es que Stadia esté esperando que el marco esté completamente ensamblado. A diferencia de GFN, no intenta salvar la situación reduciendo completamente la tasa de bits. Como resultado, no hay artefactos, pero aparecen congelaciones y retrasos (GFN, por el contrario, tiene menos frisos/retrasos, pero debido a la baja tasa de bits la imagen es completamente poco atractiva).

Otros servicios tampoco parecen esperar a que el marco esté completamente ensamblado, reemplazando la pieza que falta con un fragmento del marco antiguo. Esta es una buena solución, en la mayoría de los casos el usuario no notará el problema (más de 30 cuadros cambian por segundo), aunque a veces pueden ocurrir artefactos.

Escenario No. 4. Pérdida uniforme 25%

Uno de cada cuatro paquetes se pierde. Cada vez es más aterrador e interesante. En general, con una conexión tan "con fugas", es casi imposible jugar normalmente en la nube. Aunque algunos participantes de la comparación se las arreglan, aunque no perfectamente.


Gfn

Los problemas ya son bastante notorios. La imagen está pixelada y borrosa. Aún puedes jugar, pero no es en absoluto lo que GFN ofrecía al principio. Y definitivamente no es así como se deben jugar los juegos bonitos. Ya no se puede apreciar la belleza.

Playkey

La jugabilidad va bien. Hay suavidad, aunque la imagen sufre un poco. Por cierto, en la parte superior izquierda están los números que muestran cuántos paquetes perdidos se recuperan. Como puede ver, el 96% de los paquetes se restauran.

juego fuerte

No empezó.

Vórtice

No puedes jugar ni siquiera con un deseo muy fuerte, las congelaciones (congelar la imagen, reanudar la transmisión de video desde un nuevo fragmento) son aún más notorias.

Estadios

El servicio es prácticamente injugable. Las razones ya se han mencionado anteriormente. A la espera de que se monte el marco, la redundancia es mínima, con tales pérdidas no es suficiente.

Escenario #5. Pérdida desigual 0,01%.

Por cada 10 paquetes, se pierden entre 000 y 1 paquetes seguidos. Es decir, perdemos aproximadamente 40 de cada 70 fotogramas. Ocurre cuando el búfer de un dispositivo de red está lleno y todos los paquetes nuevos simplemente se descartan (eliminan) hasta que se libera el búfer. Todos los participantes de la comparación, excepto Loudplay, solucionaron esas pérdidas en un grado u otro.


Gfn

La imagen ha perdido un poco de calidad y se ha vuelto algo turbia, pero todo es bastante reproducible.

Playkey

Todo es muy bueno. La imagen es fluida, la imagen es buena. Puedes jugar sin problemas.

juego fuerte

Los primeros segundos hubo una imagen, el héroe incluso corrió. Pero la conexión con el servidor se perdió casi de inmediato. Oh, este protocolo TCP. La primera pérdida cortó el servicio desde sus raíces.

Vórtice

Se observan los problemas habituales. Frisos, rezagos y eso es todo. Sería muy difícil jugar en esas condiciones.

Estadios

Interpretable. Se notan pequeñas caídas, la imagen a veces está pixelada.

Escenario No. 6. Pérdidas desiguales 0,1%

Por 10 paquetes, se pierden entre 000 y 10 paquetes seguidos 40 veces. Resulta que perdemos 70 de 10 fotogramas.

Diré de inmediato que la mayoría de los servicios tienen problemas notables. Por ejemplo, la imagen se mueve, por lo que la redundancia no ayuda aquí. Es decir, existe un efecto positivo al utilizar tecnología de redundancia, pero es pequeño.

El hecho es que el tiempo de reacción a las acciones del usuario y al juego en sí es limitado, la transmisión de video debe ser continua. Es imposible restaurar la transmisión a una calidad aceptable a pesar de los esfuerzos de los servicios.

Aparecen artefactos (un intento de compensar la pérdida de paquetes, no hay suficientes datos) y sacudidas de la imagen.


Gfn

La calidad de la imagen ha disminuido notablemente, la tasa de bits se ha reducido claramente y de manera bastante significativa.

Playkey

Se las arregla mejor, probablemente porque la redundancia está bien configurada, además el algoritmo de tasa de bits considera que las pérdidas no son muy altas y no convierte la imagen en un desastre pixelado.

juego fuerte

No empezó.

Vórtice

Comenzó, pero con una calidad de imagen pésima. Las sacudidas y los hundimientos son muy notorios. Es casi imposible jugar en tales condiciones.

Estadios

Los tirones son claramente visibles, esto es un indicador claro de que no hay suficiente redundancia. La imagen se congela, luego aparecen otros cuadros y la transmisión de video se interrumpe. En principio, puedes jugar si tienes un gran deseo y una tendencia clínica a la autotortura.

Escenario No. 7. Pérdidas desiguales 0,5%

Por 10 paquetes 000 veces, se pierden entre 50 y 40 paquetes seguidos. Perdemos 70 fotogramas de 50.

Una situación de la clase “uniformemente jodida”. Tu enrutador está funcionando, tu ISP no funciona, tus cables están siendo masticados por ratones, pero aún quieres jugar en la nube. ¿Qué servicio deberías elegir?


Gfn

Ya es muy difícil, si no imposible, jugar: la tasa de bits se ha reducido considerablemente. Los cuadros se pierden, en lugar de una imagen normal vemos "jabón". Los marcos no se restauran; no hay suficiente información para la restauración. Si GFN prevé alguna recuperación. La forma agresiva en que el servicio intenta salvar la situación con la tasa de bits genera dudas sobre su voluntad de trabajar con redundancia.

Playkey

Hay distorsión del cuadro, la imagen se contrae, es decir, se repiten elementos de cuadros individuales. Se puede observar que la mayor parte del marco “roto” fue restaurado a partir de piezas del anterior. Es decir, los nuevos marcos contienen partes de los marcos antiguos. Pero la imagen es más o menos clara. Puedes controlarlo, pero en escenas dinámicas, por ejemplo, en una pelea, donde necesitas una buena reacción, es difícil.

juego fuerte

No empezó.

Vórtice

Empezó, pero sería mejor no empezar, no se puede jugar.

Estadios

El servicio en tales condiciones no se puede reproducir. Las razones son la necesidad de esperar a que se monte el marco y la mala redundancia.

¿Quién es el ganador?

La calificación es, por supuesto, subjetiva. Puedes discutir en los comentarios. Bueno, el primer lugar, por supuesto, lo ocupa la PC local. Precisamente porque los servicios en la nube son extremadamente sensibles a la calidad de la red, y esta calidad es bastante inestable en el mundo real, que su propio PC para juegos no tiene rival. Pero si por alguna razón no está ahí, mire la calificación.

  1. Computadora local. Esperado.
  2. Playkey
  3. GeForce Now
  4. Google Stadia
  5. Vórtice
  6. juego fuerte

Como conclusión, permítanme recordarles una vez más lo que juega un papel importante en los juegos en la nube en términos de resistencia a los problemas de red:

  • Qué protocolo de red se utiliza. Lo mejor es utilizar UDP para transmitir una secuencia de vídeo. Sospecho que Loudplay usa TCP, aunque no estoy seguro. Pero viste los resultados de la prueba.
  • ¿Se implementa codificación resistente al ruido? (FEC - Corrección de errores de reenvío, también conocida como redundancia). También es importante la forma en que se adapta a la pérdida de paquetes. Como hemos visto, la calidad de la imagen depende significativamente de la implementación.
  • Cómo se configura la adaptación de la tasa de bits. Si el servicio salva la situación principalmente con la tasa de bits, esto tiene un efecto más fuerte en la imagen. La clave del éxito es el delicado equilibrio entre manipulación de la tasa de bits y redundancia.
  • Cómo se configura el posprocesamiento. Si surgen problemas, los marcos se restablecen, se restauran o se vuelven a ensamblar con fragmentos de marcos antiguos.
  • Proximidad de los servidores a los jugadores y potencia del hardware. También afecta significativamente la calidad del juego, pero esto también es válido para una red ideal. Si el ping a los servidores es demasiado alto, no podrás jugar cómodamente ni siquiera en una red ideal. No experimentamos con ping en este estudio.

Como prometí, aquí está el enlace a Vídeos sin procesar de diferentes servicios en todos los casos..

Fuente: habr.com

Añadir un comentario