클라우드 게임: 인터넷 상태가 좋지 않은 클라우드 게임 서비스 5가지 스트레스 테스트

약 XNUMX년 전에 나는 기사를 발표했습니다. “클라우드 게임: 약한 PC에서 플레이하기 위한 서비스 기능에 대한 직접 평가”. 약한 PC에서 클라우드 게이밍을 위한 다양한 서비스의 장단점을 분석했습니다. 게임 중 각 서비스를 테스트하며 전체적인 감상을 공유했습니다.

이 기사와 기타 유사한 기사에 대한 댓글에서 독자들은 종종 다양한 게임 서비스에 대한 인상을 공유했습니다. 같은 사안에 대해 반대 의견이 나오는 경우가 많았습니다. 어떤 사람들에게는 모든 것이 완벽하지만 다른 사람들에게는 지연과 정지 때문에 플레이할 수 없습니다. 그런 다음 이상적인 조건부터 끔찍한 조건까지 다양한 조건에서 이러한 서비스의 품질을 평가할 아이디어를 얻었습니다. 사용자가 항상 빠르고 문제 없는 통신 채널을 자랑할 수는 없기 때문에 우리는 네트워크의 품질에 대해 이야기하고 있습니다. 일반적으로, 다양한 네트워크 운영 품질을 시뮬레이션하여 서비스를 평가합니다.

문제가 무엇입니까?

위에서 언급했듯이 - 연결로. 보다 정확하게는 게임 중 패킷이 손실되는 경우입니다. 손실이 높을수록 게이머의 문제가 많아지고 게임에 대한 만족도가 낮아집니다. 그러나 아파트 건물의 모든 거주자가 공유하는 대신 장치에 대한 광섬유와 같은 이상적인 통신 채널과 전용 인터넷을 갖춘 사람은 거의 없습니다.

참고로 연결 속도가 25Mbit/s인 경우 1프레임/프레임을 전송하려면 40~50개의 데이터 패킷이 필요합니다. 손실된 패킷이 많을수록 사진 품질이 낮아지고 지연 및 정지 현상이 더 눈에 띄게 나타납니다. 특히 심한 경우에는 플레이가 불가능해집니다.

당연히 클라우드 서비스 자체는 사용자 채널의 폭과 안정성에 어떤 식으로든 영향을 미칠 수 없습니다(물론 그러면 좋겠지만). 그러나 의사소통 문제를 해결하기 위한 다양한 방법을 생각해 볼 수 있습니다. 아래에서 어떤 서비스가 문제에 가장 잘 대처하는지 살펴보겠습니다.

우리는 정확히 무엇을 비교하고 있습니까?

일반 PC(Intel i3-8100, GTX 1060 6GB, 8GB RAM), GeForce Now(러시아어 버전) GFN 모스크바에 서버 있음), 시끄러운 놀이, 소용돌이, 플레이 키, 스타 디아. Stadia를 제외한 모든 서비스에서 우리는 The Witcher 게임의 품질을 연구합니다. 이 글을 쓰는 시점에는 Google Stadia에 이 게임이 없었기 때문에 다른 게임인 Odyssey를 테스트해야 했습니다.

테스트 조건과 방법은 무엇입니까?

우리는 모스크바에서 테스트합니다. 공급자 - MGTS, 요금 500Mbit/s, 케이블 연결, WiFi 아님. 서비스의 그래픽 품질 설정을 기본값인 해상도(FullHD)로 설정합니다.

프로그램 사용 모양 없는 다양한 유형과 크기의 패킷 손실과 같은 네트워크 문제를 시뮬레이션합니다.

균일한 단일 손실. 이는 1개의 패킷만 손실되고 손실이 어느 정도 균등하게 분산되는 경우입니다. 따라서 10%의 균일한 손실은 100개의 패킷 중 매 10번째 패킷이 손실되지만 항상 1개의 패킷만 손실됨을 의미합니다. 문제는 일반적으로 클라이언트에서 서버로의 채널에 왜곡(차폐)이 있을 때 나타납니다.

5%, 10%, 25%의 균일한 손실을 테스트합니다.

고르지 못한 질량 손실, 어느 순간에 연속으로 40-70개의 패킷이 즉시 손실되는 경우. 이러한 손실은 사용자나 공급자의 네트워크 장비(라우터 등)에 문제가 있을 때 가장 자주 발생합니다. 사용자-서버 통신 회선에서 네트워크 장비의 버퍼 오버플로와 관련될 수 있습니다. 벽이 두꺼운 WiFi도 이러한 손실을 초래할 수 있습니다. 많은 수의 장치로 인한 무선 네트워크의 정체는 사무실과 아파트 건물에서 매우 흔한 또 다른 이유입니다.

0,01%, 0,1%, 0,5%의 균등하지 않은 손실을 테스트합니다.

아래에서는 이러한 모든 사례를 분석하고 명확성을 위해 비디오 비교를 첨부합니다. 그리고 기사 끝 부분에는 모든 서비스와 사례의 편집되지 않은 원본 게임 플레이 비디오에 대한 링크가 제공됩니다. 여기서 아티팩트와 기술 정보(Stadia를 제외한 모든 서비스에서 기술 정보의 데이터)를 더 자세히 볼 수 있습니다. 콘솔이 기록되었지만 Stadia에서는 그러한 내용을 찾지 못했습니다).

가자!

다음은 7가지 스트레스 테스트 시나리오와 타임스탬프가 포함된 비디오입니다(비디오는 편의상 동일하며 각 지점에서 올바른 순간부터 시청이 시작됩니다). 게시물 맨 끝에는 각 서비스의 원본 동영상이 있습니다. 좋은 친구가 영상 제작에 도움을 줬는데, 그 친구에게 감사해요!

시나리오 #1. 이상적인 조건. 네트워크 손실 제로

이상적인 세상에서는 모든 것이 그래야만 합니다. 연결 문제도 없고 단 한 번의 끊김도 없고 간섭도 없으며 액세스 포인트는 인터넷의 신호입니다. 이러한 온실 조건에서는 거의 모든 테스트 참가자가 좋은 성적을 거두었습니다.

PC

각 시나리오에 대해 참고 자료로 PC 게임의 영상을 촬영했습니다. 네트워크 품질은 어떤 식으로든 영향을 미치지 않으며 게임은 PC에서 로컬로 실행됩니다. 이러한 프레임의 존재는 "클라우드에서 플레이할 때와 PC에서 플레이할 때 차이가 있습니까?"라는 질문에 답합니다. 이상적인 조건에서 우리의 경우 대부분의 서비스에서는 이것이 느껴지지 않습니다. 아래에서는 PC에 대해 아무것도 쓰지 않을 것입니다. PC가 존재한다는 점만 기억하세요.

GeForce Now

모든 것이 괜찮고 그림이 선명하며 프로세스가 프리즈 없이 원활하게 진행됩니다.

소용돌이

소용돌이는 우리의 이상적인 세계를 망치고 있습니다. 그는 즉시 문제가 발생하기 시작했습니다. 그림은 다른 모든 것보다 나빴고 "브레이크"도 선명하게 보였습니다. 가능한 문제는 게임 서버가 모스크바에서 멀리 떨어져 있고 게임 서버의 하드웨어가 약하고 FullHD를 잘 처리하지 못하는 것 같습니다. Vortex는 모든 테스트에서 저조한 성능을 보였습니다. Vortex를 플레이하면서 긍정적인 경험을 한 사람이 있다면 댓글을 작성하고 어디에서 플레이했는지, 모든 것이 얼마나 잘 됐는지 공유해 주세요.

플레이 키

로컬 PC에서와 마찬가지로 모든 것이 정상입니다. 정지, 지연 등과 같은 눈에 보이는 문제 아니요.

시끄러운 놀이

서비스는 훌륭한 그림을 보여 주며 눈에 보이는 문제는 없습니다.

스타 디아

Google의 게임 서비스는 러시아 연방에 서버가 없다는 사실에도 불구하고 완벽하게 작동하며 일반적으로 Stadia는 러시아에서 공식적으로 작동하지 않습니다. 그러나 모든 것이 괜찮습니다. 물론 게임 당시 Stadia에서 "The Witcher"를 사용할 수 없었던 것은 유감이지만 무엇을 할 수 있습니까? 그들은 "Odyssey"를 선택했습니다. 또한 사람과 동물을 자르는 사람에 대해서도 요구했습니다.

시나리오 2번. 균일 손실 5%

이 테스트에서는 100개의 패킷 중 약 20개의 패킷이 손실되었습니다. 한 프레임을 렌더링하려면 40-50개의 패킷이 필요하다는 점을 상기시켜 드리겠습니다.

GeForce Now

Nvidia의 서비스는 괜찮고 문제가 없습니다. Playkey보다 사진이 조금 더 흐릿하지만 The Witcher는 여전히 플레이 가능합니다.

소용돌이

여기서 상황은 더욱 악화되었습니다. 완전히 명확하지 않은 이유는 대부분 중복이 제공되지 않거나 최소한일 가능성이 높습니다. 중복성은 전달된 데이터의 잡음 방지 코딩(FEC - Forward Error Correction)입니다. 네트워크 문제로 인해 데이터가 부분적으로 손실되었을 때 데이터를 복구하는 기술입니다. 다양한 방식으로 구현하고 구성할 수 있으며 결과로 판단하면 Vortex 제작자는 이에 성공하지 못했습니다. 작은 손실에도 플레이할 수 없습니다. 후속 테스트에서 Vortex는 단순히 "죽었습니다".

플레이 키

모든 것이 정상이며 이상적인 조건과 큰 차이가 없습니다. 아마도 회사 서버가 테스트가 수행된 모스크바에 있다는 것이 도움이 될 것입니다. 글쎄, 아마도 위에서 언급한 중복성이 더 잘 구성되어 있을 것입니다.

시끄러운 놀이

상대적으로 낮은 패킷 손실에도 불구하고 갑자기 서비스를 재생할 수 없게 되었습니다. 무엇이 잘못될 수 있나요? 나는 Loudplay가 TCP 프로토콜과 작동한다고 가정하겠습니다. 이 경우 패키지 수령 확인이 없고 다른 패키지도 전송되지 않으며 시스템은 배송 확인을 기다립니다. 따라서 패키지가 분실된 경우 배송 확인이 불가능하고 새 패키지가 발송되지 않으며 사진이 공백이 되어 이야기가 끝납니다.

그러나 UDP를 사용하는 경우에는 패킷 수신 확인이 필요하지 않습니다. 판단할 수 있는 한 Loudplay를 제외한 다른 모든 서비스는 UDP 프로토콜을 사용합니다. 만약 그렇지 않다면 댓글로 정정해주세요.

스타 디아

모든 것이 재생 가능합니다. 때로는 사진이 픽셀화되어 응답 지연이 최소화되는 경우도 있습니다. 아마도 소음 방지 코딩이 완벽하게 작동하지 않아 전체 스트림을 재생할 때 사소한 인공물이 발생할 수 있습니다.

시나리오 3번. 균일 손실 10%

우리는 10개당 XNUMX번째 패킷을 잃습니다. 이것은 이미 서비스에 대한 도전입니다. 이러한 손실을 효과적으로 처리하려면 손실된 데이터를 복구 및/또는 재전송하는 기술이 필요합니다.

GeForce Now

GeForce의 비디오 스트림 품질이 약간 저하되고 있습니다. 우리가 알 수 있는 한, GFN은 네트워크 문제를 완화하기 위해 노력하고 있습니다. 이 서비스는 데이터 전송을 위한 비트 전송률, 즉 비트 수를 줄입니다. 이런 방식으로 그는 품질이 충분하지 않다고 생각하는 네트워크의 부하를 줄이고 안정적인 연결을 유지하려고 노력하고 있습니다. 안정성에 대해서는 의문의 여지가 없지만 비디오 품질이 눈에 띄게 저하됩니다. 이미지의 상당한 픽셀화가 보입니다. 글쎄, 모델링에서는 패킷의 10%가 지속적으로 손실된다고 가정하므로 비트 전송률을 줄이는 것은 실제로 도움이 되지 않으며 상황이 정상으로 돌아오지 않습니다.

실제 생활에서 그림은 지속적으로 나쁘지는 않지만 떠 있을 가능성이 높습니다. 손실이 증가했습니다. 이미지가 흐려졌습니다. 손실이 감소했습니다. 이미지가 정상으로 돌아왔습니다. 물론 이것은 게임 경험에 좋지 않습니다.

플레이 키

특별한 문제는 없습니다. 아마도 알고리즘은 네트워크의 문제를 감지하고 손실 수준을 결정하며 비트 전송률을 낮추는 것보다 중복성에 더 중점을 두는 것 같습니다. 10% 균일 손실로 인해 화질은 사실상 변하지 않고 사용자는 이러한 손실을 눈치채지 못할 것으로 나타났습니다.

시끄러운 놀이

작동하지 않습니다. 시작되지 않았습니다. 추가 테스트 중에 상황이 반복되었습니다. 판단할 수 있는 한, 이 서비스는 어떤 방식으로도 네트워크 문제에 적응하지 않습니다. 아마도 TCP 프로토콜이 비난을 받을 것입니다. 약간의 손실로 인해 서비스가 완전히 마비됩니다. 물론 실생활에서는 그다지 실용적이지 않습니다.

소용돌이

또한 큰 문제. 그러한 조건에서는 플레이할 수 없습니다. 비록 그림은 여전히 ​​있고 캐릭터는 비록 멍청하긴 하지만 계속 달립니다. 나는 그것이 제대로 구현되지 않았거나 중복성이 누락된 것과 거의 같다고 생각합니다. 패킷은 종종 손실되어 복구할 수 없습니다. 결과적으로 화질이 재생할 수 없는 수준으로 저하됩니다.

스타 디아

불행히도 여기서는 모든 것이 나쁩니다. 흐름에 단절이 있기 때문에 화면의 이벤트가 갑자기 발생하여 플레이하기가 매우 어렵습니다. Vortex의 경우처럼 중복성이 최소화되거나 전혀 없기 때문에 문제가 발생한 것으로 추측할 수 있습니다. 나는 "알고 있는" 두 명의 친구와 상담했는데, 그들은 Stadia가 프레임이 완전히 조립되기를 기다리고 있을 가능성이 높다고 말했습니다. GFN과 달리 비트레이트를 완전히 낮춰 상황을 살리려는 것이 아니다. 결과적으로 아티팩트가 없지만 정지 및 지연이 나타납니다(반대로 GFN은 프리즈/지연이 적지만 비트 전송률이 낮기 때문에 사진이 전혀 매력적이지 않습니다).

다른 서비스도 프레임이 완전히 조립될 때까지 기다리지 않고 누락된 부품을 기존 프레임의 조각으로 교체하는 것 같습니다. 이는 좋은 솔루션입니다. 대부분의 경우 사용자는 포착(초당 30개 이상의 프레임 변경)을 알아차리지 못하지만 때로는 아티팩트가 발생할 수도 있습니다.

시나리오 4번. 균일 손실 25%

네 번째 패킷마다 손실됩니다. 점점 더 무섭고 흥미로워지고 있습니다. 일반적으로 이러한 "누설" 연결로 인해 클라우드에서의 정상적인 게임은 거의 불가능합니다. 일부 비교 참가자는 완벽하지는 않지만 대처합니다.

GFN

문제는 이미 상당히 눈에 띕니다. 사진이 픽셀화되어 흐릿합니다. 여전히 플레이할 수 있지만 처음에 GFN이 제공한 것과는 전혀 다릅니다. 그리고 그것은 확실히 아름다운 게임이 플레이되어야 하는 방식이 아닙니다. 아름다움은 더 이상 평가할 수 없습니다.

플레이 키

게임 플레이는 잘 진행되고 있습니다. 부드러움은 있지만 사진에는 약간의 문제가 있습니다. 그런데 왼쪽 상단에는 손실된 패킷이 복구된 횟수를 나타내는 숫자가 있습니다. 보시다시피 패킷의 96%가 복원되었습니다.

시끄러운 놀이

시작하지 않았습니다.

소용돌이

매우 강한 욕구에도 불구하고 재생할 수 없으며 정지(이미지 정지, 새 조각에서 비디오 스트림 재개)가 훨씬 더 눈에 띕니다.

스타 디아

이 서비스는 사실상 재생할 수 없습니다. 그 이유는 이미 위에서 언급했습니다. 프레임이 조립되기를 기다리는 동안 중복성은 최소화되며 이러한 손실로는 충분하지 않습니다.

시나리오 #5. 고르지 못한 손실 0,01%.

10개의 패킷마다 000-1개의 패킷이 연속으로 손실됩니다. 즉, 40프레임 중 약 70프레임이 손실됩니다. 이는 네트워크 장치의 버퍼가 가득 차서 버퍼가 해제될 때까지 모든 새 패킷이 삭제(삭제)될 때 발생합니다. Loudplay를 제외한 모든 비교 참가자는 이러한 손실을 어느 정도 해결했습니다.

GFN

사진의 품질이 약간 떨어지고 다소 흐려졌지만 모든 것이 재생 가능합니다.

플레이 키

모든 것이 매우 좋습니다. 사진이 매끄럽고 이미지가 좋습니다. 문제없이 플레이하실 수 있습니다.

시끄러운 놀이

처음 몇 초 동안 사진이 있었고 영웅은 달렸습니다. 그러나 서버와의 연결은 거의 즉시 끊어졌습니다. 아, 이 TCP 프로토콜이군요. 첫 번째 손실로 인해 서비스가 근본적으로 중단되었습니다.

소용돌이

일반적인 문제가 관찰됩니다. 프리즈, 지연, 그게 전부입니다. 이런 상황에서는 플레이하기가 매우 어려울 것입니다.

스타 디아

할 수 있는. 작은 단점이 눈에 띄고 사진이 때때로 픽셀화됩니다.

시나리오 번호 6. 고르지 못한 손실 0,1%

10개의 패킷에 대해 000~10개의 패킷이 연속으로 40번 손실됩니다. 70프레임 중 10프레임이 손실되는 것으로 나타났습니다.

대부분의 서비스에는 눈에 띄는 문제가 있다고 바로 말씀 드리겠습니다. 예를 들어 그림이 흔들리므로 여기서 중복성은 도움이 되지 않습니다. 즉, 이중화 기술을 활용하면 긍정적인 효과가 있지만 그 효과는 미미하다.

사실 사용자 행동과 게임 자체에 대한 반응 시간은 제한되어 있으므로 비디오 스트림은 연속적이어야 합니다. 서비스의 어떠한 노력에도 불구하고 스트림을 허용 가능한 품질로 복원하는 것은 불가능합니다.

아티팩트(패킷 손실을 보상하려는 시도, 데이터가 충분하지 않음) 및 이미지 저크가 나타납니다.

GFN

사진의 품질이 눈에 띄게 떨어졌고 비트 전송률도 확실히 상당히 감소했습니다.

플레이 키

더 잘 대처할 수 있습니다. 아마도 중복성이 잘 구성되어 있고 비트 전송률 알고리즘이 손실을 그다지 높지 않은 것으로 간주하고 사진을 픽셀화 된 혼란으로 바꾸지 않기 때문일 것입니다.

시끄러운 놀이

시작하지 않았습니다.

소용돌이

시작했지만 화질이 좋지 않았습니다. 저크와 침하가 매우 눈에.니다. 이런 상황에서는 플레이가 거의 불가능합니다.

스타 디아

저크가 명확하게 보입니다. 이는 중복성이 충분하지 않다는 명확한 표시입니다. 사진이 멈추고 다른 프레임이 나타나고 비디오 스트림이 중단됩니다. 원칙적으로 자기 고문에 대한 열망과 임상 경향이 있으면 플레이할 수 있습니다.

시나리오 번호 7. 고르지 못한 손실 0,5%

10패킷을 000번 하면 50~40패킷이 연속으로 손실됩니다. 70프레임 중 50프레임이 손실됩니다.

획일적으로 망한 클래스의 상황. 라우터에 스파크가 발생하고 ISP가 다운되었으며 쥐가 전선을 갉아먹고 있지만 여전히 클라우드에서 플레이하고 싶습니다. 어떤 서비스를 선택해야 할까요?

GFN

플레이하는 것은 불가능하지는 않더라도 이미 매우 어렵습니다. 비트 전송률이 크게 감소했습니다. 프레임이 손실되고 일반 사진 대신 "비누"가 표시됩니다. 프레임이 복원되지 않습니다. 복원할 정보가 충분하지 않습니다. GFN이 회복을 제공하는 경우. 서비스가 비트 전송률로 상황을 적극적으로 저장하려고 시도하는 방식은 중복성을 사용하려는 의지에 대한 의구심을 불러일으킵니다.

플레이 키

프레임 왜곡이 있고 이미지가 떨립니다. 즉, 개별 프레임의 요소가 반복됩니다. 대부분의 "깨진" 프레임이 이전 프레임의 조각에서 복원되었음을 알 수 있습니다. 즉, 새 프레임에는 이전 프레임의 일부가 포함됩니다. 그러나 이미지는 다소 명확합니다. 컨트롤할 수는 있지만, 싸움처럼 좋은 반응이 필요한 역동적인 장면에서는 어렵습니다.

시끄러운 놀이

시작하지 않았습니다.

소용돌이

시작했지만 시작하지 않는 것이 좋습니다. 재생할 수 없습니다.

스타 디아

이러한 상황에서는 서비스를 이용할 수 없습니다. 그 이유는 프레임이 조립될 때까지 기다려야 하고 중복성이 좋지 않기 때문입니다.

승자는 누구입니까?

물론 평가는 주관적입니다. 댓글로 논쟁하실 수 있습니다. 물론 첫 번째 장소는 로컬 PC입니다. 클라우드 서비스는 네트워크 품질에 매우 민감하고 현실 세계에서는 이러한 품질이 매우 불안정하기 때문에 귀하의 게이밍 PC가 여전히 독보적입니다. 그러나 어떤 이유로 거기에 없으면 등급을 살펴보십시오.

1. 로컬 PC. 예상되는.
2. 플레이 키
3. GeForce Now
4. Google Stadia
5. 소용돌이
6. 시끄러운 놀이

결론적으로 네트워크 문제에 대한 저항 측면에서 클라우드 게임에서 중요한 역할을 하는 것이 무엇인지 다시 한 번 상기시켜 드리겠습니다.

• 어떤 네트워크 프로토콜이 사용됩니까? 비디오 스트림을 전송하려면 UDP를 사용하는 것이 가장 좋습니다. 확실히는 모르겠지만 Loudplay가 TCP를 사용하는 것 같습니다. 그런데 테스트 결과를 봤어요.
• 노이즈 방지 코딩이 구현되어 있습니까? (FEC - 순방향 오류 수정, 중복성이라고도 함). 패킷 손실에 적응하는 방식도 중요합니다. 우리가 본 것처럼 사진의 품질은 구현에 따라 크게 달라집니다.
• 비트 전송률 적응이 구성되는 방법입니다. 서비스가 주로 비트 전송률로 상황을 저장하면 사진에 더 강한 영향을 미칩니다. 성공의 열쇠는 비트레이트 조작과 중복성 간의 섬세한 균형입니다.
• 후처리 설정 방법 문제가 발생하면 프레임이 재설정되거나 복원되거나 이전 프레임 조각으로 재조립됩니다.
• 게이머와 하드웨어 성능에 대한 서버의 근접성 또한 게임 품질에 큰 영향을 미치지만 이는 이상적인 네트워크에도 해당됩니다. 서버에 대한 핑이 너무 높으면 이상적인 네트워크에서도 편안하게 플레이할 수 없습니다. 본 연구에서는 ping을 실험하지 않았습니다.

약속대로 링크는 여기 모든 경우에 다양한 서비스의 원본 비디오.

출처 : habr.com