WebRTC의 오픈 소스 클라우드 게임: p2p, 멀티플레이어, 대기 시간 없음

서비스로서의 소프트웨어, 서비스로서의 인프라, 서비스로서의 플랫폼, 서비스로서의 커뮤니케이션 플랫폼, 서비스로서의 화상회의, 서비스로서의 클라우드 게임은 어떻습니까? 최근 구글이 출시한 스태디아(Stadia) 등 클라우드 게이밍(Cloud Gaming)을 만들려는 시도는 이미 여러 차례 있었다. 경기장 WebRTC가 처음이 아닙니다, 하지만 다른 사람들도 같은 방식으로 WebRTC를 사용할 수 있나요?

Thanh Nguyen은 오픈 소스 프로젝트 CloudRetro에서 이 기회를 테스트하기로 결정했습니다. CloudRetro는 Pion을 기반으로 하며, 인기있는 Go 기반 WebRTC 라이브러리(감사합니다. 셔누 이 기사를 준비하는 데 도움을 준 Pion 개발 팀으로부터). 이 기사에서 Thanh은 자신의 프로젝트 아키텍처에 대한 개요를 제공하고 작업 중에 배운 유용한 내용과 직면한 어려움에 대해 이야기합니다.

기입

작년에 Google이 Stadia를 발표했을 때 정말 놀랐습니다. 아이디어가 너무 독특하고 혁신적이어서 기존 기술로 어떻게 이런 일이 가능한지 끊임없이 궁금했습니다. 이 주제를 더 잘 이해하려는 열망으로 인해 저는 오픈 소스 클라우드 게임의 자체 버전을 만들게 되었습니다. 결과는 정말 환상적이었습니다. 아래에서는 한 해 동안의 작업 과정을 공유하고 싶습니다. 프로젝트.

TLDR: 하이라이트가 포함된 짧은 슬라이드 버전

클라우드 게임이 미래인 이유

저는 클라우드 게이밍이 곧 게임뿐만 아니라 컴퓨터 과학의 다른 분야에서도 차세대가 될 것이라고 믿습니다. 클라우드 게임은 클라이언트/서버 모델의 정점입니다. 이 모델은 원격 서버에서 게임 로직을 호스팅하고 이미지/오디오를 클라이언트로 스트리밍하여 백엔드 관리를 극대화하고 프런트엔드 작업을 최소화합니다. 서버는 과도한 처리를 수행하므로 클라이언트는 더 이상 하드웨어 제한의 영향을 받지 않습니다.

Google Stadia를 사용하면 기본적으로 게임을 즐길 수 있습니다. AAA 게임 (예: 고급 블록버스터 게임)을 YouTube와 같은 인터페이스에서 제공합니다. 운영 체제나 2D/3D 그래픽 디자인 등과 같은 다른 주요 오프라인 애플리케이션에도 동일한 방법론을 적용할 수 있습니다. 여러 플랫폼에 걸쳐 저사양 기기에서 일관되게 실행할 수 있도록 말이죠.

이 기술의 미래: Microsoft Windows 10이 Chrome 브라우저에서 실행된다고 상상해 보십시오.

클라우드 게임은 기술적으로 어렵습니다.

게임은 지속적이고 빠른 사용자 응답이 필요한 드문 영역 중 하나입니다. 가끔 페이지를 클릭할 때 2초의 지연이 발생하더라도 이는 허용됩니다. 라이브 비디오 스트림은 몇 초 정도 지연되는 경향이 있지만 여전히 합리적인 유용성을 제공합니다. 하지만 게임이 자주 500ms씩 지연된다면 단순히 플레이가 불가능할 뿐입니다. 우리의 목표는 극도로 낮은 대기 시간을 달성하여 입력과 미디어 사이의 간격을 가능한 한 작게 만드는 것입니다. 따라서 비디오 스트리밍에 대한 전통적인 접근 방식은 여기에 적용할 수 없습니다.

일반 클라우드 게임 템플릿

오픈 소스 프로젝트 CloudRetro

저는 이렇게 엄격한 네트워크 제한으로 이 모든 것이 가능한지 확인하기 위해 클라우드 게임의 테스트 샘플을 만들기로 결정했습니다. 나는 개념 증명을 위해 Golang을 선택했습니다. Golang은 나에게 가장 친숙한 언어였고 나중에 발견한 바와 같이 여러 가지 이유로 이 구현에 매우 적합했기 때문입니다. Go는 간단하고 매우 빠르게 발전합니다. Go의 채널은 멀티스레딩을 관리하는 데 적합합니다.

계획 CloudRetro.io 레트로 게임을 위한 오픈 소스 클라우드 게임 서비스입니다. 이 프로젝트의 목표는 전통적인 복고풍 게임에 가장 편안한 게임 경험을 제공하고 멀티플레이어를 추가하는 것입니다.
여기에서 프로젝트에 대해 자세히 알아볼 수 있습니다. https://github.com/giongto35/cloud-game.

CloudRetro 기능

CloudRetro는 복고풍 게임을 사용하여 클라우드 게임의 힘을 보여줍니다. 이를 통해 많은 독특한 게임 경험을 얻을 수 있습니다.

• 게임의 이식성
  • 페이지를 열 때 즉시 재생; 다운로드나 설치가 필요하지 않습니다
  • 모바일 브라우저에서 작동하므로 실행하는 데 소프트웨어가 필요하지 않습니다.

• 게임 세션은 여러 장치에서 공유할 수 있으며 다음에 로그인할 때 클라우드에 저장할 수 있습니다.
• 게임은 스트리밍되거나 여러 사용자가 동시에 플레이할 수 있습니다.
  • TwitchPlayPokemon과 같은 크라우드플레이, 크로스 플랫폼이 더 많고 실시간이 더 많습니다.
  • 온라인 오프라인 게임. 많은 사용자가 네트워크를 설정하지 않고도 플레이할 수 있습니다. 이제 CloudRetro 네트워크를 통해 2명의 플레이어가 Samurai Shodown을 플레이할 수 있습니다.

  
  다양한 기기에서 실행되는 온라인 멀티플레이어 게임의 데모 버전

  하부 구조

  요구 사항 및 기술 스택

  아래는 프로젝트를 시작하기 전에 설정한 요구 사항 목록입니다.

  1. 한 명의 플레이어
  이 요구 사항은 여기서는 그다지 중요하지 않거나 명백해 보이지 않을 수 있지만 이것이 제가 중요하게 생각하는 사항 중 하나입니다. 이를 통해 클라우드 게임은 기존 스트리밍 서비스에서 최대한 멀리 머물 수 있습니다. 싱글 플레이어 게임에 집중한다면 대중에게 스트리밍할 필요가 없기 때문에 중앙 집중식 서버나 CDN을 제거할 수 있습니다. 싱크 서버에 스트림을 업로드하거나 중앙 집중식 WebSocket 서버에 패킷을 전달하는 대신 서비스 스트림은 PXNUMXP WebRTC 연결을 통해 사용자에게 직접 전달됩니다.

  2. 낮은 대기 시간의 미디어 스트림
  Stadia에 대해 읽으면서 일부 기사에서 WebRTC가 언급되는 것을 자주 봅니다. WebRTC가 뛰어난 기술이며 클라우드 게임에 사용하기에 완벽하다는 것을 깨달았습니다. WebRTC는 간단한 API를 통해 웹 브라우저와 모바일 애플리케이션에 실시간 통신을 제공하는 프로젝트입니다. P8P 연결을 제공하고 미디어에 최적화되어 있으며 VP264 및 HXNUMX와 같은 표준 코덱이 내장되어 있습니다.

  저는 고품질 그래픽을 유지하는 것보다 최고의 사용자 경험을 보장하는 것을 최우선으로 생각했습니다. 일부 손실은 알고리즘에서 허용됩니다. Google Stadia에는 ​​서버의 이미지 크기를 줄이는 추가 단계가 있으며, 프레임은 피어에게 전송되기 전에 더 높은 품질로 업스케일링됩니다.

  3. 지리적 라우팅을 갖춘 분산 인프라
  압축 알고리즘과 코드가 아무리 최적화되어 있더라도 네트워크는 여전히 대기 시간에 가장 큰 영향을 미치는 결정 요소입니다. 아키텍처에는 왕복 시간(RTT)을 줄이기 위해 사용자에게 가장 가까운 서버를 페어링하는 메커니즘이 있어야 합니다. 아키텍처에는 미국 서부, 미국 동부, 유럽, 싱가포르, 중국 등 전 세계에 분산된 1개의 코디네이터와 여러 스트리밍 서버가 있어야 합니다. 모든 스트리밍 서버는 완전히 격리되어야 합니다. 서버가 네트워크에 참여하거나 네트워크에서 나갈 때 시스템은 배포를 조정할 수 있습니다. 따라서 트래픽이 많은 경우 서버를 추가하면 수평적 확장이 가능합니다.

  4. 브라우저 호환성
  클라우드 게임은 사용자가 최소한으로 요구할 때 최고의 성능을 발휘합니다. 이는 브라우저에서 실행할 수 있음을 의미합니다. 브라우저는 사용자가 가능한 한 편안하게 게임을 즐길 수 있도록 도와주므로 소프트웨어와 하드웨어를 설치할 필요가 없습니다. 브라우저는 또한 모바일 버전과 데스크톱 버전 간의 크로스 플랫폼 기능을 제공하는 데 도움이 됩니다. 다행히 WebRTC는 다양한 브라우저에서 잘 지원됩니다.

  5. 게임 인터페이스와 서비스의 명확한 분리
  나는 클라우드 게임 서비스를 플랫폼으로 본다. 누구나 플랫폼에 무엇이든 연결할 수 있어야 합니다. 이제 통합했어요 LibRetro 클라우드 게임 서비스를 사용하는 이유는 LibRetro가 SNES, GBA, PS와 같은 복고풍 게임을 위한 아름다운 게임 에뮬레이터 인터페이스를 제공하기 때문입니다.

  6. 멀티플레이어, 군중 플레이 및 게임과의 외부 연결(딥링크)을 위한 공간
  CloudRetro는 복고풍 게임을 위한 CrowdPlay 및 Online MultiPlayer와 같은 다양한 새로운 게임 플레이를 지원합니다. 여러 사용자가 서로 다른 컴퓨터에서 동일한 딥 링크를 열면 동일한 게임이 실행되는 것을 볼 수 있으며 게임에 참여할 수도 있습니다.

  또한 게임 상태는 클라우드 스토리지에 저장됩니다. 이를 통해 사용자는 언제든지 다른 장치에서 계속 플레이할 수 있습니다.

  7. 수평적 스케일링
  오늘날의 모든 SAAS와 마찬가지로 클라우드 게임도 수평 확장이 가능하도록 설계되어야 합니다. 코디네이터-작업자 설계를 사용하면 더 많은 작업자를 추가하여 더 많은 트래픽을 처리할 수 있습니다.

  8. 하나의 클라우드에 연결되지 않음
  CloudRetro의 인프라는 다양한 지역의 다양한 클라우드 제공업체(Digital Ocean, Alibaba, 맞춤형 제공업체)에서 호스팅됩니다. 인프라용 Docker 컨테이너에서 실행을 활성화하고 bash 스크립트를 사용하여 네트워크 설정을 구성하여 단일 클라우드 공급자에 갇히지 않도록 합니다. 이것을 WebRTC의 NAT Traversal과 결합함으로써 우리는 모든 클라우드 플랫폼은 물론 모든 사용자의 컴퓨터에도 CloudRetro를 배포할 수 있는 유연성을 확보할 수 있습니다.

  건축 설계

  노동자: (또는 위에서 언급한 스트리밍 서버)는 게임을 늘리고, 인코딩 파이프라인을 실행하고, 인코딩된 미디어를 사용자에게 스트리밍합니다. 작업자 인스턴스는 전 세계에 분산되어 있으며 각 작업자는 여러 사용자 세션을 동시에 처리할 수 있습니다.

  조정자: 새로운 사용자를 스트리밍에 가장 적합한 작업자와 연결하는 역할을 담당합니다. 코디네이터는 WebSocket을 통해 작업자와 상호 작용합니다.

  게임 상태 저장: 모든 게임 상태에 대한 중앙 원격 저장소. 이 저장소는 원격 저장/불러오기 등의 중요한 기능을 제공합니다.

  
  CloudRetro의 최상위 아키텍처

  사용자 정의 스크립트

  아래 그림에 표시된 1단계와 2단계에서 새 사용자가 CloudRetro를 열면 첫 번째 페이지에 사용 가능한 작업자 목록과 함께 코디네이터가 요청됩니다. 그런 다음 3단계에서 클라이언트는 HTTP 핑 요청을 사용하여 모든 후보에 대한 지연을 계산합니다. 이 지연 목록은 코디네이터에게 다시 전송되어 코디네이터가 사용자에게 서비스를 제공하기에 가장 적합한 작업자를 결정할 수 있도록 합니다. 아래 4단계에서는 게임을 생성합니다. 사용자와 할당된 작업자 간에 WebRTC 스트리밍 연결이 설정됩니다.
  
  액세스 권한을 얻은 후의 사용자 스크립트

  작업자 내부에는 무엇이 있습니까?

  게임 및 스트리밍 파이프라인은 작업자 내부에 격리되어 저장되며 인터페이스를 통해 정보를 교환합니다. 현재 이 통신은 다음을 통해 메모리에 있는 데이터를 전송하는 방식으로 수행됩니다. Golang 채널 같은 과정에서. 다음 목표는 분리입니다. 다른 프로세스에서 게임을 독립적으로 시작합니다.

  
  작업자 구성 요소의 상호 작용

  주요 구성 요소:

  • WebRTC : 사용자 입력을 받아들이고 서버에서 인코딩된 미디어를 출력하는 클라이언트 구성 요소입니다.
  • 게임 에뮬레이터: 게임 구성 요소. Libretro 라이브러리 덕분에 시스템은 동일한 프로세스 내에서 게임을 실행하고 내부적으로 미디어 및 입력 스트림을 가로챌 수 있습니다.
  • 게임 내 프레임이 캡처되어 인코더로 전송됩니다.
  • 이미지/오디오 인코더: 미디어 프레임을 가져와 백그라운드에서 인코딩하고 인코딩된 이미지/오디오를 출력하는 인코딩 파이프라인입니다.

  Реализация

  CloudRetro는 WebRTC를 백본 기술로 사용하므로 Golang 구현의 세부 사항을 살펴보기 전에 WebRTC 자체에 대해 이야기하기로 결정했습니다. 이는 스트리밍 데이터에 대해 XNUMX초 미만의 대기 시간을 달성하는 데 큰 도움이 된 놀라운 기술입니다.

  WebRTC가

  WebRTC는 간단한 API를 사용하여 기본 모바일 앱 및 브라우저에서 고품질 PXNUMXP 연결을 제공하도록 설계되었습니다.

  NAT 순회

  WebRTC는 NAT Traversal 기능으로 유명합니다. WebRTC는 PXNUMXP 통신을 위해 설계되었습니다. 그 목표는 PXNUMXP 통신을 위해 NAT 게이트웨이와 방화벽을 피하고 가장 적합한 직접 경로를 찾는 것입니다. ICE. 이 프로세스의 일부로 WebRTC API는 STUN 서버를 사용하여 공개 IP 주소를 찾아 이를 릴레이 서버(회전) 직접 연결을 설정할 수 없는 경우.

  그러나 CloudRetro는 이 기능을 완전히 활용하지 않습니다. PXNUMXP 연결은 사용자 사이가 아니라 사용자와 클라우드 서버 사이에 존재합니다. 모델의 서버 측은 일반적인 사용자 장치보다 직접 통신 제한이 적습니다. 서버가 NAT 뒤에 있지 않기 때문에 수신 포트를 미리 열거나 공용 IP 주소를 직접 사용할 수 있습니다.

  이전에는 이 프로젝트를 Cloud Gaming의 게임 배포 플랫폼으로 전환하고 싶었습니다. 아이디어는 게임 제작자가 게임과 스트리밍 리소스를 제공할 수 있도록 하는 것이었습니다. 그리고 사용자는 공급자와 직접 상호 작용합니다. 이러한 분산 방식에서 CloudRetro는 타사 스트리밍 리소스를 사용자에게 연결하기 위한 프레임워크일 뿐이므로 더 이상 호스팅되지 않을 때 확장성을 높일 수 있습니다. 여기서 WebRTC NAT Traversal의 역할은 타사 스트리밍 리소스에서 PXNUMXP 연결 초기화를 촉진하여 작성자가 네트워크에 더 쉽게 연결할 수 있도록 하는 데 매우 중요합니다.

  비디오 압축

  비디오 압축은 파이프라인에서 없어서는 안될 부분이며 원활한 흐름에 크게 기여합니다. VP8/H264 비디오 인코딩의 모든 세부 사항을 알 필요는 없지만 개념을 이해하면 스트리밍 비디오 속도 옵션을 이해하고 예상치 못한 동작을 디버깅하고 대기 시간을 조정하는 데 도움이 될 수 있습니다.

  스트리밍 서비스용 비디오 압축은 알고리즘이 총 인코딩 시간 + 네트워크 전송 시간 + 디코딩 시간을 최대한 짧게 보장해야 하기 때문에 어렵습니다. 또한 코딩 프로세스는 일관되고 연속적이어야 합니다. 일부 인코딩 장단점은 적용되지 않습니다. 예를 들어 작은 파일 크기 및 디코딩 시간보다 긴 인코딩 시간을 선호하거나 일관되지 않은 압축을 사용할 수 없습니다.

  비디오 압축의 기본 개념은 사용자가 허용할 수 있는 수준의 정확도를 유지하면서 불필요한 정보 비트를 제거하는 것입니다. 개별 정적 이미지 프레임을 인코딩하는 것 외에도 알고리즘은 이전 프레임과 다음 프레임에서 현재 프레임을 추론하므로 차이점만 전송됩니다. Pacman의 예에서 볼 수 있듯이 차등 포인트만 전송됩니다.

  
  Pacman을 예로 사용한 비디오 프레임 비교

  오디오 압축

  마찬가지로 오디오 압축 알고리즘도 사람이 인지할 수 없는 데이터를 생략합니다. Opus는 현재 가장 성능이 좋은 오디오 코덱입니다. RTP(Real Time Transport Protocol)와 같은 주문된 데이터그램 프로토콜을 통해 오디오 웨이브를 전송하도록 설계되었습니다. mp3나 aac보다 지연 시간은 낮고 품질은 더 높습니다. 지연 시간은 일반적으로 약 5~66,5ms입니다.

  Pion, Golang의 WebRTC

  피온 WebRTC를 Golang에 도입하는 오픈 소스 프로젝트입니다. 네이티브 C++ WebRTC 라이브러리의 일반적인 래핑 대신 Pion은 더 나은 성능, Go 통합 및 WebRTC 프로토콜에 대한 버전 제어를 갖춘 WebRTC의 네이티브 Golang 구현입니다.

  또한 라이브러리를 사용하면 XNUMX초 미만의 대기 시간으로 다양한 내장 기능을 갖춘 스트리밍이 가능합니다. STUN, DTLS, SCTP 등의 자체 구현이 있습니다. QUIC 및 WebAssembly를 사용한 몇 가지 실험. 이 오픈 소스 라이브러리 자체는 훌륭한 문서, 네트워크 프로토콜 구현 및 멋진 예제를 갖춘 정말 훌륭한 학습 리소스입니다.

  매우 열정적인 제작자가 이끄는 Pion 커뮤니티는 WebRTC에 관해 많은 양질의 토론이 진행되면서 매우 활발합니다. 이 기술에 관심이 있다면 참여하세요. http://pion.ly/slack – 새로운 것을 많이 배우게 될 것입니다.

  Golang에서 CloudRetro 작성

  
  Go에서 작업자 구현

  Go 채널 실행

  Go의 아름다운 채널 디자인 덕분에 이벤트 스트리밍 및 동시성 문제가 크게 단순화되었습니다. 다이어그램에서와 같이 다양한 GoRoutine에는 병렬로 실행되는 여러 구성 요소가 있습니다. 각 구성 요소는 상태를 관리하고 채널을 통해 통신합니다. Golang의 선택적 어설션은 게임(게임 틱)에서 매번 하나의 원자 이벤트가 처리되도록 강제합니다. 이는 이 설계에는 잠금이 필요하지 않음을 의미합니다. 예를 들어 사용자가 저장할 때 게임 상태의 전체 스냅샷이 필요합니다. 이 상태는 저장이 완료될 때까지 계속 로그인되어 유지되어야 합니다. 각 게임 틱 동안 백엔드는 저장 또는 입력 작업만 처리할 수 있으므로 프로세스 스레드가 안전해집니다.

  func (e *gameEmulator) gameUpdate() {
  for {
  	select {
  		case <-e.saveOperation:
  			e.saveGameState()
  		case key := <-e.input:
  			e.updateGameState(key)
  		case <-e.done:
  			e.close()
  			return
  	}
      }
  }

  팬인/팬아웃

  이 Golang 템플릿은 내 CrowdPlay 및 다중 플레이어 사용 사례에 완벽하게 들어맞습니다. 이 패턴에 따라 한 방의 모든 사용자 입력은 중앙 입구 채널에 내장됩니다. 그러면 게임 미디어가 같은 방에 있는 모든 사용자에게 배포됩니다. 이러한 방식으로 우리는 서로 다른 사용자의 여러 게임 세션 간에 게임 상태를 분할합니다.

  
  서로 다른 세션 간의 동기화

  Golang의 단점

  Golang은 완벽하지 않습니다. 채널이 느립니다. 차단에 비해 Go 채널은 단순히 동시 및 스레드 이벤트를 처리하는 더 쉬운 방법이지만 채널은 최고의 성능을 제공하지 않습니다. 채널 아래에는 복잡한 차단 논리가 있습니다. 그래서 성능을 최적화하기 위해 채널을 교체할 때 잠금 및 원자 값을 다시 적용하여 구현을 일부 조정했습니다.

  또한 Golang의 가비지 수집기가 관리되지 않아 의심스러울 정도로 긴 일시 중지가 발생하는 경우가 있습니다. 이는 실시간 스트리밍 애플리케이션을 크게 방해합니다.

  장부

  이 프로젝트는 미디어 압축을 위해 기존 오픈 소스 Golang VP8/H264 라이브러리를 사용하고 게임 에뮬레이터를 위해 Libretro를 사용합니다. 이러한 라이브러리는 모두 Go에서 다음을 사용하는 C 라이브러리의 단순한 래퍼입니다. 장부. 단점 중 일부는 다음과 같습니다. Dave Cheney의 이 게시물. 내가 겪은 문제:

  • Golang RecoveryCrash를 사용하더라도 CGO에서 충돌을 포착할 수 없습니다.
  • CGO에서 세부적인 문제를 감지할 수 없을 때 성능 병목 현상을 식별하지 못하는 경우.

  결론

  저는 클라우드 게임 서비스를 이해하고 온라인에서 친구들과 향수를 불러일으키는 복고풍 게임을 즐길 수 있는 플랫폼을 만들겠다는 목표를 달성했습니다. 이 프로젝트는 Pion 라이브러리와 Pion 커뮤니티의 지원이 없었다면 불가능했을 것입니다. 집중적인 개발에 진심으로 감사드립니다. WebRTC와 Pion이 제공하는 간단한 API는 원활한 통합을 보장했습니다. P2P(Peer-to-Peer) 통신에 대한 사전 지식이 없었음에도 불구하고 첫 번째 개념 증명이 같은 주에 발표되었습니다.

  통합이 용이함에도 불구하고 P2P 스트리밍은 실제로 컴퓨터 과학에서 매우 복잡한 영역입니다. 그녀는 P2P 세션을 생성하기 위해 IP 및 NAT와 같은 오랜 네트워크 아키텍처의 복잡성을 처리해야 합니다. 이 프로젝트를 진행하면서 네트워킹 및 성능 최적화에 대한 귀중한 지식을 많이 얻었으므로 모든 사람이 WebRTC를 사용하여 PXNUMXP 제품을 구축해 보도록 권장합니다.

  CloudRetro는 레트로 게이머로서의 관점에서 기대했던 모든 사용 사례를 충족합니다. 하지만 프로젝트에는 네트워크의 안정성과 성능을 더욱 향상시키고, 더 높은 품질의 게임 그래픽을 제공하거나, 사용자 간 게임을 공유하는 기능 등 개선할 수 있는 영역이 많이 있다고 생각합니다. 나는 이것에 열심히 노력하고 있습니다. 팔로우해주세요 프로젝트 그리고 마음에 들면 지원하세요.

출처 : habr.com