Cloud gaming: stress test 5 layanan cloud gaming dengan internet buruk

Cloud gaming: stress test 5 layanan cloud gaming dengan internet buruk

Sekitar setahun yang lalu saya menerbitkan sebuah artikel “Cloud gaming: penilaian langsung terhadap kemampuan layanan untuk bermain di PC yang lemah”. Ini menganalisis pro dan kontra dari berbagai layanan untuk cloud gaming pada PC yang lemah. Saya menguji setiap layanan selama pertandingan dan membagikan kesan saya secara keseluruhan.

Dalam komentar di artikel ini dan artikel serupa lainnya, pembaca kerap membagikan kesan mereka terhadap berbagai layanan game. Seringkali ada pendapat yang berlawanan tentang hal yang sama. Bagi sebagian orang, semuanya sempurna, tetapi bagi sebagian lainnya, mereka tidak dapat bermain karena kelambatan dan macet. Kemudian saya mendapat ide untuk mengevaluasi kualitas layanan ini dalam kondisi yang berbeda - dari ideal hingga buruk. Kita berbicara tentang kualitas jaringan, karena pengguna tidak selalu bisa membanggakan saluran komunikasi yang cepat dan bebas masalah, bukan? Secara umum, yang dimaksud dengan pemotongan adalah penilaian layanan dengan simulasi kualitas operasi jaringan yang berbeda.

Apa masalahnya?

Seperti disebutkan di atas - sebagai koneksi. Lebih tepatnya, hilangnya paket selama permainan. Semakin tinggi kerugiannya, semakin banyak masalah yang dihadapi gamer, dan semakin kurang puasnya dia terhadap permainan tersebut. Namun jarang ada orang yang memiliki saluran komunikasi ideal seperti serat optik ke perangkat, dan dengan Internet khusus, dan tidak dibagikan kepada semua penghuni gedung apartemen.

Sebagai referensi, dengan kecepatan koneksi 25 Mbit/s, diperlukan 1-40 paket data untuk mengirimkan 50 frame/frame. Semakin banyak paket yang hilang, semakin rendah kualitas gambarnya, dan semakin terlihat kelambatan dan macet. Dalam kasus yang sangat parah, bermain menjadi mustahil.

Tentu saja, layanan cloud itu sendiri tidak dapat mempengaruhi lebar dan stabilitas saluran pengguna dengan cara apa pun (walaupun itu bagus, tentu saja). Namun ada kemungkinan untuk memikirkan cara-cara berbeda untuk mengatasi masalah komunikasi. Kita akan melihat di bawah layanan mana yang paling mampu mengatasi masalah ini.

Apa sebenarnya yang kita bandingkan?

PC Biasa (Intel i3-8100, GTX 1060 6 GB, RAM 8 GB), GeForce Now (versi Rusia-nya GFN dengan server di Moskow), bermain keras, Pusaran, kunci mainan, Stadia. Di semua layanan kecuali Stadia, kami mempelajari kualitas permainan di The Witcher. Google Stadia belum memiliki game ini pada saat penulisan, jadi saya harus menguji game lain - Odyssey.

Bagaimana kondisi dan metodologi pengujiannya?

Kami menguji dari Moskow. Penyedia - MGTS, tarif 500 Mbit/s, koneksi kabel, bukan WiFi. Kami mengatur pengaturan kualitas grafis dalam layanan ke default, resolusi – FullHD.

Menggunakan program Ceroboh Kami mensimulasikan masalah jaringan, yaitu hilangnya paket dengan berbagai jenis dan ukuran.

Kerugian tunggal yang seragam. Ini terjadi ketika hanya 1 paket yang hilang dan kerugiannya didistribusikan kurang lebih merata. Jadi, kerugian seragam sebesar 10% berarti dari 100 paket, setiap paket ke 10 hilang, tetapi selalu hanya 1 paket. Masalah biasanya muncul ketika terjadi distorsi (pelindung) pada saluran dari klien ke server.

Kami menguji kerugian seragam sebesar 5%, 10%, 25%.

Kerugian massal yang tidak merata, ketika suatu saat 40-70 paket berturut-turut langsung hilang. Kerugian seperti itu paling sering terjadi ketika ada masalah dengan peralatan jaringan (router, dll) dari pengguna atau penyedia. Mungkin terkait dengan buffer overflow peralatan jaringan pada jalur komunikasi pengguna-server. WiFi dengan tembok tebal juga bisa menyebabkan kerugian seperti itu. Kemacetan jaringan nirkabel karena kehadiran sejumlah besar perangkat adalah alasan lain, yang sangat umum terjadi pada perkantoran dan gedung apartemen.

Kami menguji kerugian yang tidak merata sebesar 0,01%, 0,1%, 0,5%.

Di bawah ini saya menganalisis semua kasus ini dan melampirkan video perbandingan untuk kejelasan. Dan di akhir artikel saya memberikan tautan ke video gameplay mentah yang belum diedit dari semua layanan dan kasing - di sana Anda dapat melihat artefak lebih detail, serta informasi teknis (di semua layanan kecuali Stadia, data dari teknis konsol direkam; Stadia tidak menemukannya).

Mari kita pergi!

Di bawah ini adalah 7 skenario stress test dan video dengan stempel waktu (videonya sama, untuk kenyamanan, di setiap titik penayangan dimulai dari saat yang tepat). Di akhir postingan terdapat video asli untuk masing-masing layanan. Seorang teman baik membantu saya membuat video, dan saya berterima kasih padanya!

Skenario 1. Kondisi ideal. Nol kerugian dalam jaringan

Segalanya sebagaimana mestinya di dunia yang ideal. Tidak ada masalah koneksi, tidak ada satupun putus, tidak ada gangguan, titik akses Anda adalah mercusuar Internet. Dalam kondisi rumah kaca seperti itu, hampir semua peserta tes berprestasi baik.


PC

Untuk setiap skenario, kami mengambil cuplikan dari game PC sebagai referensi. Jelas bahwa kualitas jaringan tidak mempengaruhinya sama sekali; permainan berjalan di PC secara lokal. Kehadiran frame-frame tersebut menjawab pertanyaan “apakah ada perbedaan saat bermain di cloud dibandingkan bermain di PC”. Dalam kondisi ideal, dalam kasus kami, hal ini tidak dirasakan oleh sebagian besar layanan. Kami tidak akan menulis apa pun tentang PC di bawah ini, ingatlah bahwa PC itu ada.

GeForce Sekarang

Semuanya baik-baik saja, gambarnya jelas, prosesnya lancar, tanpa macet.

Pusaran

Vortex merusak dunia ideal kita. Dia segera mulai mengalami masalah - gambarnya lebih buruk daripada yang lain, ditambah “rem” terlihat jelas. Masalah yang mungkin terjadi adalah server game berlokasi jauh dari Moskow, ditambah lagi perangkat keras di server game tampaknya lebih lemah dan tidak menangani FullHD dengan baik. Vortex berkinerja buruk di semua pengujian. Jika ada yang memiliki pengalaman positif bermain Vortex, tulis di komentar, bagikan dari mana Anda bermain dan seberapa baik hasilnya.

kunci mainan

Semuanya baik-baik saja, sama seperti di PC lokal. Masalah yang terlihat seperti macet, lambat, dll. TIDAK.

bermain keras

Layanan menunjukkan gambaran yang sangat bagus, tidak ada masalah yang terlihat.

Stadia

Layanan game dari Google berfungsi dengan sempurna meskipun tidak memiliki server di Federasi Rusia, dan secara umum, Stadia tidak resmi berfungsi di Rusia. Namun, semuanya baik-baik saja. Sangat disayangkan, tentu saja, "The Witcher" tidak tersedia di Stadia pada saat pertandingan, tapi apa yang bisa Anda lakukan, mereka mengambil "Odyssey" - juga menuntut, juga tentang seorang pria yang mencincang manusia dan hewan.

Skenario No.2. Kerugian seragam 5%

Dalam pengujian ini, dari 100 paket, kira-kira setiap tanggal 20 paket hilang. Izinkan saya mengingatkan Anda bahwa untuk merender satu frame Anda memerlukan 40-50 paket.


GeForce Sekarang

Pelayanan dari Nvidia baik-baik saja, tidak ada masalah. Gambarnya sedikit lebih buram dibandingkan Playkey, tapi The Witcher masih bisa dimainkan.

Pusaran

Di sinilah keadaan menjadi lebih buruk. Mengapa tidak sepenuhnya jelas; kemungkinan besar, redundansi tidak disediakan atau minimal. Redundansi adalah pengkodean data yang diteruskan tahan kebisingan (FEC - Forward Error Correction). Teknologi ini memulihkan data ketika sebagian hilang karena masalah jaringan. Ini dapat diimplementasikan dan dikonfigurasi dengan cara yang berbeda, dan dilihat dari hasilnya, pembuat Vortex tidak berhasil dalam hal ini. Anda tidak akan bisa bermain meski dengan kerugian yang sangat kecil. Selama pengujian berikutnya, Vortex “mati”.

kunci mainan

Semuanya baik-baik saja, tidak ada perbedaan signifikan dengan kondisi ideal. Mungkin akan membantu jika server perusahaan berlokasi di Moskow, tempat pengujian dilakukan. Mungkin redundansi yang disebutkan di atas lebih baik dikonfigurasi.

bermain keras

Layanan tiba-tiba menjadi tidak dapat diputar, meskipun kehilangan paket relatif rendah. Apa yang salah? Saya berasumsi bahwa Loudplay berfungsi dengan protokol TCP. Dalam hal ini, selama tidak ada konfirmasi penerimaan paket, tidak ada paket lain yang terkirim, sistem menunggu konfirmasi pengiriman. Oleh karena itu, jika suatu paket hilang, tidak ada konfirmasi pengirimannya, paket baru tidak dikirim, gambar menjadi kosong, akhir cerita.

Namun jika menggunakan UDP, maka konfirmasi penerimaan paket tidak diperlukan. Sejauh yang dapat dinilai, semua layanan lain kecuali Loudplay menggunakan protokol UDP. Jika tidak demikian, harap perbaiki saya di komentar.

Stadia

Semuanya bisa dimainkan. Terkadang gambar menjadi berpiksel dan hanya ada sedikit penundaan respons. Mungkin pengkodean kebal kebisingan tidak berfungsi dengan sempurna, sehingga terjadi artefak kecil saat seluruh aliran dapat diputar.

Skenario No.3. Kerugian seragam 10%

Kami kehilangan setiap paket ke 10 per seratus. Hal ini sudah menjadi tantangan bagi sektor jasa. Untuk mengatasi kerugian tersebut secara efektif, diperlukan teknologi untuk memulihkan dan/atau mengirim ulang data yang hilang.


GeForce Sekarang

GeForce mengalami sedikit penurunan kualitas streaming video. Sejauh yang kami tahu, GFN merespons masalah jaringan dengan mencoba memitigasinya. Layanan ini mengurangi bitrate, yaitu jumlah bit untuk transmisi data. Dengan cara ini, dia mencoba mengurangi beban pada apa yang dia yakini sebagai jaringan berkualitas tinggi dan menjaga koneksi tetap stabil. Dan sebenarnya tidak ada pertanyaan tentang stabilitas, tetapi kualitas videonya sangat menurun. Kami melihat pikselasi gambar yang signifikan. Nah, karena pemodelan mengasumsikan hilangnya 10% paket secara konstan, mengurangi bitrate tidak terlalu membantu, situasinya tidak kembali normal.

Dalam kehidupan nyata, gambarannya kemungkinan besar tidak selalu buruk, tetapi mengambang. Kerugian meningkat - gambar menjadi kabur; kerugian berkurang - gambar kembali normal, dan seterusnya. Hal ini tentu saja tidak baik untuk pengalaman bermain game.

kunci mainan

Tidak ada masalah khusus. Kemungkinan besar, algoritme tersebut mendeteksi masalah pada jaringan, menentukan tingkat kerugian, dan lebih berfokus pada redundansi daripada mengurangi bitrate. Ternyata dengan kehilangan seragam 10%, kualitas gambar tetap tidak berubah, pengguna tidak mungkin menyadari kehilangan tersebut.

bermain keras

Itu tidak berhasil, itu tidak dimulai. Selama pengujian lebih lanjut, situasinya terulang kembali. Sejauh dapat dinilai, layanan ini tidak beradaptasi dengan masalah jaringan dengan cara apapun. Mungkin protokol TCP yang harus disalahkan. Kerugian sekecil apa pun akan melumpuhkan layanan sepenuhnya. Tentu saja tidak terlalu praktis untuk kehidupan nyata.

Pusaran

Juga masalah besar. Anda tidak bisa bermain dalam kondisi seperti itu, meskipun gambarnya masih ada dan karakternya terus berlari, meski tersentak. Saya pikir ini semua tentang penerapan yang buruk atau redundansi yang hilang. Paket sering kali hilang dan tidak dapat dipulihkan. Akibatnya, kualitas gambar menurun ke tingkat yang tidak dapat diputar.

Stadia

Sayangnya, semuanya buruk di sini. Ada jeda dalam alurnya, itulah sebabnya peristiwa di layar terjadi secara tiba-tiba, sehingga sangat sulit untuk dimainkan. Dapat diasumsikan bahwa masalah muncul, seperti dalam kasus Vortex, karena redundansi yang minimal atau tidak ada sama sekali. Saya berkonsultasi dengan beberapa teman yang “mengetahui”, mereka mengatakan bahwa Stadia kemungkinan besar menunggu frame tersebut dirakit sepenuhnya. Tidak seperti GFN, ia tidak mencoba menyelamatkan situasi dengan menurunkan bitrate sepenuhnya. Akibatnya, tidak ada artefak, tetapi muncul freeze dan lag (GFN, sebaliknya, memiliki lebih sedikit friezes/lag, namun karena bitrate yang rendah, gambarnya sama sekali tidak menarik).

Layanan lain juga sepertinya tidak menunggu hingga frame selesai dirakit, mengganti bagian yang hilang dengan pecahan frame lama. Ini adalah solusi yang baik, dalam banyak kasus pengguna tidak akan menyadari adanya tangkapan (30+ frame berubah per detik), meskipun terkadang artefak dapat terjadi.

Skenario No.4. Kerugian seragam 25%

Setiap paket keempat hilang. Ini menjadi semakin menakutkan dan menarik. Secara umum, dengan koneksi yang "bocor", permainan normal di cloud hampir tidak mungkin dilakukan. Meskipun beberapa peserta pembanding mengatasinya, meski tidak sempurna.


GFN

Permasalahannya sudah cukup terlihat. Gambarnya berpiksel dan buram. Anda masih bisa bermain, tapi bukan itu yang ditawarkan GFN di awal. Dan itu jelas bukan permainan yang indah yang seharusnya dimainkan. Kecantikan sudah tidak bisa dihargai lagi.

kunci mainan

Gameplaynya berjalan dengan baik. Ada kehalusan, meski gambarnya sedikit rusak. Omong-omong, di kiri atas adalah angka yang menunjukkan berapa banyak paket hilang yang dapat dipulihkan. Seperti yang Anda lihat, 96% paket telah dipulihkan.

bermain keras

Tidak memulai.

Pusaran

Anda tidak dapat bermain bahkan dengan keinginan yang sangat kuat, macet (membekukan gambar, melanjutkan aliran video dari fragmen baru) bahkan lebih terlihat.

Stadia

Layanan ini praktis tidak dapat dimainkan. Alasannya telah disebutkan di atas. Menunggu frame dirakit, redundansinya minimal, dengan kerugian seperti itu saja tidak cukup.

Skenario #5. Kerugian tidak merata 0,01%.

Untuk setiap 10 paket, 000-1 paket hilang berturut-turut. Artinya, kita kehilangan sekitar 40 dari 70 frame. Hal ini terjadi ketika buffer perangkat jaringan penuh dan semua paket baru dibuang begitu saja (dijatuhkan) hingga buffer dibebaskan. Semua peserta perbandingan, kecuali Loudplay, mengatasi kerugian tersebut sampai tingkat tertentu.


GFN

Gambarnya sedikit kehilangan kualitas dan menjadi agak keruh, namun semuanya cukup dapat diputar.

kunci mainan

Semuanya sangat bagus. Gambarnya halus, gambarnya bagus. Anda bisa bermain tanpa masalah.

bermain keras

Beberapa detik pertama ada gambar, hero malah lari. Namun koneksi dengan server segera terputus. Oh, protokol TCP ini. Kerugian pertama menghentikan layanan hingga ke akar-akarnya.

Pusaran

Masalah-masalah yang biasa ditemui. Macet, tertinggal dan itu saja. Akan sangat sulit bermain dalam kondisi seperti itu.

Stadia

Dapat dimainkan. Penarikan kecil terlihat, gambar terkadang berpiksel.

Skenario No.6. Kerugian tidak merata 0,1%

Untuk 10 paket, 000-10 paket berturut-turut hilang 40 kali. Ternyata kita kehilangan 70 dari 10 frame.

Saya akan segera mengatakan bahwa sebagian besar layanan memiliki masalah yang nyata. Misalnya, gambarnya berkedut, jadi redundansi tidak membantu di sini. Artinya, ada dampak positif bila menggunakan teknologi redundansi, namun kecil.

Faktanya adalah waktu reaksi terhadap tindakan pengguna dan permainan itu sendiri terbatas, streaming video harus berkelanjutan. Tidak mungkin mengembalikan aliran ke kualitas yang dapat diterima meskipun ada upaya dari layanan.

Artefak muncul (upaya untuk mengkompensasi hilangnya paket, data tidak cukup) dan gambar tersentak.


GFN

Kualitas gambar menurun drastis, bitrate jelas berkurang, dan cukup signifikan.

kunci mainan

Ini mengatasi lebih baik - mungkin karena redundansi dikonfigurasi dengan baik, ditambah algoritma bitrate menganggap kerugian tidak terlalu tinggi dan tidak mengubah gambar menjadi berantakan.

bermain keras

Tidak memulai.

Pusaran

Itu dimulai, tetapi dengan kualitas gambar yang buruk. Sentakan dan penurunan permukaan tanah sangat terlihat. Hampir tidak mungkin bermain dalam kondisi seperti itu.

Stadia

Sentakan terlihat jelas, ini merupakan indikator yang jelas bahwa tidak ada cukup redundansi. Gambar terhenti, lalu bingkai lain muncul, dan aliran video terputus. Pada prinsipnya, Anda bisa bermain jika Anda memiliki keinginan besar dan kecenderungan klinis untuk menyiksa diri.

Skenario No.7. Kerugian tidak merata 0,5%

Untuk 10 paket sebanyak 000 kali, 50-40 paket hilang berturut-turut. Kami kehilangan 70 frame dari 50 frame.

Situasi kelas yang “kacau secara seragam”. Router Anda menyala, ISP Anda mati, kabel Anda digigit tikus, tetapi Anda masih ingin bermain di cloud. Layanan mana yang harus Anda pilih?


GFN

Sudah sangat sulit, jika bukan tidak mungkin, untuk memainkannya - bitrate telah sangat berkurang. Bingkai hilang, alih-alih gambar biasa kita melihat "sabun". Bingkai tidak dipulihkan - tidak ada informasi yang cukup untuk restorasi. Jika GFN menyediakan pemulihan sama sekali. Cara layanan secara agresif mencoba menyelamatkan situasi dengan bitrate menimbulkan keraguan tentang kesediaannya untuk bekerja dengan redundansi.

kunci mainan

Ada distorsi bingkai, gambar berkedut, yaitu elemen bingkai individual diulang. Dapat dilihat bahwa sebagian besar bingkai yang “rusak” dipulihkan dari potongan-potongan bingkai sebelumnya. Artinya, frame baru berisi bagian dari frame lama. Namun gambarannya kurang lebih jelas. Bisa dikendalikan, tapi di adegan yang dinamis, misalnya pertarungan yang butuh reaksi bagus, itu sulit.

bermain keras

Tidak memulai.

Pusaran

Itu telah dimulai, tetapi lebih baik tidak memulainya - Anda tidak dapat memainkannya.

Stadia

Layanan dalam kondisi seperti itu tidak dapat dimainkan. Alasannya adalah harus menunggu frame dirakit dan redundansi yang buruk.

Siapa pemenangnya?

Penilaian tersebut tentu saja subjektif. Anda bisa berdebat di komentar. Ya, yang pertama tentu saja adalah PC lokal. Justru karena layanan cloud sangat sensitif terhadap kualitas jaringan, dan kualitas ini cukup tidak stabil di dunia nyata, maka PC gaming Anda tetap tak tertandingi. Namun jika karena alasan tertentu tidak ada, maka lihatlah ratingnya.

  1. komputer lokal. Mengharapkan.
  2. kunci mainan
  3. GeForce Sekarang
  4. Google Stadia
  5. Pusaran
  6. bermain keras

Sebagai kesimpulan, izinkan saya mengingatkan Anda sekali lagi apa yang memainkan peran utama dalam cloud gaming dalam hal ketahanan terhadap masalah jaringan:

  • Protokol jaringan apa yang digunakan. Cara terbaik adalah menggunakan UDP untuk mengirimkan aliran video. Saya menduga Loudplay menggunakan TCP, meskipun saya tidak tahu pasti. Tapi Anda melihat hasil tesnya.
  • Apakah pengkodean tahan kebisingan diterapkan? (FEC - Koreksi Kesalahan Maju, juga dikenal sebagai redundansi). Cara menyesuaikannya dengan kehilangan paket juga penting. Seperti yang telah kita lihat, kualitas gambar sangat bergantung pada implementasinya.
  • Bagaimana adaptasi bitrate dikonfigurasi. Jika layanan menyelamatkan situasi terutama dengan bitrate, ini memiliki efek yang lebih kuat pada gambar. Kunci kesuksesannya adalah keseimbangan antara manipulasi bitrate dan redundansi.
  • Bagaimana pasca-pemrosesan diatur. Jika timbul masalah, frame akan diatur ulang, dipulihkan, atau dipasang kembali dengan fragmen frame lama.
  • Kedekatan server dengan gamer dan kekuatan perangkat keras juga secara signifikan mempengaruhi kualitas permainan, namun hal ini juga berlaku untuk jaringan yang ideal. Jika ping ke server terlalu tinggi, Anda tidak akan bisa bermain dengan nyaman bahkan di jaringan yang ideal. Kami tidak bereksperimen dengan ping dalam penelitian ini.

Seperti yang dijanjikan, ini tautannya video mentah dari layanan berbeda dalam semua kasus.

Sumber: www.habr.com

Tambah komentar