云游戏 目前最值得关注的技术之一。 6 年内，这个市场应该增长 10 倍——从 45 年的 2018 万美元增长到 450 年的 2024 亿美元。 科技巨头已经争先恐后地探索这一利基市场：谷歌和英伟达已经推出了云游戏服务的测试版，微软、EA、育碧、亚马逊和威瑞森也准备进入这一领域。
对于游戏玩家来说，这意味着很快他们将能够最终停止在硬件升级上花钱，并在较弱的计算机上运行强大的游戏。 这对生态系统中的其他参与者有利吗？ 我们告诉您为什么云游戏会增加他们的收入，以及我们如何创造一种技术，让他们能够轻松进入一个充满前景的市场。
发行商、开发商、电视制造商和电信运营商：为什么他们都需要云游戏？
游戏发行商和开发商有兴趣尽快将他们的产品提供给尽可能多的玩家。 现在，根据我们的数据，70% 的潜在买家不会进入游戏 - 他们不会等待客户端的下载和重达数十 GB 的安装文件。 与此同时，60%的用户 原则上，无法在其计算机上以可接受的质量运行功能强大的游戏（AAA 级）。 云游戏可以解决这个问题——它不仅不会减少发行商和开发商的收入，而且会帮助他们增加付费受众。
电视和机顶盒制造商现在也将目光投向云游戏。 在智能家居和语音助手时代，它们必须越来越多地争夺用户的注意力，而游戏功能是吸引这种注意力的主要方式。 借助内置的云游戏，他们的客户将能够直接在电视上运行现代游戏，并向制造商支付服务费用。
该生态系统的另一个潜在积极参与者是电信运营商。 他们增加收入的方法是提供额外的服务。 游戏只是运营商已经积极推出的这些服务之一。 Rostelecom 推出了“游戏”资费，Akado 正在出售我们的 Playkey 服务的访问权限。 这不仅仅是宽带互联网运营商的问题。 由于5G的积极普及，移动运营商也将能够将云游戏作为他们的额外收入来源。
尽管前景光明，但进入市场并不那么容易。 所有现有的服务，包括科技巨头的产品，都还没有能够完全克服“最后一英里”的问题。 这意味着，由于直接在房屋或公寓内的网络不完善，用户的网速不足以让云游戏正常运行。
查看 WiFi 信号从路由器传播到整个公寓时如何减弱
进入市场时间较长、拥有强大资源的玩家正在逐步走向解决这一问题。 但在 2019 年从头开始你的云游戏意味着花费大量金钱、时间，而且可能永远无法创建有效的解决方案。 为了帮助所有生态系统参与者在快速增长的市场中发展，我们开发了一项技术，使您能够快速且无需高成本地推出云游戏服务。
我们如何开发一项技术，让您轻松启动云游戏服务
Playkey 早在 2012 年就开始开发云游戏技术。 商业发布于 2014 年进行，到 2016 年，已有 2,5 万玩家至少使用过该服务一次。 在整个开发过程中，我们不仅看到了游戏玩家的兴趣，还看到了机顶盒制造商和电信运营商的兴趣。 我们甚至与 NetByNet 和 Er-Telecom 启动了多个试点项目。 2018 年，我们决定我们的产品可以拥有 B2B 的未来。
正如我们在试点项目中所做的那样，为每个公司开发自己的云游戏集成版本是有问题的。 每次实施都需要三个月到六个月的时间。 为什么？ 每个人都有不同的设备和操作系统：有些人需要在 Android 控制台上进行云游戏，而另一些人则需要将其作为个人帐户 Web 界面中的 iFrame 来流式传输到计算机。 此外，每个人都有不同的设计、计费（一个单独的精彩世界！）和其他功能。 很明显，有必要将开发团队增加十倍，或者创建最通用的盒装 B2B 解决方案。
2019 年 XNUMX 月，我们推出 。 公司可以在其服务器上安装该软件并获得可用的云游戏服务。 对于用户来说这会是什么样子？ 他将在他常用的网站上看到一个按钮，允许他在云中启动游戏。 单击后，游戏将在公司的服务器上启动，用户将看到流并能够远程玩。 这是流行的数字游戏发行服务上的样子。
积极争质量。 而且还很被动。
现在我们将告诉您Remote Click如何应对众多技术障碍。 第一波云游戏（例如OnLive）因用户互联网质量差而被毁掉。 早在 2010 年，美国的平均互联网连接速度 仅 4,7 Mbit/s。 到2017年，它已经增长到18,7 Mbit/s，很快5G将无处不在，一个新的时代将开始。 然而，尽管整体基础设施已经为云游戏做好了准备，但前面提到的“最后一英里”问题仍然存在。
一方面，我们称之为客观：用户确实存在网络问题。 例如，操作员没有突出显示规定的最大速度。 或者您使用 2,4 GHz WiFi，微波炉和无线鼠标的噪音很大。
另一面，我们称之为主观：用户甚至不怀疑他的网络有问题（不知道他不知道）！ 最好的情况是，他确信既然运营商向他出售了 100 Mbit/s 的资费，那么他就拥有 100 Mbit/s 的互联网。 最坏的情况下，他根本不知道什么是路由器，互联网也分为蓝色和彩色。 卡斯德夫的真实案例。
蓝色和彩色互联网。
但最后一英里问题的两个部分都是可以解决的。 在 Remote Click，我们为此使用主动和被动机制。 下面是关于他们如何应对障碍的详细故事。
主动机制
1. 传输数据的有效抗噪声编码，又称冗余（FEC - 前向纠错）
当视频数据从服务器传输到客户端时，使用抗噪声编码。 在它的帮助下，当由于网络问题而部分丢失原始数据时，我们可以恢复原始数据。 是什么让我们的解决方案有效？
- 速度。 编码和解码速度非常快。 即使在“弱”计算机上，1 MB 数据的操作时间也不会超过 0,5 毫秒。 因此，通过云播放时，编码和解码几乎不会增加延迟。 其重要性怎么估计都不为过。
- 最大的数据恢复潜力。 即超额数据量与潜在可恢复数据量的比率。 在我们的例子中，比率 = 1。假设您需要传输 1 MB 的视频。 如果我们在编码过程中添加 300 KB 的额外数据（这称为冗余），那么在解码过程中，要恢复 1 MB 原始数据，我们只需要服务器发送的总共 1 MB 中的任意 1,3 MB。 换句话说，我们可以丢失 300 KB，但仍然可以恢复原始数据。 正如您所看到的，300 / 300 = 1。这是最大可能的效率。
- 在编码过程中灵活设置额外的数据量。 我们可以为需要通过网络传输的每个视频帧配置单独的冗余级别。 例如，通过注意到网络中的问题，我们可以增加或减少冗余级别。
我们通过 Playkey 在 Core i3、4 GB RAM、MSI GeForce GTX 750 上玩《Doom》。
2. 数据传输
应对损失的另一种方法是重复请求数据。 例如，如果服务器和用户位于莫斯科，则传输延迟不会超过5毫秒。 使用此值，客户端应用程序将有时间从服务器请求并接收丢失的数据部分，而用户不会注意到。 我们的系统本身决定何时使用冗余以及何时使用转发。
3. 数据传输的单独设置
为了选择最佳的方式来应对损失，我们的算法会分析用户的网络连接，并针对每种情况单独配置数据传输系统。
他看上去：
- 连接类型（以太网、WiFi、3G等）；
- 使用的 WiFi 频率范围 - 2,4 GHz 或 5 GHz；
- WiFi 信号强度。
如果我们按照损耗和延迟对连接进行排名，那么最可靠的当然是有线连接。 通过以太网，损失很少，并且最后一英里延迟的可能性极小。 然后是 WiFi 5 GHz，然后是 WiFi 2,4 GHz。 移动连接普遍很垃圾，我们在等待5G。
使用 WiFi 时，系统会自动配置用户的适配器，将其置于最适合在云中使用的模式（例如，禁用省电功能）。
4. 自定义编码
视频流的存在得益于编解码器——用于压缩和恢复视频数据的程序。 在未压缩的形式下，一秒钟的视频可以轻松超过一百兆字节，编解码器将该值降低了一个数量级。 我们使用 H264 和 H265 编解码器。
H264 是最受欢迎的。 十多年来，所有主要显卡制造商都在硬件上支持它。 H265 是一款大胆的年轻继任者。 大约五年前，他们开始在硬件中支持它。 H265 的编码和解码需要更多资源，但压缩帧的质量明显高于 H264。 并且无需增加音量！
根据特定用户的硬件，选择哪种编解码器以及设置哪些编码参数？ 我们自动解决的一项重要任务。 智能系统分析设备的能力，设置最佳编码器参数并在客户端选择解码器。
5、损失赔偿
我们不想承认，但即使我们也并不完美。 一些在网络深处丢失的数据无法恢复，我们也没有时间将其发回。 但即使在这种情况下，也有一条出路。
例如，调整比特率。 我们的算法不断监控从服务器发送到客户端的数据量。 它记录每一次短缺，甚至预测未来可能的损失。 其任务是及时注意到并理想地预测损失何时达到临界值并开始在屏幕上产生用户注意到的干扰。 并在此时调整发送的数据量（比特率）。
我们还使用了未收集帧的失效以及视频流中参考帧的机制。 这两种工具都减少了明显伪影的数量。 也就是说，即使数据传输严重中断，屏幕上的图像仍然可以接受，并且游戏仍然可以玩。
6.分布式发送
发送随时间分布的数据也可以提高流媒体的质量。 具体如何分配取决于网络中的具体指标，例如是否存在丢包、ping 等因素。 我们的算法会分析它们并选择最佳选项。 有时几毫秒内的分发可以显着减少损失。
7. 减少延迟
通过云进行游戏时的关键特征之一是延迟。 越小，玩起来越舒服。 延迟可以分为两部分：
- 网络或数据传输延迟；
- 系统延迟（客户端控制的移除、服务器上的图像捕获、图像编码、上述用于调整数据发送的机制、客户端上的数据收集、图像解码和渲染）。
网络依赖于基础设施，处理它是有问题的。 如果电线被老鼠咬坏了，用手鼓跳舞也无济于事。 但系统延迟可以显着降低，玩家的云游戏质量将发生巨大变化。 除了已经提到的抗噪声编码和个性化设置之外，我们还使用了两种机制。
- 快速接收客户端控制设备（键盘、鼠标）的数据。 即使在性能较弱的计算机上，1-2 毫秒也足够了。
- 在客户端绘制系统光标。 鼠标指针不是在远程服务器上处理，而是在用户计算机上的 Playkey 客户端中处理，即没有丝毫延迟。 是的，这并不影响游戏的实际控制，但这里主要的是人类的感知。
使用 Apex Legends 示例在 Playkey 中立即绘制光标
使用我们的技术，在网络延迟为0毫秒的情况下，处理60FPS的视频流时，整个系统的延迟不超过35毫秒。
被动机制
根据我们的经验，许多用户不太了解他们的设备如何连接到互联网。 在采访玩家时发现，有些玩家并不知道什么是路由器。 没关系！ 您不必了解内燃机即可驾驶汽车。 您不应该要求用户了解系统管理员才能玩。
然而，传达一些技术点仍然很重要，以便玩家能够独立地消除自己这边的障碍。 我们帮助他。
1. 5GHz WiFi支持指示
我们在上面写道，我们看到了 Wi-Fi 标准 - 5 GHz 或 2,4 GHz。 我们还知道用户设备的网络适配器是否支持在 5 GHz 下运行的能力。 如果是，那么我们建议使用这个范围。 我们还不能自己更改频率，因为我们看不到路由器的特性。
2. WiFi信号强度指示
对于某些用户来说，即使互联网运行良好并且速度似乎在可接受的范围内，WiFi 信号也可能很弱。 云游戏将准确地揭示这个问题，它使网络受到真正的考验。
信号强度会受到墙壁等障碍物和其他设备干扰的影响。 这些相同的微波炉会发出很多辐射。 因此，在互联网上工作时会出现难以察觉的损失，但在通过云进行游戏时却会造成严重损失。 在这种情况下，我们会警告用户有关干扰的信息，建议用户靠近路由器并关闭“吵闹”的设备。
3、流量消费者指示
即使网络良好，其他应用程序也可能消耗过多流量。 例如，如果与云中的游戏并行，YouTube 上正在运行视频或正在下载种子。 我们的应用程序可以识别小偷并警告玩家。
过去的恐惧——揭穿云游戏的神话
云游戏作为一种全新的游戏内容消费方式，近十年来一直在尝试打入市场。 与任何创新一样，他们的历史就是一系列小胜利和大失败。 多年来，云游戏已经充斥着神话和偏见，这并不奇怪。 在技术发展之初，它们是有道理的，但今天它们完全没有根据。
误区 1：云中的图片比原始图片更糟糕 - 就像您在 YouTube 上玩游戏一样
如今，在技术先进的云解决方案中，原始图像和云图像几乎相同——肉眼无法发现差异。 根据玩家的设备单独调整编码器以及一套应对损失的机制可以解决这个问题。 在高质量网络上，不会出现帧模糊或图形伪影。 我们甚至考虑到许可。 如果播放器使用 1080p，则以 720p 进行流式传输是没有意义的。
以下是来自我们频道的两段《Apex Legends》视频。 一种情况是在 PC 上玩游戏时录制游戏玩法，另一种情况是通过 Playkey 进行录制。
PC 版《Apex 英雄》
Playkey 上的《Apex 英雄》
误区二、质量不稳定
网络状态确实不稳定，不过这个问题已经解决了。 我们根据用户网络的质量动态更改编码器设置。 我们使用特殊的图像捕捉技术始终保持可接受的 FPS 水平。
怎么运行的？ 游戏拥有3D引擎，构建了3D世界。 但向用户显示的是平面图像。 为了让他看到它，为每一帧创建了一张记忆图片——一种从某个点看到这个 3D 世界的照片。 该图像以编码形式存储在视频内存缓冲区中。 我们从视频内存中抓取它并将其传递给编码器，编码器已经对其进行了解密。 依此类推，每一帧都一帧接着一帧。
我们的技术允许您在一个流中捕获和解码图像，从而提高 FPS。 如果这些过程并行执行（云游戏市场上相当流行的解决方案），那么编码器将不断访问捕获，延迟拾取新帧，并相应地延迟传输它们。
屏幕顶部的视频是使用单流捕获和解码技术捕获的。
误区三：由于控制滞后，我将成为多人游戏中的“毒瘤”
控制延迟通常为几毫秒。 而且它通常对最终用户来说是不可见的。 但有时鼠标的移动和光标的移动之间会出现微小的差异。 虽然不会造成什么影响，但是会给人留下不好的印象。 上述直接在用户设备上绘制光标消除了这个缺点。 否则，30-35毫秒的整体系统延迟非常低，以至于比赛中的玩家和对手都不会注意到任何事情。 战斗的胜负仅由技能决定。 证明如下。
通过 Playkey 进行流光弯曲
接下来是什么
云游戏已经成为现实。 Playkey、PlayStation Now、Shadow 等服务都有自己的受众并在市场上占有一席之地。 与许多年轻市场一样，云游戏将在未来几年快速增长。
我们认为最有可能出现的情况之一是游戏发行商和电信运营商推出自己的服务。 有些人会开发自己的解决方案，另一些人会使用现成的打包解决方案，例如 RemoteClick.net。 市场上的玩家越多，消费游戏内容的云方式就会越快成为主流。
来源： habr.com