GVoice AI Codec语音技术落地《和平精英》实现手游端“超音速”游戏语音体验

有没有想过这样的场景，特种兵？就在我们大停电进行到一半的时候，我们指挥着队友有条不紊的向“敌”后方推进。突然，话音一落，他陷入了一个孤立无援，联系不上队友的境地。

下载地址：和平精英安卓版下载

随着手游产品的爆炸式增长，游戏内语音交流成为各国玩家的社交需求，也成为定义“高质量游戏”的重要因素之一。近年来，游戏内语音通信成为众多游戏厂商关注的焦点。

近日，腾讯游戏发布了最新的游戏语音技术解决方案。腾讯游戏光子S Studio 《和平精英》团队携手腾讯AI Lab、腾讯游戏CROS GVoice(腾讯游戏语音)团队，基于深度学习在语音编解码方面的不断突破，将AI编解码器应用于《和平精英》游戏，在业界率先实现了AI编解码器更低码率、更高质量的语音编码，从而成为第一。

弱网环境下的语音交流成“开黑”痛点

此前艾媒咨询对手机游戏社交相关数据的统计显示，近四成玩家选择一款游戏是因为社交因素；15.6%的玩家因为一款游戏的社交性差而选择离开。因此，提升游戏的社交属性成为各大游戏厂商的重要任务。

游戏语音作为减少玩家“孤军奋战”感觉的有效手段，从诞生之日起就深受玩家喜爱，而在手游时代，玩家对手机上游戏语音传输的质量、延迟时间、使用环境提出了越来越高的要求。

其实实时语音通信技术在业界已经不是什么新话题了，但是游戏内实时语音通信不仅仅是简单的实现实时通话。一个“好”的声音，最重要的是听觉质量符合人类听觉的要求。在这个前提下，传输速率越低，用户消耗的流量越少；计算能力越小，CPU的能耗就越少。

发展至今，游戏语音传输技术在两个方面寻找突破。

首先，在网络弱的恶劣环境下，如何保证语音通信顺畅是游戏语音技术面临的重要课题。在听觉质量相同的情况下，语音信息的比特率越低，其传输的连续性就越有保证。换句话说，较低的比特率更适合弱网络环境。

其次，计算能力的损失也是游戏语音要考虑的因素。由于重度游戏对CPU计算能力的要求很高，如何让语音功能尽可能减少对CPU的占用，同时保证用户的通信体验，又不会对游戏运行和计算资源造成太大的挤压，成为了重点。

人工智能为游戏语音加上“BUFF”

当语音转黑，社交游戏成为刚需，很多国内外科技公司都开始涉足这一领域。

在保证语音质量的前提下，传统的音频解码技术编解码器致力于使用更少的网络带宽资源和更低的传输速率来传递更高保真的语音信息。随着深度学习技术的发展，基于神经网络的语音编码器逐渐取代了传统的基于信号处理的方法，成为业界的前沿解决方案。在此基础上，基于人工智能技术进化的AI编解码器越来越受到业界的关注。

为了给游戏内语音交互添加人工智能的“BUFF”，游戏界也做了很多尝试。例如，业界常用的Opus语音编码格式在低比特率语音信息传输中并不令人满意。2019年，行业内出现了一些超低码率的AI编解码器，可以在极低的码率下压缩语音，但还原出来的语音质量并不理想。

谷歌也将目光投向了这一领域。2021年初，谷歌发布了基于自回归网络的AI编解码器Lyra。Lyra在低比特率传输的同时可以保证声音效果，但无法提供高质量的实时通信，算法有延迟。半年后，谷歌再次发布了新的AI编解码器模型SoundStream。与Lyra相比，SoundStream提高了语音传输的质量，但由于其复杂度高，无法在大多数手机上流畅运行。

首个游戏移动端AI Codec语音技术落地 《和平精英》

同时，国内厂商也在积极探索更好的游戏内语音交互解决方案。

《和平精英》作为一款国产头部战术竞技手游，一直致力于提升游戏品质，优化玩家游戏体验。其中，游戏语音因为应用场景众多，使用率极高，语音质量对游戏的核心体验有着至关重要的影响，一直是《和平精英》团队最为关注的功能。

2021年底，《和平精英》团队携手腾讯AI Lab、CROS游戏语音GVoice团队，正式成立GVoice AI编解码器R & ampd项目。新项目基于腾讯音频语音处理Oteam在语音编解码方向的技术积累，重点实现高质量、低码率、低功耗的游戏内实时语音环境。通过针对游戏场景的深度优化，GVoice AI Codec在游戏场景中的语音处理算法拥有比传统即时通讯软件更好的音质表现，并且在弱网络环境下，低码率下音质表现不受损害，从而保证了其在移动终端上的应用。

腾讯游戏语音GVoice是腾讯游戏CROS为游戏打造的语音解决方案。资料显示，目前，GVoice服务已覆盖全球200多个国家和地区，日活跃用户超3亿。相关解决方案已应用于《和平精英》 《英雄联盟手游》 《天涯明月刀手游》等上千款游戏。GVoice AI编解码技术也将逐步推广到其他游戏中，提高语音交流的流畅性，改善弱网络环境下的用户体验。

据了解，GVoice AI编解码器通过自研编解码模型算法压缩了传输带宽，将原有的Opus替换为5-12kbps AI编解码器。用户主观听觉体验无明显差异。这意味着GVoice AI编解码器在保证音质的同时，传输速率更低，流量更少。

在计算功耗方面，GVoiceAICodec需要通过模型压缩、量化、并行计算、移动指令集适配等工程措施不断降低计算和资源开销，以满足移动落地的要求。资料显示，GVoice AI编解码器在手机OnePlus 3双工通话下测试，与Opus格式相比，CPU占用资源增加约2.3%；在iPhone 6s下测试，采用GVoice AI编解码后，CPU利用率提升了1.3%左右。这说明GVoice AI编解码器是用极低的CPU利用率，在手机上用较低的流量换取高质量的实时通话。

(左图为原始语音，右图为GVoice AI编解码器编解码后的语音。从波形上看，右图的语音保真度较高，主观感知接近原声语音。)

《和平精英》应用GVoiceAICodec技术后，整体语音服务质量得到进一步提升。首先，通过优化语音流量，GVoiceAICodec可以大幅提升玩家在交通、户外活动等弱网络环境下的语音流畅度，避免激战中出现麦塞、麦断的情况。其次，由于GVoice AI编解码器采用的是AI模型算法，相对于传统的语音算法，会在语音传输上有所提升。在《和平精英》中，玩家之间的语音交流效果会更加清晰，无论是战术配合还是多人聊天都会有更好的社交体验。项目组在不同的嘈杂环境和各种游戏场景下进行了多轮语音测试，结果显示都得到了玩家较好的反馈。

从游戏开发的角度来看，GVoiceAICodec在《和平精英》上的成功落地，为更多游戏语音技术研发成果的落地奠定了基础，使相关技术扩展到更多游戏成为可能。

没有社交，没有游戏。可以预见的是，随着云游戏、VR/AR等更多游戏品类的萌发，GVoice AI编解码技术也将在更多品类的游戏体验中发挥越来越重要的作用，成为新的行业标准。