声网 上百场元宇宙虚拟活动背后强有力的技术支撑

随着元宇宙的持续升温，越来越多的会议、展览、演唱会等线下活动搬到了线上，虚拟活动已逐渐渗透各行各业，并持续改变着用户的社交习惯和心智。中信建投证券在研究报告中指出，虚拟活动有较大商业化空间，伴随后疫情时代及元宇宙概念发酵，大量企业商家有线上活动的需求，虚拟活动或将成为 2022 年元宇宙高速发展赛道。声网与众多客户及合作伙伴也积极探索虚拟活动的新玩法，携手构建了诸如虚拟会议、云发布、云会展、云蹦迪、虚拟演唱会、元宇宙K歌等许多新颖的互动形式，完成了超百场沉浸式线上虚拟活动。Vland云现场、tatame、VS·work、gotin、Uality、COMICOMI、云活动等知名线上虚拟活动平台都在使用声网的服务。今年 1 月，声网还与XRSPACE 携手打造了全球头款音乐元宇宙PartyOn，通过搭载声网MetaKTV 元K歌解决方案，用户可以在炫酷的元宇宙场景中挥舞荧光棒实时嗨唱。虚拟活动缘何在近两年迎来爆发？除去后疫情时代及元宇宙概念带来的影响，头先，虚拟活动以3D可视化、游戏化的形式复现线下场景，让用户们在线上共聚一堂。用户可以四处走动并随时随地与周围人发起音视频交流，同时，利用空间音频技术，极大增强用户沉浸感，还原了真实线下交流体验。其次，这种交流方式有效缓解传统音视频会议应用带来的“乏味和疲劳”体验，让沟通交流更有效。用户以虚拟形象出现在“世界”中，一方面可以减少用户对自己实时画面的注意以及用户之间高强度视觉接触的压力；另一方面用户可以通过表情 icon，文字状态设置、角色动作反馈等完成自己的态度表达，让用户之间的信息传递更加直观和有效。收官，在虚拟活动中，空间场所的自定义构建，能够“无限”拓展场景，一个空间即可满足多种场景需求。某知名虚拟活动平台就能够提供多元化的基础场景空间，如学校、办公室。在每一个大的空间中用户又可以通过各种功能组件（文档共享、白板协作、一起看电影、小游戏）来实现多种小场景的构建，即在一个空间中满足工作、活动、社交等多种需求。这种空间聚合场景、实现多元玩法的形式，对传统场景上也有很强的借鉴意义，例如“视频相亲”、“在线教学”等也可以基于这种场景设计方式来实现。行业头个支持单频道上行 128 人，满足创新场景互动需求虚拟活动诸如大型会议、会展、演唱会等场景，平台内的参与实时交流人数很容易就突破百人，为支持这类创新场景实时互动高并发用户数的需求，声网提供 128 人比较优秀互动频道，单个频道可支持多达 128 位用户同时发送音视频流，观众人数无限制，让房间内任何用户都可以随时开麦进行发言交流。图源：Vland云现场虚拟活动提供商 Vland云现场就已上线 128 人比较优秀互动频道功能。在 Vland云现场提供的虚拟会议场景中，用户上线后，可以创建自己的虚拟形象或使用 AI facemoji，在虚拟客厅里走来走去、随时与其他参会人互动，完成线上场景中的实时交流。声网3D空间音频模拟现实听觉，打造沉浸式语音体验在虚拟空间中，如何通过听觉增加沉浸感是很多平台方迫切解决的关键问题。声网 3D 空间音频通过纯软件算法方案，模拟头部球面区域立体声场，使用户在音频听感上具有空间感。当用户操作虚拟人物在虚拟空间里移动时，可以实现根据虚拟人物的面部朝向、音源朝向、远近距离与上下高度，呈现不同的空间效果，美好模拟现实听觉感受。火遍拉美和北美地区的元宇宙社交平台 Oasis 就正在通过声网的 3D 空间音频技术，为元宇宙“原住民们”搭建起沟通的桥梁。声网AI降噪，解决100+实时互动中的突发噪声既然是虚拟活动，用户就有可能在任何地方随时加入平台，那么平台方就不得不解决用户在实时音视频通话中面临的背景噪声等问题。声网 AI 降噪迄今已完成多次升级，可高精度抑制家庭噪声、街道噪声、机器噪声、办公室噪声等在内的100+噪声类型，技术成熟度高。此外，声网自研的 AI 推理引擎还可以使得 AI 降噪算法在Android、iOS、Mac、Windows、Web 等主流平台以低精度损伤、高性能、低功耗方式运行，使用户的设备不卡不烫。目前声网 Web SDK AI 降噪插件和 Native SDK AI 降噪动态库已跟多个客户进行了集成，得到了客户的高度认可。背景分割能力行业领先在虚拟会议、线上培训等场景中，经常遇到参会人员使用虚拟背景加入会议的情况，这就对平台方的背景分割、抠图能力有较高要求，需要较完整地呈现出镜头前参会人的人像。声网采用自研的基于视频连续帧推理的抠图算法，在端上可以实现音视频场景下的抠图，并采用自研高性能计算框架，在 Native 和 Web 端都能实现流畅运行。此外，声网背景分割支持多人、站姿、手势等多种模式，不论在简单或复杂的场景下都具备人像完整度高、边缘平滑融合度好、背景残留低、人像边缘稳定性强的特点，实际效果业内领先。为用户接入方便及考虑到轻量化的使用体验，虚拟活动平台对于 Web 端的支持已成为必要的选择和趋势，因而保证 Web 端用户的体验也同样重要。目前，声网在Web 端也能够支持3D空间音频、AI 降噪、背景分割等能力，为用户沉浸式的体验保驾护航。除了助力企业与开发者搭建玩法多样的各种虚拟活动场景，声网还于 5 月发布了囊括K 歌、语聊、直播、互动游戏在内的元宇宙社交场景化解决方案——“元娱乐解决方案”，帮助开发者与企业一站式接入相关场景功能，解锁广阔业务增长空间。