快手虚拟世界互动平台及解决方案

　　快手针对虚拟世界互动的技术方案主要分为两方面，分别是平台和软件。在平台侧快手构建了快手虚拟世界互动平台（KMIP），基于 PAAS 技术基础支撑各种上层应用。在软件侧，面向不同应用场景和用户群体的虚拟世界应用产品包括快手虚拟演播助手（KVS）、快手面捕助手（KFC）等。

　　首先分享一下目前虚拟世界互动的一些基础概念、背景及现状，以及快手在已有内容社区基础上对虚拟世界进行的技术拓展与思考。

　　虚拟世界互动的定义：虚拟世界互动是指在虚拟空间中进行的沉浸式多人互动。人可以是真人和数字人（主要是数字人），互动多为社交、游戏和展览类的活动。在此概念下，市场上涌现出许多优秀的产品，比如：游戏类产品 Roblox、工具&社交产品 Zepeto 、开放剧情类产品 Rival Peak 、

　　娱乐类产品腾讯音乐 Tmeland、展会类产品网易瑶台、营销类产品百度希壤等。

　　环绕着快手短视频和直播内容生态，虚拟世界平台衍生出更多不同的展示形态。例如云蹦迪、线上演唱会以及直播互动游戏等，观众可以通过发送弹幕以及基于 H5 的各种互动形式来增强参与感和沉浸感，并能够通过互动的方式成为虚拟活动中的决策参与者。另外，基于短视频和直播的虚拟世界互动无需改变用户对快手平台一贯的使用习惯，对用户更加友好。

　　快手针对虚拟世界互动的技术方案主要分为两方面，分别是平台和软件。在平台侧快手构建了快手虚拟世界互动平台（KMIP），基于 PAAS 技术基础支撑各种上层应用。在软件侧，面向不同应用场景和用户群体的虚拟世界应用产品包括快手虚拟演播助手（KVS）、快手面捕助手（KFC）等。

　　第二部分内容会从平台的角度给大家介绍一下快手在虚拟世界的一些技术建设。我们构建了快手虚拟世界互动平台（KMIP），作为一个统一的底座支撑各种在虚拟世界中的互动能力（云蹦迪、云演唱会等）。下图为快手虚拟世界互动平台的用户交互流程图。

　　用户（主播或观众）的设备软件（PC软件/App/H5）通过集成我们的 KMIP SDK 将各种交互信号传递给 KMIP，同时接收 KMIP 处理发送的流媒体信息，实现多端低延时接入的媒体交互和场景应用功能。

　　快手虚拟世界互动平台由三部分技术构建而成，分别为基础层、计算层和接入层。

　　基础层是支撑平台成功运转的服务底层，主要管理通用的计算、网络以及存储等资源。既支持自研云平台也具备兼容第三方云平台的能力。

　　计算层作为快手虚拟世界互动平台（KMIP）的核心能力层，包含了四大模块分别为 AI 引擎、图形引擎、音视频、资产库。虚拟互动中需大量运用 AI 能力，渲染能力，以及 RTC 和边缘计算能力。

　　多终端接入是指可以支持 PC/手机/XR 等各种设备的接入，便于用户参与。快手作为一个以内容为核心，连接观众和创作者，打通短视频和直播内容的分发平台，将用户群体划分成两大类：终端观众和创作者。创作者相较于终端观众而言在设备上会有着更高阶的需求，终端观众则更需要能够低门槛的参与，支持多终端的接入能够满足用户在使用上的差异。

　　RTC 结构化数据传输的定义通俗来讲就是支持传输各种各样的数据，比如动捕/语音/文本/控制参数等。通过支持丰富多元的互动信号的输入和对应的数据反馈，在满足适配不同交互形式和数据传输要求情况下同时可以保证系统在交互整个链路上的完整性并且降低了延迟风险。

　　快手虚拟世界互动平台（KMIP）不仅支持端渲染、云渲染，同时也支持端云协同渲染，以满足各种不同场景下的渲染需求。

　　快手虚拟世界互动平台（KMIP）能够支持真人(通过绿幕抠图接入)和数字人（虚拟 IP、Avatar 等）等多种角色参与其中。

　　基于快手虚拟世界互动平台（KMIP）的设计理念，能够承载多人互动的开放生态，开放世界多人同屏，用户能够自由切换视角以第一或第三人称视角参与其中，体验不同视角的场景。

　　第三部分内容会从实用性角度主要介绍两个应用于特定场景的软件，主要作用为提供给主播和创作者们更友好的交互方式。

　　关于快手虚拟演播助手的定义：KVS 是一款面向 PGC 场景的数字人驱动及开播的工具。

　　主要面向的用户群体为追求高品质的数字人直播的用户。KVS 为其提供了一站式服务，不仅能够满足数字人所需的驱动和渲染能力，在其基础上还能够满足 3D 场景的互动能力。

　　从业务层面来说虚拟演播助手可以渗透到智能文娱、直播电商和虚拟拍摄等场景。借助快手对音视频的高效处理和数据的埋点统计等中台能力，利用 MVC 等交互框架，和诸多 AI 能力，实现虚拟人的高仿生及达到虚拟世界的高效互动。

　　关于快手面捕助手的定义：KFC 是一款面向 UGC 的数字人驱动及开播的工具。

　　KFC 主要面向于卡通虚拟主播（娱乐、游戏等），在交互层和能力层上也同样有些许的差别，稍特殊的一点是挂件模式，挂件模式是指在最小化当前程序时，虚拟人仍能叠加在桌面上，可增强虚拟世界互动的体验感和参与感，相比 KVS，KFC 的架构在中间件及基础层是基本相同的。

　　第四部分会从几个经典案例入手更加清晰的了解快手虚拟世界互动平台的实际应用。

　　虚拟主播同屏直播互动的核心点打破了时间和空间的限制，多位主播可以同时呈现在同一个数字空间中并进行相应的互动。PC 端和手机端都支持。

　　此处的虚拟主播均为实时驱动和专业演绎，所以对于用户反馈做出的反应也是即时且深度的，可加深用户的互动性和参与度。

　　此处的互动剧是指用户可以充分参与到该活动中来，并且主播会根据观众的一些行为反馈来解锁不同分支的剧情走向从而形成不同的故事结局。基于虚拟化身的互动则可以拉近主播和观众的距离，营造更加个性化的体验。

　　无论从内容效果还是呈现方式上，都体现出基于直播形式的虚拟世界互动的场景在未来具有着巨大的想象空间和发展前景。

　　内容形态的迭代发展由过去的文字图像内容，逐渐演进至今日视频和直播的形式。未来以 XR 作为新媒介衍生的新内容形式，其沉浸感和互动性会呈指数型增长，我们相信相关的研究领域中仍存在着待挖掘的巨大价值。

　　快手作为以用户为核心、视频和内容为驱动力的社区开放平台的产品，整合资源共同挖掘数字人和 XR 内容的潜力，对于快手生态来说具有重要意义。我们欢迎各个领域的生态合作伙伴和我们一起合作共建共赢。也欢迎在数字人及 XR 方面有需求的客户联系我们，试用和采买我们的解决方案。

　　万鹏飞，博士，快手Y-tech AI技术中心负责人。致力于通过计算机视觉、计算机图形学、机器学习、人机交互等领域的交叉，为快手公司各个产品和业务线提供智能化的内容创作和体验解决方案。关注的技术方向包括Mobile AI、AIGC、XR、数字人、AI工程架构与计算引擎等。

　　专注于大数据、人工智能技术应用的分享与交流。发起于2017年，在北京、上海、深圳、杭州等城市举办超过100+线+线上沙龙、论坛及峰会，已邀请超过2000位专家和学者参与分享。其公众号 DataFunTalk 累计生产原创文章800+，百万+阅读，15万+精准粉丝。