Meta Society |

过去三五年，行业更迭，入局企业众多，元宇宙相关技术层出不穷。我们希望在本栏目中，对VR | XR | 动作捕捉技术聚焦剖析，捋清技术脉络，为您带来相关技术分享与理论观点。

20世纪80年代起，日本微型计算机技术开始逐渐成熟，1983年更是成为公认的红白机元年。

从这时开始，二次元文化逐渐形成，动画片产业方兴未艾，但当年并不像当代日漫，题材稀薄，乏味可陈。因此，动画《超时空要塞Macross》凭借机器人与恋爱主题要素结合的超前理念，在当年一跃成为经典，女主角林明美更是成为初代“御宅族”的理想女神。

动画制作方抓住契机，虚拟偶像“林明美”正式出道，就着歌姬人设出专辑，成为当时最红的存在。「走出动画文本的纸片人」打开了未来虚拟偶像创作者的思路。

到了1996年，技术条件的革新，促发了3D虚拟偶像伊达杏子的诞生，但由于当时的动作捕捉技术手段尚未成熟，制作成本高，未能形成真正的3D虚拟偶像热潮。

21世纪初期，CG技术、动作捕捉与面部捕捉技术的发展推动虚拟偶像进一步完善，以初音未来、洛天依为代表的新一代虚拟歌姬，以及《指环王》中的咕噜和《猩球崛起》中的凯撒，宣告虚拟偶像步入影视娱乐行业。

「二次元」虚拟偶像

2016年后，随着人工智能、建模、渲染和动作面部捕捉等技术的发展，虚拟偶像绊爱在直播间开启虚拟主播带货新形式，Bilibili“虚拟次元计划”频道成为虚拟主播大本营。百度集团深耕人工智能赛道，推出AIGC希加加，当代AI技术的蓬勃发展，也让AIGC向生成式数字人逐步前行。

技术革新推动虚拟偶像产业发展

显然，虚拟偶像是颇具象征意味的群体需求和技术发展汇合的时代产物。

随着“元宇宙”概念的火热，虚拟偶像再次被推上风口浪尖，当下三维图形生成技术、动态环境建模技术、实时动作捕捉技术、快速渲染处理、虚拟引擎构建、语音合成与交互技术、语义识别技术、深度学习与多模态技术等新技术的发展，正在积极为虚拟偶像赋能。

元宇宙时代，虚拟偶像已经进化为超写实数字人。超写实数字人建模是一种追求逼真度较高的技术，涵盖多种方法和工具，常见的建模技术主要有以下几类：

手工建模是一种使用计算机图形软件或物理材料，通过艺术家或设计师手动创建三维模型的过程。这种方法涵盖了游戏开发、动画制作、工业设计等多个领域，适用于注重创造力、个性化和艺术性的项目，但在时间、成本和效率方面会受到限制。

在不同的项目中，手工建模与数字技术、自动化建模等方法可能会结合使用，以平衡不同的需求。

由Epic Games开发的工具，使用机器学习生成逼真的数字人物模型，包括面部特征、肤色、表情、发型等。然而，由于软件局限，应用MetaHuman Creator制作能够交互的虚拟偶像需要大量学习素材支撑，且建模类型较为单一，无法创建定制化角色。

MetaHuman Creator

通常采用高分辨率的3D扫描仪，捕捉真实人体或物体的微小细节，以及皮肤纹理等，从而生成超写实的数字人物模型。

元客视界Lustage光场重建系统

元客视界LuStage是一套高效的影视级数字人/物资产建模系统，利用多光谱变光照照明、高速同步相机阵列采集的数据，自动智能计算毛孔级的高精度人脸模型、光照材质特性，大幅降低人/物等数字资产制作周期，提升制作精度。

作为主流的虚拟偶像驱动技术，动作捕捉实现了真人虚拟化的互动形式，这种交互方式开启了创作者与虚拟偶像的虚实触达通道，也是人与机器之间的一种新的互动形式。 一些常用的控制手段包括动作捕捉、手势捕捉、表情捕捉等。

元客视界虚拟偶像直播方案，结合了自主开发的FZMotion光学式高精度动作捕捉系统，以及iPhone的ARKit表情捕捉方式，和诸如Manus、StretchSense等数据手套，实时高精度解算人体骨骼运动，驱动数字角色动画，整套流程骨骼鲁棒稳定，动画生成快速细腻。

元客视界虚拟偶像解决方案

近年来，学术界在大规模深度神经网络、多模态人工智能方面的探索表明大模型具备易扩展性，能够实现跨模态的知识沉淀。

去年亮相的stableDiffusion以及ChatGPT成功商业化也证明了以大模型为基础，通过大模型进行业务封装可以较好满足多个行业需求。

虚拟偶像作为最趋近真人的表达媒介之一，除了传统的AI内容模型之外，还需要大量动作数据集模型进行自主学习驱动。

基于专业的设计与集成理念，元客视界LuStage光场重建系统兼具高速、高质量的制造能力。LuStage所具备的多相机微秒级同步以及图像智能ISP处理能力，可以使模型几何信息更加精确、图像色彩更加真实；同时，LuStage采用分布式高速拍摄存储等技术，实现大规模批量化模型生产的目标，大大缩短了AI模型数据训练数据库的周期，爆发真正改变技术手段、推动行业进步的生产力。

虚拟偶像AI训练数据集