AI输入视频，实时生成带表情和姿态的3D数字人；网友：AI换脸已经进化到实时3D效果了嘛；看到了未来视频会议的正确打开方式！ 研究人员引领了一场科技新浪潮，推出了VOODOO 3D，这是一种全新的3D数字人头部重现方法。该方法基于完全体积神经解缠框架，考虑了源外观和驱动表情，实时运行，并能够使用实景影片为角色照片提供生动的3D动画效果。这项技术创新产生的高保真结果不仅让人惊叹，而且适用于全息显示的3D远程会议系统。
研究团队介绍说，他们的方法基于神经自监督解缠方法，通过将源图像和驱动视频帧转换为基于三平面的共享3D体积表示，实现了表情和外观的完美结合。这种表示可以在任何视角自由操控，而且可以使用神经辐射场进行渲染，使得整个过程能够实时运行。 为了实现这一解缠过程，研究团队通过对大规模野外视频数据进行自监督学习。他们还引入了一种高效的微调方法，以提高3D提升的泛化能力，这一方法使用相同的真实世界数据进行训练。
“我们的头部重现流程包括三个关键阶段：3D提升、体积解缠和三平面渲染，”研究人员解释道。“通过给定一对源图像和驱动图像，我们首先使用预训练但经过微调的三平面3D提升模块对它们进行正面化。这一步是关键的，因为它使我们的模型能够从头部姿态中准确解缠出表情，避免了过拟合的问题。
接着，正面化的脸部被送入两个独立的卷积编码器，提取脸部特征，然后与源的三平面提取的特征合并。这些特征一同被输入多个变压器块，生成表情三平面残差，最终添加到源图像的三平面上。最终的目标图像可以使用预训练的三平面渲染器根据驱动的姿态进行渲染。” VOODOO 3D是一项具有高度创新性的3D头部重现技术，其方法通过一次性处理，实现了源图像和驱动表情的完美对齐。这种技术突破不仅在各种数据集上展现出先进的性能，还在复杂且多样化的主体上展示了高质量的3D头部重现效果，包括非正面的头部姿态和源、驱动的复杂表情。
VOODOO 3D的发布标志着3D数字人头部重建领域的一次革命。这种新方法的出现，不仅让我们看到了科技发展的不断突破，也为全息显示和虚拟会议系统带来了更为丰富和真实的用户体验。在未来，这项技术可能会在影视制作、虚拟会议以及其他多个领域掀起一场技术革命。 地址： https://p0lyfish.github.io/voodoo3d/ 必看榜合集：
1、170多个虚拟人项目实战（技术框架/建模/语音/AI/开源代码）： https://t.zsxq.com/111Y6b7OO
2、【100个最佳MetaHuman数字人项目实战】： https://t.zsxq.com/11RQeeQkj
—— End ——
| 
提升卡
置顶卡
沉默卡
喧嚣卡
变色卡
千斤顶
照妖镜
