Audio2Photoreal,从音频生成全身逼真的虚拟人物形象。它可以从多人对话中语音中生成与对话相对应的逼真面部表情、完整身体和手势动作。
大家好~这里是小编！本期【放心AI网-核心AI】带你解锁超实用AI神器，精选全网热门工具，助你一键开启智能新体验！
Meta ai最近发布了一项炸裂的技术：Audio2PhotoReal，从音频生成全身逼真的虚拟人物形象。它可以从多人对话中语音中生成与对话相对应的逼真面部表情、完整身体和手势动作。
这些生成的虚拟人物不仅在视觉上很逼真，而且能够准确地反映出对话中的手势和表情细节，如指点、手腕抖动、耸肩、微笑、嘲笑等。
Audio2PhotoReal结合了向量量化的样本多样性和通过扩散获得的高频细节的优势，以生成更具动态性和表现力的动作。
1、数据集捕获：首先捕获了一组丰富的双人对话数据集，这些数据集允许进行逼真的重建。
2、运动模型构建：项目构建了一个包括面部运动模型、引导姿势预测器和身体运动模型的复合运动模型。
3、面部运动生成：使用预训练的唇部回归器处理音频，提取面部运动相关的特征。
利用条件扩散模型根据这些特征生成面部运动。
4、身体运动生成：以音频为输入，自回归地输出每秒1帧的向量量化（VQ）引导姿势。将音频和引导姿势一起输入到扩散模型中，以30帧/秒的速度生成高频身体运动。
5、虚拟人物渲染：将生成的面部和身体运动传入训练好的虚拟人物渲染器，生成逼真的虚拟人物。
6、结果展示：最终展示的是根据音频生成的全身逼真虚拟人物，这些虚拟人物能够表现出对话中的细微表情和手势动作。
今天的AI工具安利就到这里啦！小伙伴们还想看哪些神器？快留言告诉小编，放心AI网-核心AI下期继续带你挖宝！
需要网络免费
资讯AI更多
资讯AI 更多
甲骨文推出新AI智能体和生成式AI功能，助力销售团队提升客户互动
更新时间：2025-04-30
网易有道推出“子曰-o1”推理模型，教育领域迎来新变革
更新时间：2025-04-30
豆包上线深度推理模式：AI逻辑链条可视化，问答搜索新突破
更新时间：2025-04-17
当AI制药不再讲故事
更新时间：2025-04-30
成都华微：AI算力高达16Tops的人工智能芯片已小批量试用
更新时间：2025-04-30
谷歌全新升级Gemini2.0FlashThinking，长上下文处理能力再创新高
更新时间：2025-04-30
网易有道子曰-o1推理模型正式开源发布专为消费级显卡设计
更新时间：2025-04-30
谷歌推出实时AI视频功能Gemini：手机摄像头瞬间解读画面内容。
更新时间：2025-04-09
苹果重组AI高管团队，Siri升级延后至未来五年规划——AI高管团队重组影响Siri升级计划，预计推迟至2026年。
更新时间：2025-04-09
“星际迷航”黑科技照进现实！AI超声技术斩获百万美元大奖，你的心脏健康要被重新定义了！
更新时间：2025-04-16
