Talker-T2AV：基于自回归扩散模型的音视频联合说话人生成
Talker-T2AV: Joint Talking Audio-Video Generation with Autoregressive Diffusion Modeling

Zhen Ye, Xu Tan, Aoxiong Yin, Hongzhan Lin, Guangyan Zhang, 等 (+6)
⭐ 1

• 本文提出Talker-T2AV，一个创新的自回归扩散框架，专门用于生成高度逼真的说话人头像。
• 该框架的核心思想是将高层级的跨模态推理与低层级的模态特定精化过程进行有效解耦，以优化复杂生成任务。
• 这种模块化的设计允许系统在处理不同模态（如音频和视频）时，能更精细地协调它们之间的关系。
• 实验结果表明，Talker-T2AV显著提升了生成说话人头像的唇形同步准确性，使其与输入音频更加匹配。
• 此外，该方法还大幅增强了生成音视频内容间的跨模态一致性，确保了整体的自然流畅度。

🔗 arXiv · 🤗 HF

#说话人合成 #音视频生成 #扩散模型 #自回归模型 #多模态