#计算机视觉
本文提出了一个名为PhyCo的框架,旨在为生成视频模型引入连续、可解释且基于物理的控制。
- PhyCo框架集成了包含超过10万个逼真模拟视频的大规模数据集,这些视频在不同场景中系统地改变了摩擦力、恢复系数、形变和外力。
- 该框架利用物理监督微调预训练的扩散模型,该模型以像素对齐的物理属性图为条件。
- 通过VLM引导的奖励优化,使用微调的视觉语言模型评估生成的视频与目标物理查询,并提供可区分的反馈。
- PhyCo在物理智商(Physics-IQ)基准测试中显著提高了物理真实感,并通过人类研究证实了对物理属性更清晰、更忠实的控制。
- 结果表明,通过物理属性的变异,该框架能够生成物理上一致且可控的输出,而无需任何模拟器或几何重建。
本文提出了一个名为PhyCo的框架,旨在为生成视频模型引入连续、可解释且基于物理的控制。
- PhyCo框架集成了包含超过10万个逼真模拟视频的大规模数据集,这些视频在不同场景中系统地改变了摩擦力、恢复系数、形变和外力。
- 该框架利用物理监督微调预训练的扩散模型,该模型以像素对齐的物理属性图为条件。
- 通过VLM引导的奖励优化,使用微调的视觉语言模型评估生成的视频与目标物理查询,并提供可区分的反馈。
- PhyCo在物理智商(Physics-IQ)基准测试中显著提高了物理真实感,并通过人类研究证实了对物理属性更清晰、更忠实的控制。
- 结果表明,通过物理属性的变异,该框架能够生成物理上一致且可控的输出,而无需任何模拟器或几何重建。
Prox-E:基于基元抽象的精细化三维形状编辑
Prox-E: Fine-Grained 3D Shape Editing via Primitive-Based Abstractions
Etai Sella, Hao Phung, Nitay Amiel, Or Litany, Or Patashnik, 等 (+1)
⭐ 6
• 本文提出了一个名为Prox-E的无需训练框架,专注于实现三维形状的精细化编辑,无需模型训练即可直接应用。
• 该框架的核心在于利用几何基元对复杂三维结构进行抽象表示,从而实现对形状的精确控制。
• 结合视觉语言模型的能力,Prox-E能够在编辑过程中理解语义指令,并确保对形状的局部结构进行修改。
• 关键是,在进行这些局部修改的同时,框架能够有效地保持三维物体的原始身份和整体特征,避免不一致性。
🔗 arXiv · 🤗 HF
#三维编辑 #几何基元 #视觉语言模型 #形状抽象 #计算机图形
Prox-E: Fine-Grained 3D Shape Editing via Primitive-Based Abstractions
Etai Sella, Hao Phung, Nitay Amiel, Or Litany, Or Patashnik, 等 (+1)
⭐ 6
• 本文提出了一个名为Prox-E的无需训练框架,专注于实现三维形状的精细化编辑,无需模型训练即可直接应用。
• 该框架的核心在于利用几何基元对复杂三维结构进行抽象表示,从而实现对形状的精确控制。
• 结合视觉语言模型的能力,Prox-E能够在编辑过程中理解语义指令,并确保对形状的局部结构进行修改。
• 关键是,在进行这些局部修改的同时,框架能够有效地保持三维物体的原始身份和整体特征,避免不一致性。
🔗 arXiv · 🤗 HF
#三维编辑 #几何基元 #视觉语言模型 #形状抽象 #计算机图形