🔍 技术特点: DreamTalk利用扩散模型生成高质量动画，实现逼真嘴唇动作和丰富表情，支持多语言同步，可用于不同场景和环境。
据悉，M2UGen采用了创新的方法，生成了大规模的多模态音乐指导数据集，用于训练模型。这包括MU-LLaMA模型生成的1.2k多小时音乐字幕数据集。模型结合了MU-LLaMA、BLIP图像字幕模型、MPT-7B-Chat模型以及VideoMAE字幕模型，以在各个领域生成对应的指导。
这个项目的开源意味着更多的开发者和研究人员可以使用这项技术，为其添加新的功能或者进行改进。DreamTalk的开源将为语音合成技术的发展带来新的动力。
他表示，2023年是FF发展史上的里程碑，公司已形成经营闭环并正式进入交付营收阶段。在完成SOP（小批量生产）后，首辆FF912.0已经下线，并完成了终极发布、共创交付等重要步骤。他还透露，包括Chris Brown在内的美国塔尖行业领袖已经成为FF912.0的用户，并加入共创官大家庭。
- 他坦言相信婚姻，强调好合好散是体面的选择，并透露与前妻俞渝已不再联系。