VASA-1：实时音频驱动的数字人说话面部视频生成技术
本文介绍了 VASA-1，这是一个由 Microsoft Research Asia 开发的框架，用于生成逼真的、音频驱动的说话（面部）视频。VASA-1 能够根据单一静态图像和语音音频片段生成具有视觉情感技能（Visual Affective Skills, VAS）的说话视频。该模型不仅能够产生与音频精确同步的唇部运动，还能捕捉到广泛的面部微妙表情和自然头部运动，从而增强真实感和生动感。从方法与效果上来讲，VASA-1都具有较大的突破，为虚拟人交互、虚拟人面部视频生成、AI译片等都提供了更为坚实的基础。
CSDN · 2024-04-26 08:00:00
