把一段音频、一张照片输入AI模型,就能让图中人物开口唱歌说话,让奥黛丽·赫本唱《上春山》、陶俑仕女说英文RAP、爱因斯坦说中文段子。不久前,这款名为EMO的模型因为阿里通义实验室的一篇论文火遍海内外。今天,EMO正式上线通义App,所有用户都可以免费使用。
打开通义App,进入“全民舞台”频道,就可以来到EMO产品页面“全民唱演”。在歌曲、热梗、表情包中任选一款模板,上传肖像照片,EMO就可以合成视频。
通义App首批上线了80多个EMO模板,包括热门歌曲《上春山》《野狼disco》等、网络热梗“钵钵鸡”“回手掏”等。
EMO是通义实验室研发的AI模型,其背后的肖像说话(Talking Head)技术是当前大热的AIGC领域。EMO之前的Talking Head技术都需针对人脸、人头或者身体部分做3D建模,通义实验室在业界率先提出了弱控制设计,不需建模就可以驱动肖像开口说话,不仅降低视频生成成本,还大幅提升了视频生成质量。
EMO学习并编码了人类表达情绪的能力,能将音频内容和人物的表情、口型匹配,还能把音频的语气特征和情绪色彩反映到人物微表情上。
通义App近期爆款频出,现象级应用“全民舞王”曾在社交平台掀起“兵马俑跳科目三”“金毛跳舞”的热潮,全民舞王背后的模型Animate Anyone也出自通义实验室。近期,通义App还陆续推出了超长文档解析、AI编码助手、AI会议助手等免费实用功能。通义大模型正在成为越来越多用户的超级AI助手。