“模型”新经济视界 | 兵马俑唱rap、高启强普法 国产图生视频AI模型让照片开口说话|封面天天见

2024-04-25 19:06:12来源:封面新闻

今天,很高兴为大家分享来自封面新闻的新经济视界 | 兵马俑唱rap、高启强普法 国产图生视频AI模型让照片开口说话|封面天天见,如果您对新经济视界 | 兵马俑唱rap、高启强普法 国产图生视频AI模型让照片开口说话|封面天天见感兴趣,请往下看。

封面新闻记者 欧阳宏宇

把一段音频、一张照片输入AI模型,就能让图中人物开口唱歌说话……继Sora之后,一款能让照片开口说话的国产图生视频AI模型在社交媒体上走红。近日,记者获悉,该AI模型已正式上线,并开放给所有用户免费使用。

据介绍,这款AI模型名为EMO(Emote Portrait Alive),由通义实验室研发。在该AI模型上,用户仅需一张人物肖像照片和音频,就可以让照片中的人物按照音频内容“张嘴”唱歌、说话,且口型基本一致,面部表情和头部姿态非常自然。

比如,让奥黛丽赫本唱《上春山》,爱因斯坦说中文段子,《狂飙》电视剧中“高启强”畅谈罗翔普法;甚至用兵马俑士兵图片配上音频,就能“唱出”一首rapper饶舌,连口型都几乎一模一样。据悉,这款AI模型目前已在通义APP上线。

记者随即进入该大模型页面看到,用户能在歌曲、热梗、表情包中任选一款模板,上传肖像照片,AI随即就能合成视频。目前,该模型首批上线了80多个模板,包括热门歌曲《上春山》《野狼disco》等,网络热梗“钵钵鸡”“回手掏”等。

这款图生视频AI模型高度真实感和表现力背后的技术原理是什么?该实验室研发团队透露,该模型所运用的肖像说话(Talking Head)技术是当前大热的AIGC领域。在此之前,肖像说话技术需针对人脸、人头或者身体部分做3D建模,国内研发团队则率先提出了弱控制设计,无需建模就可驱动肖像开口说话,不仅降低视频生成成本,还大幅提升了视频生成质量。

据了解,该模型目前已学习并实现了编码人类表达情绪的能力,能将音频内容和人物的表情、嘴型匹配,还能把音频的语气特征和情绪色彩反映到人物微表情上。

公开资料显示,围绕该模型肖像说话技术的相关论文已在今年2月底发布,相关AI模型也成为继Sora之后最受关注的AI模型之一。有业内人士表示,图生视频AI模型让所有人都可免费体验前沿模型的创造力。未来,相关技术有望应用于数字人、数字教育、影视制作、虚拟陪伴、电商直播等场景。

好了,关于新经济视界 | 兵马俑唱rap、高启强普法 国产图生视频AI模型让照片开口说话|封面天天见就讲到这。


返回科技金融网首页 >>

版权及免责声明:凡本网所属版权作品,转载时须获得授权并注明来源“科技金融网”,违者本网将保留追究其相关法律责任的权力。凡转载文章,不代表本网观点和立场,如有侵权,请联系我们删除。


相关文章