像这种近期网上特别获得图片对嘴型唱歌的鬼畜视频是如何制作的,今天我们用更容易上手的国产阿里emo工具来演示
EMO模型目前已上线通义APP,并面向所有用户免费开放使用
功能特点
EMO模板:通义APP上线了众多EMO模板,包括热门歌曲《上春山》《野狼disco》等以及网络热梗“钵钵鸡”“回手掏”等。
全民舞王:用户只需上传一张正面全身照片,即可生成多种热门舞蹈视频。其背后的算法为阿里通义实验室自研视频生成模型 animateAnyone。
全民唱演:EMO 可以使人像照片“动起来”。不管是唱歌视频,还是讲话视频,只要提供一张肖像照片,外加一段音频,算法就会自动生成一段口型完全能对上、画面生动的视频出来。
自定义唱演:每个账户拥有5次自定义唱演的机会。自定义唱演的类型具体可以分为:音视频唱演,录音唱演和文字配音等功能。
高表现力和逼真度:EMO通过关注音频线索和面部动作之间的动态和微妙关系,将音频内容与人物的表情、嘴型进行精准匹配,并将音频的语气特征和情绪色彩反映到人物的微表情上。
使用教程
下载通义APP:在手机的软件平台中下载通义 APP(原通义千问)并注册。
进入 EMO 页面:打开通义千问 APP 后,可以在对话窗口输入“emo”并发送,会自动跳转到 EMO 页面
![](https://www.aiyjs.com/wp-content/uploads/2024/07/1722053402-饿啊分.png)
选择模板:目前 EMO 提供了全民舞王和全名唱演等功能,分别可以将一张图片用 AI 生成舞蹈或唱歌视频。而且目前支持五次自定义玩法,不过需要用模板生成一次视频并分享。
上传肖像照片:在选定的模板中,上传一张肖像照片。
等待生成视频:上传照片后,EMO 会合成演戏唱歌视频,但生成时间可能较长,大概需要 5-10 分钟左右。可以在右下角生成记录里面查看生成的视频。
![](https://www.aiyjs.com/wp-content/uploads/2024/07/1722053436-的文风我.webp)
相关链接
官方项目主页:https://humanaigc.github.io/emote-portrait-alive/
arxiv 研究论文:https://arxiv.org/abs/2402.17485
github:https://github.com/humanaigc/emo (模型和源码待开源)