最近爆火的,以人的表情驱动其他人和动物表情,是如何实现的?


这就是最近快手可灵团队开源的可控人像视频生成框架——LivePortrait,一经出世,就爆火全网,甚至目前仍在Hugging Face全部应用里面排在第一

项目简介
LivePortrait的主要功能包括从单一图像生成动画、精确控制眼睛和嘴唇的动作、处理多个人物肖像的无缝衔接、支持多风格肖像、生成高分辨率的动画等。一键操作、轻松上手,静态图片秒变动态,表情、动作、风格全部都可以定制!

我们先直接上手操作看看Jay同学生成的效果,这次我们依然没有放过坤坤,左边为生成效果,右边为参考源视频(记得点击打开视频,人物可随音乐舞动)
快速上手
目前,你可以直接使用官网提供的云平台运行,但是由于平台GPU 配额有限,需要注册一下账号使用,并且每个视频需要 2 个积分

操蛋的是官方还真只给了2积分,只能生成一个(不过你可以通过购买批量账号进行白嫖),在线测试:https://liveportrait.org/zh/dashboard

你还可以在huggingface上进行测试,不过由于平台GPU算力有限,经过测试基本用不了
https://huggingface.co/spaces/KwaiVGI/LivePortrait
https://liveportrait.org/zh/playground

建议本地部署运行,下载地址:
模型下载:https://huggingface.co/cleardusk/LivePortrait-Windows/tree/main
百度云:https://pan.baidu.com/share/init?surl=FWsWqKe0eNfXrwjEhhCqlw&pwd=86q2
配置要求
操作系统:Windows 10/11 64位
显卡:至少8G显存的英伟达(NVIDIA)显卡
菜单详解
第一步,我们上传一张我们自己喜欢的图片,可以是人物、动物,只要肖像的五官清晰
第二步,我们上传一段真人的表情参考视频,可以用自己拍摄的的视频,或者选择下方的搞怪视频,注意在拍摄时,我们要减少肩膀的运动,并且视频的第一帧让面部保持在无表情的状态。
第三步,点击生成动画,视频就制作好了

能实现的功能
- 眼睛和嘴唇控制:精准控制眼睛的注视方向和嘴唇的开合动作,实现逼真的面部表情。
- 高质量动画生成:生成的动画效果优于现有的非扩散和扩散模型,细节逼真,动作自然。
- 支持驱动动物图像:让动物肖像说话,或者做出丰富的表情
相关链接
项目地址:https://github.com/KwaiVGI/LivePortrait
在线测试:https://liveportrait.org/zh/dashboard
模型下载:https://huggingface.co/cleardusk/LivePortrait-Windows/tree/main
百度云:https://pan.baidu.com/share/init?surl=FWsWqKe0eNfXrwjEhhCqlw&pwd=86q2