FaceChain 是阿里达摩院开源的一个功能上近似“秒鸭相机”的项目,你只需要提供最低一张照片即可获得绝美个人写真。目前市场上的 AI 写真大多采用“训练+生成”的两阶段模式,既需要庞大的形象数据支撑,也需要一定的训练时间。而FaceChain完全无需大量数据,无需训练等待,甚至无需训练,只需要一张图片 几秒钟即可生成专属个人艺术形象
项目原理
FaceChain FACT(Face Adapter)之所以能够跳过训练阶段,是因为它经过了百万级别的写真数据训练,从而使得 Stable Diffusion 具备了强大的人脸重建能力。
FaceChain-FACT的核心是基于深度学习的生成模型。该模型通过学习大量的人像数据,能够准确地捕捉人脸的特征和表情。同时,FaceChain-FACT还采用了一系列先进的图像处理算法,包括超分辨率重建、去噪和图像增强等,以提高生成图像的质量和细节
项目优点
- 零拍摄肖像生成:不需要训练用户的LoRA模型,减少了用户的使用成本。FaceChain-FACT能够在没有用户LoRA模型训练的情况下生成定制化肖像。这意味着用户只需提供一张照片,FaceChain-FACT就能够基于这张照片生成个性化的肖像。
- 百万级高速精美图像生成:模型通过大量的高质量人类肖像进行训练,生成的图像质量极高,同时与市面上的商业应用相比,FaceChain-FACT的图像生成速度提升了100倍,实现了秒级图像生成速度。
- 100+高级定制模板:提供了 100 多个高级时装模板
- 兼容性和插件支持:模型支持CPU和秒级推理时间,同时与ControlNet和LoRA插件兼容,支持即插即用。它还整合了一个基于变换器的面部特征提取器,类似于Stable Diffusion,使Stable Diffusion能够更好地利用面部信息
资源要求
GPU: 显存占用约19G
磁盘: 推荐预留50GB以上的存储空间
相关链接
- 参考项目主页:https://facechain-fact.github.io/
- 应用上手:FaceChain人物写真 · 魔搭社区 (modelscope.cn)
- 安装部署指南:facechain/README_ZH.md at main · modelscope/facechain (github.com)
- Github项目:https://github.com/modelscope/f
- 官方代码:https://github.com/modelscope/facechain
- 论文:《FaceChain: A Playground for Identity-Preserving Portrait Generation》
- 魔搭体验(ModelScope Library是一个托管于github上的模型生态仓库,隶属于达摩院魔搭项目):https://www.modelscope.cn/studios/CVstudio/cv_human_portrait/summary
- 新增高质量提示词模板,参考 awesome-prompts-facechain
- 增加万相版本:在线免费应用
- Colab notebook安装已支持,您可以直接打开链接体验FaceChain: 点击前往
- Hugging Face 在线体验:FaceChain - a Hugging Face Space by modelscope
模型列表
[1] 人脸检测+关键点模型DamoFD:https://modelscope.cn/models/damo/cv_ddsar_face-detection_iclr23-damofd
[2] 图像旋转模型:创空间内置模型
[3] 人体解析模型M2FP:https://modelscope.cn/models/damo/cv_resnet101_image-multiple-human-parsing
[4] 人像美肤模型ABPN:https://www.modelscope.cn/models/damo/cv_unet_skin_retouching_torch
[5] 人脸属性模型FairFace:https://modelscope.cn/models/damo/cv_resnet34_face-attribute-recognition_fairface
[6] 文本标注模型Deepbooru:https://github.com/KichangKim/DeepDanbooru
[7] 模板脸筛选模型FQA:https://modelscope.cn/models/damo/cv_manual_face-quality-assessment_fqa
[8] 人脸融合模型:https://www.modelscope.cn/models/damo/cv_unet_face_fusion_torch
[9] 人脸识别模型RTS:https://modelscope.cn/models/damo/cv_ir_face-recognition-ood_rts
[10] 人脸说话模型:https://modelscope.cn/models/wwd123/sadtalker