MimicBrush-电商/设计者的P图神器，自动AI局部重绘

MimicBrush 是由港大、阿里和蚂蚁集团联合开发的一种零样本图像编辑工具，通过参考图像进行模仿编辑，MimicBrush模型自动匹配参考资料与目标效果。简单来说，就是将一张图融入到另一张图中。

使用方法：用户在源图像（source image）中指定需要编辑的区域（white masks，即白色蒙版），并提供一张参考图（reference image），MimicBrush 就能自动捕捉两者间的联系，自动完成局部重绘，达到你想要的预期效果。

具体过程：

1.上传 source image 和 reference image。

2.点击 "draw button"，在源图像上绘制要编辑的区域。然后点击 “run”

实现效果展示：

局部编辑(Local Region Editing)、纹理转移(Texture Transfer)、细化处理(Post-processing Refinement)

（局部编辑）

（纹理转移）

（细化处理）

MimicBrush的训练过程：MimicBrush的训练过程。首先，我们从视频序列中随机采样两帧作为参考图像和源图像。然后对源图像进行屏蔽并通过数据增强进行应用。然后，我们将源图像的噪声图像潜在、掩模、背景潜在和深度潜在输入到模拟 U-Net 中。参考图像也被增强并发送到参考 U-Net。对双 U-Net 进行训练以恢复源图像的屏蔽区域。参考 U-Net 的注意键和值与模拟 U-Net 连接起来，以帮助合成屏蔽区域。