🦜 EasyPhoto 是一个 Webui UI 插件，用于生成 AI 肖像，可用于训练与您相关的数字分身。
一、EasyPhoto是什么？
EasyPhoto 是一个 Webui UI 插件，用于生成 AI 肖像，可用于训练与您相关的数字分身。训练建议用5到20张人像图片进行，最好是半身照片，并且不要戴眼镜（几张图中的人物戴眼镜也没关系）。训练完成后，我们可以在推理部分生成它。我们支持使用预设的模板图像或上传您自己的图像进行推理。
二、EasyPhoto的项目地址：
1、Github仓库：
https://github.com/aigc-apps/sd-webui-EasyPhoto
2、论文地址：
https://arxiv.org/abs/2310.04672
3、在线体验：
https://modelscope.cn/studios/PAI/EasyPhoto/summary
https://huggingface.co/spaces/alibaba-pai/easyphoto
三、EasyPhoto的算法详解：
1、架构概述
在人工智能肖像领域，我们期望模型生成的图像是真实的并且类似于用户，而传统方法引入了不真实的光照（例如面部融合或人脸）。为了解决这种不现实的问题，我们引入了稳定扩散模型的图像到图像功能。生成完美的个人肖像需要考虑所需的生成场景和用户的数字分身。我们使用预先准备好的模板作为所需的生成场景，并使用在线训练的人脸 LoRA 模型作为用户的数字分身，这是一种流行的稳定扩散微调模型。我们使用少量的用户图像来训练稳定的用户数字分身，并在推理过程中根据人脸LoRA模型和预期生成场景生成个人肖像图像。
AI真人写真是一个基于 StableDiffusion和AI人脸相关技术，实现的定制化人像Lora模型训练和指定图像生成链路的集合，这里我们简单介绍我们在EasyPhoto中实现的相关技术,下图是EasyPhoto的生成链路介绍，
2、训练细节
首先，我们对输入的用户图像进行人脸检测，确定人脸位置后，按照一定的比例截取输入图像。然后，我们使用显着性检测模型和皮肤美化模型来获得干净的人脸训练图像，该图像基本上仅由人脸组成。然后，我们用固定标签标记每个图像。这里不需要使用贴标机，而且效果也不错。最后，我们微调稳定扩散模型以获得用户的数字分身。
在训练过程中，我们利用模板图像进行实时验证，在训练结束时，我们计算验证图像与用户图像之间的人脸ID差距，以实现Lora融合，这确保了我们的Lora是完美的数字分身用户的。
另外，我们将在验证中选择与用户最相似的图像作为face_id图像，该图像将在Inference中使用。
3、推理详解
A.第一次扩散：
首先，我们将对传入的模板图像执行人脸检测，以确定需要修复的掩模以实现稳定的扩散。然后我们将使用模板图像与最佳用户图像进行人脸融合。人脸融合完成后，我们使用上面的掩模与人脸融合图像进行inpaint（fusion_image）。另外，我们将训练时得到的最优face_id图像通过仿射变换（replaced_image）贴到模板图像上。然后我们将在其上应用Controlnets，我们使用带有颜色的canny为fusion_image提取特征，并为replaced_image使用openpose以确保图像的相似性和稳定性。然后我们将使用Stable Diffusion结合用户的数字分割进行生成。
B.第二次扩散：
得到First Diffusion的结果后，我们将结果与最优的用户图像进行人脸融合，然后再次使用Stable Diffusion与用户的数字分身进行生成。第二代将使用更高的分辨率。
四、如何使用EasyPhoto？
为了让更多用户能够轻松体验这一技术，我们将EasyPhoto打包成了一键启动包。现在，您无需繁琐地配置Python环境，只需简单点击即可启动程序，从而避免了潜在的环境配置问题。
- 下载压缩包，解压到电脑D盘，最好不要有中文路径；
- 解压后点击启动.bat文件即可运行（文件可能会被误杀，请添加为信任）；
- 浏览器访问：http://127.0.0.1:7860/，即可正常使用。
- 请上传5-20张半身照或头肩照片，请不要使您的面部比例太小,注意面部分辨率不能小于128*128。
- 单击下面的“开始训练”按钮，开始训练过程，大约需要25分钟。
- 切换到推理模式，并根据模板生成照片。
- 如果在上传时遇到延迟，请调整上传图片的大小，尽量限制在1.5MB以内。
