PhotoMaker – 几秒钟内生成任何风格的人物照片，腾讯团队出品

一、PhotoMaker是什么？

PhotoMaker 是一款强大的图像合成工具，它能够通过分析多张照片中的人物特征，创造出全新的个性化人物图像。不仅如此，PhotoMaker 还能够根据用户的描述生成符合要求的人物照片，或者将多个人物的特征混合，创造出独特的形象。此外，该工具能够调整人物在照片中的性别、年龄，并且能够生成多种不同风格的图像。

二、PhotoMaker的网页地址

1、GIthub仓库：

https://github.com/TencentARC/PhotoMaker

2、在线体验：

• https://huggingface.co/spaces/TencentARC/PhotoMaker
• https://replicate.com/tencentarc/photomaker
• https://replicate.com/tencentarc/photomaker-style

3、项目地址：

https://photo-maker.github.io/

三、PhotoMaker的主要特点🌠：

1. 几秒钟内快速定制，无需额外的 LoRA 培训。
2. 确保令人印象深刻的 ID 保真度、提供多样性、有前途的文本可控性和高质量的生成。
3. 可以作为适配器与社区中的其他基础模型以及 LoRA 模块进行协作。

四、PhotoMaker的实现机制：

PhotoMaker是一种高效的个性化文本到图像的生成方法，它主要是将任意数量的输入ID图像编码到堆叠的ID embedding中，以保留ID信息。这样的embedding作为一个统一的ID表示，既可以全面封装同一输入ID的特征，又可以容纳不同ID的特征，便于后续集成。这为更有趣和更有实际价值的应用铺平了道路。此外，为了推动PhotoMaker的训练，提出了一个面向ID的数据构建管道来组装训练数据。在通过该管道构建的数据集的滋养下，PhotoMaker显示出比基于测试时微调的方法更好的ID保存能力，同时提供了显著的速度提升，高质量的生成结果，强大的泛化能力和广泛的应用范围。

实现机制

将几个相同身份的输入图像转换为堆叠的IDembedding。这种嵌入可以看作是要生成的ID的统一表示。在推理阶段，构成堆叠ID embedding的图像可以来自不同的ID。然后可以在不同的上下文中合成定制的ID。

首先分别从文本编码器和图像编码器中获得文本embedding 和图像embedding 。然后，我们通过合并相应的类embedding(如男人和女人)和每个图像embedding来提取融合embedding。接下来，我们沿着长度维度将所有融合embedding连接起来，形成堆叠IDembedding。最后，我们将堆叠的IDembedding馈送到所有cross-attention layers，以自适应地合并扩散模型中的ID内容。需要注意的是，虽然我们在训练过程中使用的是相同ID的图像，但是背景被遮挡了，但是我们可以在推理过程中直接输入不同ID的图像，不需要背景失真，从而创建一个新的ID。

五、PhotoMaker的主要功能：

1、逼真的人物照片

2、照片风格化

3、调整照片姿势/环境

4、将老照片中的人物带入现实

5、风格化

6、改变人物年龄或性别

7、换脸

六、PhotoMaker如何使用？

为了让更多用户能够轻松体验这一技术，我们将PhotoMaker打包成了一键启动包。现在，您无需繁琐地配置Python环境，只需简单点击即可启动程序，从而避免了潜在的环境配置问题。

1、下载压缩包，解压到电脑D盘，最好不要有中文路径；

2、解压后点击 启动.exe 文件即可运行（文件可能会被误杀，请添加为信任）；

3、浏览器将自动访问：http://127.0.0.1:7860/，即可正常使用。

七、PhotoMaker的使用体验：

第一步、上传图片

上传你想定制的人的图片。一张图片是可以的，但越多越好。虽然我们没有进行人脸检测，但是上传图像中的人脸应该占据了图像的大部分。

这里我上传2张星爷的照片

第二步、提示词的编写

输入文本提示词，确保定制的类别词后面使用触发词img，例如:man img或woman img或girl img。

第三步、样式模板的选择

目前提供了10种样式的选择，这里我们不选择样式,使用默认样式Photographic

第四步、图片的生成

点击”Submit”按钮，生成图片。

图片生成了，提示词中描述的人物动作是有的，但是生成的人物和周星驰人脸还是有区别。看来2张照片获取人脸还是不特别准确。

PhotoMaker如何使用？

（1）在”Submit”按钮的下方，有一个高级选项的区域，主要用于对图片生成进行高级设置。各个参数的含义和平时使用的SD Web UI差不多。

（2）如果生成的人物和原图片不太像，可以上传更多张要定制的人的照片，以提高身份保真度。如果输入的是亚洲面孔，也许可以考虑在类词前加上“Asian”，例如，Asian woman img。

（3）在进行图片风格化时，生成的脸看起来是否过于逼真?尝试切换到我们的其他渐变演示PhotoMaker-Style。将Style强度调整为30-50，数值越大，ID保真度越低，但风格化能力会越好。

（4）为了获取生成图片更快的速度，可以减少生成图像的数量和采样迭代步数。但是，注意减少采样迭代步数可能会损害ID保真度。

（5）与其他方法相比，PhotoMaker可以同时满足高质量和多样化的生成能力，具有良好的可编辑性，高推断效率和强ID保真度。