- **PuLID 的 IP-Adapter**:EcomID 借鉴了 PuLID 的 ID-Encoder 和交叉注意力组件,其使用对齐损失训练而成。
故而该方法有效减少了 ID embedding 对交叉注意力部分的文本 embedding的干扰,最小化对底层模型文本到图像能力的干扰。
- **InstantID 的 IdentityNet 架构**:利用 *200 万张美观的人像图像数据集*,训练了IdentityNet,增强了关键点控制,提高了 ID 一致性和面部真实感。在训练过程中,IP-adapter 被冻结,只有 IdentityNet 被训练。面部Keypoint用作条件输入,同时面部嵌入通过交叉注意力集成到 IdentityNet 中。
# 展示案例
## 与其他方法的比较
### 1、保留文本到图像能力
| Prompt | 参考图像 | EcomID | InstantID | ||
|---|---|---|---|---|---|
| 女孩,白皮肤,黑头发,长卷发,在欧洲风格的客厅,复古色调,装饰品,景深。 | ![]() |
![]() |
![]() |
| Prompt | 参考图像 | EcomID | InstantID | PuLID | |
|---|---|---|---|---|---|
| 在图书馆前站着的男人的特写肖像,抱着两个微笑的幼儿。 | ![]() |
![]() |
![]() |
![]() |
| Prompt | 参考图像 | EcomID | InstantID | PuLID |
|---|---|---|---|---|
| 一个双辫小女孩的特写肖像,穿着白色裙子,傍晚在海滩上。 | ![]() |
![]() |
![]() |
![]() |
| 一个非常小的女孩,双辫,带着 |
![]() |
![]() |
![]() |
![]() |
| 一个满脸胡茬的侦探,戴着帽子,阴影投在他方形的下巴上,嘴里叼着一根香烟,他的风衣唤起了电影黑色风格,在一个阴雨小巷里。 | ![]() |
![]() |
![]() |
![]() |
| 一个微笑的女孩,齐刘海和长发,穿着校服,站在樱花树下,手里拿着一本书。 | ![]() |
![]() |
![]() |
![]() |
| 一个 |
![]() |
![]() |
![]() |
![]() |
| 一个身穿赛博朋克风格的男人:霓虹配件,反光太阳镜,和带有发光电路图案的皮夹克。他在湿润的城市风貌中冷静地站着。 | ![]() |
![]() |
![]() |
![]() |
| SDXL 模型 | Prompt | 参考图像 | EcomID | InstantID | PuLID |
|---|---|---|---|---|---|
| sd-xl-base-1.0 | 女孩,单独,棕色头发,手里抱着一个小泰迪熊,穿着校服,站在图书馆里,卡通风格。 | ![]() |
![]() |
![]() |
![]() |
| EcomXL | 一个非常小的女孩的特写肖像,双辫,带着 |
![]() |
![]() |
![]() |
![]() |
| DreamShaperXL | 单独,面向观众,微笑,棕色头发,上半身,开衫,牙齿,打开的外套,黑色夹克,模糊背景,真实感 | ![]() |
![]() |
![]() |
![]() |
| leosam_xl_v7 | 一个特写肖像,女孩,单独,裙子,珠宝,海滩和大海,粉色裙子,真实感。 | ![]() |
![]() |
![]() |
![]() |