当前位置: 首页 > news >正文

InstantID: Zero-shot Identity-Preserving Generation in Seconds

  • https://arxiv.org/pdf/2401.07519#page=9.73
  • https://github.com/instantX-research/InstantID?tab=readme-ov-file
  • https://github.com/instantX-research/InstantID/pull/89/files
  1. 问题引入
  • 目标是生成和reference图片相符合的图片,特别是人脸;
  • 现在基于微调模型的方法例如dreambooth,text inversion,lora等需要多张参考图片,且新的reference图片就需要重新进行微调;
  • 而ip-adapter这类的方法可以不用在inference的时候进行微调,但是依赖的是clip的image encoder,约束不强;
  • 本文的方法包含两部分条件,strong semantic and weak spatial conditions,也就是面部图片+landmark图片+text
  1. methods
    在这里插入图片描述
  • ID Embedding:使用人脸识别模型或者reid模型提取ID Embedding;
  • Image Adapter:和ip-adapter类似;
  • IdentityNet:controlnet,但是有一些变化,1)使用五个人脸关键点two for the eyes, one for the nose, and two for the mouth,2)cross attention只以id embedding作为条件,不包含text embedding;
  1. 实验
  • 数据:LAION-face 50million+自收集10million
  • id embedding使用antelopev2 https://github.com/deepinsight/insightface

http://www.mrgr.cn/news/14823.html

相关文章:

  • 【leetcode】C++_string 917.仅仅反转字母
  • PyTest测试框架学习日记
  • 【SQL】关注者数量
  • 单片机的主流编程语言是什么
  • 学习大数据DAY43 Sqoop 安装,配置环境和使用
  • Leetcode 216.组合总和Ⅲ 回溯+剪枝 C++实现
  • k8s集群环境搭建(一主二从--kubeadm安装)
  • 分享5款支持论文写作网站先稿后付的网站!
  • [000-01-001].第04节:Shell中的内置命令
  • Android架构组件:MVVM模式的实战应用与数据绑定技巧
  • Pytest项目搭建总结
  • WireShark网络分析~环境搭建
  • 【C++ | 设计模式】工厂方法模式的详解与实现
  • C# 变量
  • 【Python入门】第5节 数据容器
  • 三. Spring Boot 当中的“容器功能” 和 “配置绑定” 的详细剖析(附+源代码流程)
  • C# for语句
  • 一款支持固定区域,固定尺寸大小重复截图的软件
  • SoftMaker Office Pro 2024:高效办公的全方位解决方案
  • 【PHP报错已解决】‘/www/wwwroot/xxxxxx/public/../thinkphp/start.php‘