InstantID一张面部图像生成多样风格:WebUI与ComfyUI使用指南

引言:

这两天一直在看InstantID,网上很多介绍和教程把我看笑了。根本就不可能正常安装使用,全是蹭热点没半点儿干货。于是自己梳理总结,写一下个人使用WebUI与ComfyUI的步骤留着备份。

InstantID由小红书(Xiaohongshu)的InstantX团队开发,是一项创新的图像生成技术,它在数字艺术创作领域掀起了一场革命。这项技术以其独特的零次个性化图像合成能力,允许用户仅通过一张面部图像,就能创造出风格多样、高度个性化的图像。

InstantID不仅在技术上取得了突破,更在用户体验上提供了极大的便利。本文将详细介绍如何在WebUI和ComfyUI中利用InstantID,以及这一技术背后的开发力量。

项目地址:

https://github.com/InstantID/InstantID?tab=readme-ov-file

Demo体验地址:

https://huggingface.co/spaces/InstantX/InstantID

https://openxlab.org.cn/apps/detail/InstantX/InstantID

接下来让我们看看如何在WebUI和ComfyUI中使用InstantID。

一.WebUI中使用InstantID的方式:

1.安装并配置WebUI,我们启动秋叶大佬的“绘世WebUI启动器”升级一下内核

打开代理,一会儿下载用地上。

高级选项中设置环境

2.安装需要的插件环境框架

我们需要安装一下“ReActor”,它是一个人脸交换的稳定扩散。

直接在“sd-webui-aki-v4.6\extensions”目录下执行

“git clone https://github.com/Gourieff/sd-webui-reactor.git”

或者启动器里面搜索“reactor” 安装

又或者,用我压缩包里的也行。

然后把我为大家准备的insightface模型文件放到

“StableDiffusion\sd-webui-aki-v4.6\models\insightface”目录下

再然后把我为大家准备的另一份文件

“insightface-0.7.3-cp310-cp310-win_amd64.whl”

复制到StableDiffusion\sd-webui-aki-v4.6\python路径下。

地址栏输入“cmd” 调出命令行控制台,

输入“\python.exe -m pip install insightface-0.7.3-cp310-cp310-win_amd64.whl”

随后我们将“sd-webui-aki-v4.6\python\Scripts”完整路径添加到环境变量。

再在python路径下“cmd”输入

“python.exe -m pip install onnxruntime --upgrade”

再继续输入

“python.exe -s -m pip install segment_anything omegaconf”

安装深度学习框架,

到此以上需要的环境框架都安装完了。

3.将controlnet模型文件拷贝到

"\extensions\sd-webui-controlnet\models"目录下

我已经将模型的名字修改成可以识别的标准了,放心使用。

4.升级扩展中的Controlnet到最新版本

点击“一键启动”

5.如果更新成功,我们就可以看见ControlNet v1.1.440的版本了

下面也会多了个“InstantID” 选项按钮,接下来看看如何使用。

6.使用InstantID,因为InstantID暂时还没有支持1.5版本的模型版本,所以需要选择SDXL大模型。然后使用2个ControlNet单元配合使用。

在第一个ControlNet单元0中选择上传一张面部图片,设置如下。

预处理器选择“instant id face embedding”

模型选择“ip-adapter instant id sdxl [eb2d3ec0l”

点击红圈中的“爆炸”按钮,会自动下载预处理文件。

再在第二个ControlNet单元1中选择上传一张面部图片,它会确定面部的位置,设置如下。

预处理器选择“instant id face keypoints”

模型选择“control instant id sdxl [c5c25a50]”

点击红圈中的 “爆炸” 按钮,会自动下载预处理文件。

等待预处理文件下载完成,如果不幸下载失败,可以把我压缩包内的文件拷贝到下面路径里。

“StableDiffusion\sd-webui-aki-v4.6\extensions\sd-webui-controlnet\annotator\downloads\insightface\models\antelopev2”

当然你也可以自己从huggingface上下载,拷贝到上面目录。

7.选择SDXL模型,输入提示词,选择起手式。

这里建议将 CFG 设置为 4~5 获得最效果,等待生成。

二笔青年快乐多

当然要控制姿势,我们可以加入DWpose等控制。大家自行发挥吧。

到此处,WebUI部分完。

资源自动获取,公众号回复:InstantIDWebUI

二.ComfyUI中使用InstantID的方式:

1.把文件

“insightface-0.7.3-cp311-cp311-win_amd64.whl”

复制到ComfyUI_windows_portable路径下。

地址栏输入“cmd”

调出命令行控制台,输入

“python_embeded\python.exe -m pip install insightface-0.7.3-cp311-cp311-win_amd64.whl”

这个库是用于人脸识别和分析的。insightface提供了一系列的工具和模型,可以帮助开发者在他们的应用程序中实现人脸检测、关键点定位、人脸识别等功能。

将“python_embeded\Scripts”完整路径添加到环境变量

提示有更新可以使用,于是我输入了我自己的路径加上 “python.exe -m pip install --upgrade pip”

再输入“python_embeded\python.exe -m pip install onnxruntime --upgrade”

上面提示我,忘记添加到环境变量。

2.进入ComfyUI_windows_portable\python_embeded文件路径下

窗口路径“cmd” 输入

“python.exe -s -m pip install segment_anything omegaconf”

安装深度学习框架

3.安装需要的插件,将需要的插件复制到

ComfyUI_windows_portable\ComfyUI\custom_nodes

我这个是为了记录单独copy出来的工程,所以非常的干净。

4.启动“run_nvidia_gpu.bat”,

导入工作流

“V2.0_InstantID_pose_ref_+_ArtGallery_【Zho】.json”

工作流在上面的插件目录里面,路径如下。

“omfyUI_windows_portable\ComfyUI\custom_nodes\ComfyUI-InstantID\INSTANTID WORKFLOWS”,

点击右边的“Manager”选择

“Install Missing Custom Nodes”

关闭所有,重新启动。

5.运行“run_nvidia_gpu.bat”会更新自动下载

下载完后,自动打开链接,显示我们上次的工作流。

6.修改设置,将“ID ControlNet Loader”

下面的路径修改为本地插件配置路径

将“lpadapter instantid Loader”下面的路径修改为本地插件配置路径

第一次运行“ID Base Model Loader from hub”节点会自动下载模型。

需要开代理,或者魔法,我是之前用“绘世启动器”代理下载了。

最后效果如下图。

按我上面的操作,大家都可以跑通整个流程了。

大家还可以试试插件下的其它工作流,都不复杂。

剩下的修改风格,和提示词,需要大家自己发挥了。

到此处,ComfyUI部分完。

资源自动获取,公众号回复:InstantIDComfyUI

总结:

InstantID的开发团队,小红书的InstantX团队,通过其在人工智能领域的深厚技术积累,成功地将创新的图像生成技术带给了公众。这项技术不仅在技术上实现了零次个性化图像合成的突破,而且在用户体验上也做到了极致的简洁和直观。与市场上其他图像生成工具相比,InstantID在保持高度个性化的同时,大大简化了用户的操作流程,使得即使是没有深厚技术背景的艺术家和设计师也能轻松上手。

在WebUI和ComfyUI这两个平台上,InstantID展现了其强大的功能和灵活性。WebUI提供了一个直观的用户界面,用户可以通过简单的步骤实现面部图像的上传和风格化处理,而ComfyUI则以其便携性和易用性,为用户提供了一个更加个性化的创作环境。两者在功能上各有千秋,WebUI更适合快速尝试和体验,而ComfyUI则提供了更多的定制化选项,适合那些希望深入探索和创作独特艺术作品的用户。

下篇我们会再分享一个开箱即用的InstantID整合包,但需要有足够的机器配置噢。

完over。

关注我们,了解更多。

六年级上册语文园地八“交流平台、词句段运用、日积月累”等笔记

交流平台

怎样把握文章的内容:

①根据文章题目把握主要内容;

②抓住关键句,把握主要内容;

③通过理清事情的起因,经过,结果来把握文章主要内容;

④概括文章每个部分的主要内容,再串联起来,把握文章主要内容等。​

词句段运用一

学习给文章拟题的方法

①以人物为题;

②以事件为题;

③以事物为题;

④以修辞方法为题;

⑤以时间为题;

⑥以地点为题;

⑦以感受为题等。

方法总结:

①题目要紧扣文章中心;

②题目要新颖,能吸引读者兴趣。

词句段运用二

学会从词语展开想象,写一段话。

1、选择“饱经风霜”,就要通过描写突出事物的“饱经风霜”。

例文:

饱经风霜的脸:

这是一张饱经风霜的脸,脸上满是沟壑纵横的皱纹,仿佛岁月用刀在他脸上刻过一样。他微微下陷的眼窝里,一双深褐色的眼眸,悄悄地诉说着岁月的沧桑,但是整张脸又是那么坚毅和沉着,经历过那么多磨难,他仍然对生活充满了热爱,充满了信心。

饱经风霜的老屋:

山腰上,树林边,溪水旁,一条小路,连接着我家的老屋。饱经风霜的老屋,寂寞地守在山间,一守就是几十年。土灰烧瓦和泥土墙壁上留下了一道道岁月的痕迹,瓦上青苔丛生,长久陪伴。老屋虽然破旧,但只要炊烟一起,它就焕发出生机。老屋是我们一家人最温暖、最幸福的归宿,从未改变。

饱经风霜的大树:

这棵大树屹立在山头,直面狂风暴雨,毫不胆怯。大树饱经风霜,树干突兀嶙峋,树皮粗糙不堪,有的地方已经出现了树洞。狂风暴雨曾折断它的树枝,也曾让它的根暴露在地面上,但是这棵大树依然枝繁叶茂,生机勃勃。一阵风吹过树梢,树叶哗啦作响,多么像老人发出的爽朗笑声啊!

2、选择“深处”来写,那么记叙的事情或描写的事物就要体现“深处”。

例文:

树林的深处:

树林的深处有一间充满生机的小木屋,屋子里住着一个老人。老人极喜欢花草树木和小鸟,眼前这片绿意盎然的树林,就是老人毕生的心血。五彩缤纷的花朵,让树林变得分外美丽。树林幽静、环境舒适,吸引了众多鸟儿来此安家落户。老人每天就生活在这充满诗情画意的深林中。树林深处的这个场景真美啊!呈现出一幅人与自然和谐相处的画面。

秋天的深处:

秋天的深处,丰收的余香还在飘荡。走在原野上,忽然间感慨丛生——这壮阔肥美的土地,曾经孕育了多少梦想,又收获了多少希望?接下来,人们就要靠这些收获来度过漫长的冬季。大自然从来都是这样慷慨无私地赐给人们希望和收获,也赐给人们智慧。

心灵的深处:

在我心灵的深处,有一座古朴的心灵城堡,城堡里装满了我难以忘怀的人与事。在城堡中央,有一块美丽的石碑,上面铭刻着我心灵深处的感动。这些令人感动的故事如一泓清泉,时时荡涤着我的心灵,激励着我不断前进。

书法提示

欣赏柳公权书法作品《玄秘塔碑》,了解其楷书特点。

柳公权简介:

唐代著名书法家。其书法以楷书著称,在当时极负盛名,民间有“柳字一字值千金”的说法。其初学王羲之,后来遍观唐代名家书法,并自创独树一帜的“柳体”。与颜真卿齐名,人称“颜柳”,又与欧阳询、颜真卿、赵孟并称“楷书四大家”。传世碑刻有《金刚经刻石》《玄秘塔碑》《冯宿碑》等。

日积月累

积累鲁迅的名言,感受其精神品质。

①无情未必真豪杰,怜子如何不丈夫。

冷酷无情的未必是真正的豪杰志士,怜爱子女的未必没有大丈夫的气概。

②其实地上本没有路,走的人多了也便成了路。

希望之路是实践出来的路,是探索得来的路,是积极进取、勇于开拓的路。

③唯有民魂是值得宝贵的,唯有他发扬起来,中国才有真进步。

民族精神是最宝贵的,只有继承和发扬民族精神,中国才有强大的动力生存和发展。

④我们自古以来就有埋头苦干的人,有拼命硬干的人,有为民请命的人,有舍身求法的人……这就是中国的脊梁。

埋头苦干的人: 指劳动人民,也指历史上那些改革家、发明家等。

拼命硬干的人: 指历史上起义反对黑暗统治和抵御外敌的英雄人物等。

为民请命的人: 指关心百姓疾苦、伸张正义的人等。

舍身求法的人: 指英勇献身、追求真理的人等。

“中国的脊梁” 是指那些推动中国历史不断前进的优秀人物,以及为了中华民族生死存亡不惜抛头颅洒热血的仁人志士。

相关问答

什么叫擦脸网络?

人脸数据,学习并模拟人脸的特征,然后根据用户的...擦脸网络的原理是通过深度学习算法分析大量的人脸数据,学习并模拟人脸的特征,然后根据用户的需求生成符合...

云平台app(kaiyun)(官方)APP下载IOS/Android通用版/手机app

科美爱丝家新出的绢感雪肌丝柔散粉。它里面有着从蚕蛹中抽出的丝胶,然后经过,提炼成了一个丝胶精华更容易渗透肌肤,给肌肤保湿。咱们爱美的人都知道...

云平台app(kaiyun)(官方)APP下载IOS/Android通用版/手机app

这款俄罗斯PureLine的理想肌肤5合1多功能化妆品,是我用过厉害的产品,又可以当洗面奶,又可以当清洁面膜,还可以当磨砂膏。桉树提取物,锌,白土,这些...

云开平台app官方全站app(大陆)官方网站-网页版登录入口/app...

平台app官方全站app🟢第一步:访问云开平台app官方全站app官网首先,打开您的浏览器,输入云开平台app官方全站app的官方网址(m.tqcj.com)。您可以通过搜索引擎搜索...

AIFA平台(中国)登录入口官方网站IOS/通用版/APP官方网站

相宜本草家的产品都是含有植物提取精华,感觉用起来温和又清新,就连精华也是偏轻薄的质地,不会很厚重,用完之后的味道也是清新的。这款小红瓶精华它...

脸摊什么意思?

思是在社交媒体上展示自己的脸部特写照片或自拍照片。这个词源于英文表达"facereveal",意味着揭示自己的真实面貌。脸摊通常用于描述...这个词源于英文表达".....

脸部水溶性污垢和油溶性污垢区别在哪里?–960化工网问答

苏ICP备10005166号-5公安机关备案号32010502010001法律声明平台在线客服龙腾虎跃龙精虎猛万事兴“龙”龙情盛意

脸上皮肤里层有一块块暗斑是什么斑

[回答]您好,女士,欢迎来的咨询平台咨询,根据你的描述,如果脸上皮肤里有一块一块暗斑的话,则考虑到应该是暗疮引起的原因,建议您,平时一定要注意寒凉,...

花脸稿是什么?

.这种风格可能会包括过度运用颜色、字体、图形、动画等等,使得信息传递不够直接,反而让人感到眼花缭乱,甚至影响阅读体验。因此,一些人认为花脸稿并不是一个...

做面部护理的自拍热门文案?

面部护理是现代都市女性生活中不可或缺的一部分,为了更好的护肤效果,我们常常采用各种美容产品。自拍热潮席卷而来,越来越多的女性开始在朋友圈或社交平台晒出...