大家好,我是设计师阿威
AI绘画在今天,已经发展到了炽手可热的地步,相比于过去,无论是从画面精细度,真实性,风格化,还是对于操作的易用性,都有了很大的提升。并且如今有众多的绘画工具可选择。今天我们主要来聊聊基于stable diffusion的comfyUI!
一、主流AI绘画工具
说到AI绘画工具,现在应该能找出很多,比较主流的有Midjourney(简称MJ),Stable Diffusion(简称SD),DallE,文心一格,Leonardo.Ai等等
• Midjourney
• Stable Diffusion
• DallE
我们对主流AI工具做个简单的对比
不同的绘画工具有不同的优劣势,大家可自行探索最适合自己的工具。本文着重介绍Stable Diffusion ComfyUI
二、SD主流 UI
Stable Diffusion因为其开源特性,有着较高的受欢迎程度,并且基于SD的开源社区及教程、插件等,都是所有工具里最多的。基于SD,有不同的操作界面,可以理解为一个工具的不同客户端。目前主流的操作界面有 WebUI和ComfyUI。
- 1. WebUI 优点:界面友好,插件丰富,新手小白基本也能秒上手 缺点:吃显存,对配置要求较高,出图较慢
- ComfyUI 优点:性能好,速度快,支持工作流的导入导出分享,对小显存友好(GPU小于3G以下依然可以工作),基于工作流,对出图逻辑理解更清晰 缺点:对新手用户不太友好,有一定学习成本
二者各有优缺点,根据自身情况选择即可。我个人更推荐ComfyUI
三、ComfyUI 安装
对于stable-diffusion-webui,我之前有一篇文章有了比较详细的介绍,本文重点介绍ComfyUI的安装部署及使用。
传送门:AI绘画SD下载安装教程,学习AI绘画软件必看(SD怎么安装,SD安装教程,安装stable diffusion软件必看)
ComfyUI 的节点流程式使用方式,非常便于对SD的绘制过程的理解,并且工作流可以导入导出以及分享,这样对于流程重现以及第三方分享更友好。整体的使用上限更高
1. 安装包说明
ComfyUI 开源地址:https://github.com/comfyanonymous/ComfyUI
对于程序员朋友来说,对于github的使用已经非常熟悉了,但考虑到不熟悉github的读者,以及国内对于github的网络环境的不稳定,除了github的clone之外,也推荐使用秋叶大佬的一键整合包,安装包下载请扫描获取哦。
-
• 若使用github自行clone项目,需要git、python等必备环境,适合对github已经git和python环境熟悉的朋友使用
-
• 若使用秋叶整合包,里面包含了所有运行时需要的环境,因此此方法适合所有人,下载一键解压即用!
2. 安装文件
网盘(扫描获取安装包后)中包含以下文件
安装文件
-
旧版本:基本不用管了
-
模型:只有基本的大模型,更多的大模型可自行去国外的C站或国内的liblib站点下载
-
contronet:提供contronet所需模型文件,控图必须下载
-
入门工作流:提供基本的入门工作流,导入可直接使用
-
ComfyUI-aki-v1.2.7.7z:整合包压缩包,下载后解压即可使用
3. 安装步骤
不同于傻瓜式的安装步骤,这里需要稍微做一些配置,主要是配置模型路径
- 配置模型路径
- 这里分两种情况,如果你之前装了webui,并且本身已经下了很多模型了,那么恭喜你,ComfyUI对webui的模型地址做了兼容,可以通过一个配置文件即可与webui共享模型 解压后的根目录,有“extra model_paths.yaml.example”文件,我们对这个文件进行修改
extra model_paths.yaml.example
修改完成之后,去掉example后缀,保存为yaml文件即可
- • 如果你没有装过webui,即首次使用ComfyUI的话,那么直接解压,后续下载的模型只需要放在ComfyUI读取的默认路径即可
模型 | 路径 |
---|---|
checkpoint模型(大模型) | models/checkpoints/ |
lora模型 | models/loras/ |
controlNet模型 | models/controlnet/ |
vae模型 | models/vae/ |
启动“A 绘世启动器.exe”即可。启动后进行主界面,就可以开始ComfyUI的探索之旅了
若是用github自行安装的朋友,还需要下载“插件管理器”,方便后续安装插件(秋叶整合包已经包含了插件管理器),安装步骤如下 分三步:
命令行窗口中运行:cd D:\COMFYUI路径XXXX\custom_nodes
继续运行:git clone https://github.com/ltdrdata/ComfyUI-Manager.git
重启 ComfyUI
4. 汉化
-
• 整合包可以直接点击右边设置小按钮,并对语言设为中文即可
-
• 非整合包需自行下载汉化插件,通过插件管理器搜索AIGODLIKE-ComfyUI-Translation安装即可,或类似下载插件管理器的方式在custom_nodes下git clone https://github.com/AIGODLIKE/AIGODLIKE-ComfyUI-Translation.git后重启ComfyUI
5. 学习参考
ComfyUI由于工作流的导入导出的便利,使得工作流可以互相分享学习,甚至直接使用。目前有很多工作流分享的站点,可以通过导入其他人的工作流进行学习和实践,对自身学习会非常有帮助
-
ComfyUI官方示例:https://comfyanonymous.github.io/ComfyUI_examples/
-
基础工作流示范:https://github.com/wyrde/wyrde-comfyui-workflows
-
comfyworkflows:https://comfyworkflows.com/
-
esheep(国内站点,访问快):https://www.esheep.com/
6. 插件安装
使用其他人的工作流时,我们往往会发现他们使用了某些我们并没有的节点,导致出现节点缺失的现象,这种情况下,需要我们安装缺失的节点。以下是几种安装插件的常见方式
1、有科学上网环境推荐直接通过界面中的管理器安装缺失节点即可,若没有科学上网,这个过程会很痛苦
2、使用整合包推荐通过启动器安装:版本管理–安装新插件–搜索插件–点击安装
3、单独下载插件:单独下载插件包解压到:comfyui 安装根目录lcustom nodes目录下(与前文提到的安装插件管理器方法一致),然后重启即可。
四、ComfyUI 能干啥?
-
基础文生图
-
基础图生图
-
真人转动漫/动漫转真人
-
线稿上色
-
老旧照片修复
-
隐藏艺术字
-
改变人物姿态
-
四维彩超宝宝长相预测
-
红包封面
-
真人电子AI写真定制
-
赛博朋克风格转换
-
专属表情包
-
手机壁纸
-
更多:这里不一一举例了,类似的玩法在网上可以看到很多,ComfyUI只是一个工具,具体如何应用,就要依靠自身的想象力了
五、文生图工作流
在首次使用ComfyUI时,启动后就可以看到它默认提供的一个工作流,其实就是一个非常基础的文生图工作流,我们就以这个工作流对基础节点做个简单的介绍
在ComfyUI中,节点和节点之间的链接以相同颜色链接即可,熟悉常用工作流之后,大概就能明白节点的链接逻辑了
1、K采样器
K采样器
K采样器是SD出图流程中的核心节点,所有节点载入,数据输入,参数配置,最后都会汇总到K采样器,它会结合载入的模型,提示词的输入以及Latent输入,进行采样计算,输出得到最终图像
Latent,即潜空间,可以理解为SD内部流程中的图像格式,如果我们将图像作为输入,则需要通过VAE编码将其转换为Latent数据,在最后输出时,我们也需要通过VAE解码将其转换为像素空间,也就是我们最终图像
2、Checkpoint加载器
checkpoint加载器
checkpoint 也就是大模型,这个节点是起始点,需要选择相应的大模型,以及vae输入给采样器,clip则连接正反向提示词
其中VAE可以直接使用大模型的vae去链接,也可以单独使用vae解码节点,来选择自定义的vae
3、CLIP文本编码器
CLIP文本编码器
CLIP节点则需要输入提示词,其中CLIP节点需要两个,一个作为正向提示词链接K采样器,一个作为负向提示词链接采样器
4、空Latent
空Latent
使用空latent建立潜空间图像,这里主要用于控制图像尺寸和批次数量的
5、VAE解码
VAE解码
前面已经提到对于Latent潜空间图像和输出的像素图像之间,需要进行一次转换,VAE解码节点则是对这个过程转换的节点
6、保存图像
顾名思义,即保存当前生成的图像,保存的图像除了在当前页面能看到以外,也可以在本地文件夹目录(x:\xxx\ComfyUI根目录\output)下看到所有生成的图片
默认流程整体就这么简单,输入提示词,点击添加提示词队列,即可生成你的第一张ComfyUI图片了
感兴趣的小伙伴,赠送全套AIGC学习资料,包含AI绘画、AI人工智能等前沿科技教程和软件工具,具体看这里。
AIGC技术的未来发展前景广阔,随着人工智能技术的不断发展,AIGC技术也将不断提高。未来,AIGC技术将在游戏和计算领域得到更广泛的应用,使游戏和计算系统具有更高效、更智能、更灵活的特性。同时,AIGC技术也将与人工智能技术紧密结合,在更多的领域得到广泛应用,对程序员来说影响至关重要。未来,AIGC技术将继续得到提高,同时也将与人工智能技术紧密结合,在更多的领域得到广泛应用。
一、AIGC所有方向的学习路线
AIGC所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、AIGC必备工具
工具都帮大家整理好了,安装就可直接上手!
三、最新AIGC学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、AIGC视频教程合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。