作为AI绘图头牌的Midjourney和Stable Diffusion,其风格提示词都相同
Midjourney是收费的在线服务,通过discord对话形式来生图,局限较大,但由于官方模型做得好,因此效果非常完美; Stable Diffusion可以本地部署,自定义参数多,并且可以有各种插件来实现绘画、蒙版、人物骨骼限定等等功能。
预先学习 :
本文试着逐一渲染stable diffusion中几十种风格效果,并且针对场景运用、失败原因、改进方法等情况进行分析研究,文中所有图片都是大图,可点击浏览,如果对你有用记得点赞+关注+收藏哦~~
内容比较多,所有图片都是可以看到的,但需要多刷新几遍,之后我将再出一个简约版的对照表用于快速查询。
随着研究深入,总结部分也会保持更新。
风格一览
1. 原生参数
photorealistic, absurdres, 8k, ( 1cute girl) walking in street, half body,
Negative prompt: easynegative
Steps: 65 , Sampler: Euler a, CFG scale: 7 , Seed: 3472141699 , Size: 1024x512, Model hash: a60cfaa90d, Model: dreamshaper_5BakedVae, Clip skip: 2 , ENSD: 31337
之后每种风格生四张图及若干知识点拓展的比较图
用高清修复方法将原始512*256
的图扩展为1024*512
; 部分图片会使用人脸修复、局部重绘等; 其采样迭代步数改为20~32
; 半身像词缀采用half body
词缀,如果不出半身则可能采用upper body
词缀,部分风格可能使用全身像full body
; 去掉正向提示词:photorealistic
, absurdres
, 8k
; 反向提示词easynegative
和nsfw
看情况使用; 正向提示词只更换风格词缀; 四格画主要变动的规则分别为:
controlnet限制,种子固定 controlnet限制,种子不固定 controlnet不限制,种子固定 无限制
2. 全息彩虹色 (holographic iridescent)
( ( holographic iridescent) ) , ( 1cute girl) walking in street, half body,
种子固定和controlnet限制 controlnet限制 种子固定 无限制
去掉街道
( ( holographic iridescent) ) , ( 1cute girl) , half body,
3. 赛博朋克 (cyberpunk)
( ( cyberpunk) ) , ( 1cute girl) walking in street, half body,
种子固定和controlnet限制 controlnet限制 种子固定 无限制
去掉街道
( ( cyberpunk) ) , ( 1cute girl) , ( mechanical body) , half body,
4. 浮世绘 (ukiyoe)
( ( ukiyoe) ) , ( 1cute girl) walking in street, half body,
种子固定和controlnet限制 controlnet限制 种子固定 无限制
去掉街道
( ( ukiyoe) ) , ( 1cute girl) , half body,
5. 搅拌机3d渲染 (blender 3d)
可尝试配合背景色进行渲染,比如:pastelbackground
( ( blender 3d) ) , ( 1cute girl) walking in street, half body,
种子固定和controlnet限制 controlnet限制 种子固定 无限制
去掉街道
( ( blender 3d) ) , ( 1cute girl) , half body,
6. 摆拍 (knolling)
( ( knolling) ) , ( 1cute girl) walking in street, half body,
种子固定和controlnet限制 controlnet限制 种子固定 无限制
这是什么风格?完全看不出来。加上easynegative
看看。
种子固定和controlnet限制 controlnet限制 种子固定 无限制
去掉街道再试试,物件人物平铺?
( ( knolling) ) , ( 1cute girl) , half body,
加上art
再看看,有没有哪个设计师有感觉了?
( ( knolling art) ) , ( 1cute girl) , half body,
种子固定和controlnet限制 controlnet限制 种子固定 无限制
现在明白这里的摆拍真的就是摆着拍了吧?
具体解释如下: “knolling是用于画出一张简洁而有条理的图像的。Knolling是指在摄影或绘画中将物品整齐地排列成水平和垂直线条的过程。在Stable Diffusion中,它表示将图像的元素排列整齐、有条理。因此,当你看到这个提示词时,你可以尝试将图像的元素整齐地排列,让图像看起来更有组织性,更易于理解。”
7. 等距3D模型 (isometric / isometric 3d cube)
( ( isometric 3d cube) ) , ( 1cute girl) walking in street, half body,
种子固定和controlnet限制 controlnet限制 种子固定 无限制
加上easynegative
试试,也差不多,都是不能理解这是个什么风格。
种子固定和controlnet限制 controlnet限制 种子固定 无限制
去掉街道试试。
( ( isometric 3d cube) ) , ( 1cute girl) , half body,
真的就是个方块???加上art
试试。
( ( isometric 3d cube) ) art, ( 1cute girl) , half body,
好吧,静心想一想,这到底是个什么风格?哈哈,其实这个风格用来描写场景才是合适的。
( ( isometric_3d_cube) ) , buildings, trees, road, cars
既然所有的房子都像个cube
,那么就加入反向提示词cube
,于是风格像个样子了。
( ( isometric_3d_cube) ) , buildings, trees, road, cars
negative prompt: cube
再加入反向提示词easynegative
,将图像尺寸变成1:1,看看是不是出你想要的图了?
最后试着用Leonardo生图,意思是一样的。
2023.5.14 为了制作相关内容,才发现之前出现那么多问题其实是因为多了3d cube
这个词缀,如果只用isometric
那情况就好很多,比如我要做一个食品安全监管的内容,可以这么写:
( ( Isometric) ) , Laboratory, food, ( magnifying glass)
negative prompt: ( ( completely flat) )
( ( Isometric) ) , Laboratory, food, magnifying glass, render objects and elements in an abstract, symbolic manner, exaggerate scales and proportions, diverse and varied results
negative prompt: ( ( completely flat) )
研究记录,以后有空了单独写一篇。 研究所用提示词如下:
( ( Isometric) ) , conveying monitoring, foods
negative prompt: ( ( completely flat) ) , ( ( highly realistic 3D) ) , just about food itself, too focused on cooking or kitchen, Avoid extreme photorealism, specific brand or product, too artistic or abstract
Flat vector、Flat、vector、2.5D image、2.5D这五个提示词失败,他们不是关注监视器,就是关注视频,场景也不是以2.5d的形式来表现。 Low poly art、Isometric、2.5D illustration这三个成功,但Low poly art似乎更倾向于将物体拆分罗列,而不会将物件整合在一张图里。 用2.5D illustration连续出图10张,其中6张可用,其余四张并不符合要求,都是纯平面; 用isometric连续出图10张,10张皆符合要求。。。
8. 像素风 (8bit/16bit pixel)
( ( 16bit pixel) ) , ( 1cute girl) walking in street, half body,
种子固定和controlnet限制 controlnet限制 种子固定 无限制
用pixel art
词缀再来一套
( ( pixel art) ) , ( 1cute girl) walking in street, half body,
种子固定和controlnet限制 controlnet限制 种子固定 无限制
去掉街道
( ( 8bit pixel) ) , ( 1cute girl) , half body,
9. 简笔画风格 (stick figure)
( ( stick figure) ) , ( 1cute girl) walking in street, half body,
种子固定和controlnet限制 controlnet限制 种子固定 无限制
这是剪影,还是动漫风?去掉街道,感觉来了
( ( stick figure) ) , ( 1cute girl) , half body,
10. 贴纸化(design a sticker)
( ( design a sticker) ) , ( 1cute girl) walking in street, half body,
种子固定和controlnet限制 controlnet限制 种子固定 无限制
去掉街道
( ( design a sticker) ) , ( 1cute girl) , half body,
11. 荧光颜料 (fluorescent)
( ( fluorescent) ) , ( 1cute girl) walking in street, half body,
种子固定和controlnet限制 controlnet限制 种子固定 无限制
换上art
,来一次,情况好一点,街道上的等也出现霓虹了。
( ( fluorescent art) ) , ( 1cute girl) walking in street, half body,
种子固定和controlnet限制 controlnet限制 种子固定 无限制
但看得出,在这个模型下,荧光效果更多地被AI理解成了霓虹灯,因为街道这个词缀给我们的模型带来很多困扰,现在把街道去掉,仅留人物,效果就有了。
( ( fluorescent) ) , ( 1cute girl) , half body,
看一组反向提示词有easynegative
限制的,照片级程度更高。
12. 刺绣艺术 (embroidery art)
( ( embroidery art) ) , ( 1cute girl) walking in street, half body,
种子固定和controlnet限制 controlnet限制 种子固定 无限制
和荧光效果一样,街道的词缀限制了AI,让刺绣艺术更多呈现了具体的刺绣艺术品。现在去掉walking in street
,AI自由发挥一下才能看到效果还是有的~~
( ( embroidery art) ) , ( 1cute girl) , half body,
换个模型试试,同样没有街道,效果更明显
13. 剪纸艺术 (paper cut craft)
( ( paper cut craft) ) , ( 1cute girl) walking in street, half body,
这次先用反向提示词easynegative
限定一下。
种子固定和controlnet限制 controlnet限制 种子固定 无限制
现在把反向提示词easynegative
去掉。。。。,出图几率大大提高(在另一台机器上加了这个easynegative
也没有太大影响,怪)
种子固定和controlnet限制 controlnet限制 种子固定 无限制
看见没?去掉easynegative
,加art
或是不加,都可以出图。这里来一组看看controlnet会不会影响出图。
( ( paper cut craft) ) art, ( 1cute girl) walking in street, half body,
有art 无art 无art有openpose 无art有openpose和canndy
去掉街道
( ( paper cut craft) ) , ( 1cute girl) , half body,
14. 折纸艺术 (layered paper)
( ( layered paper) ) , ( 1cute girl) walking in street, half body,
种子固定和controlnet限制 controlnet限制 种子固定 无限制
去掉街道出一次图
( ( layered paper) ) , ( 1cute girl) , half body,
很显然,这个风格是不对的,那么应该如何才能表现折纸风呢?想一想,平时是不是单个物件来表示是比较合适的?那么就来只鸟吧
( ( layered paper) ) , 1bird,
15. 橡皮泥风格 (plasticine)
( ( plasticine) ) , ( 1cute girl) walking in street, half body,
种子固定和controlnet限制 controlnet限制 种子固定 无限制
无街道
( ( plasticine) ) , ( 1cute girl) , half body,
16. 水墨画(chinese ink style)
( ( chinese ink style) ) , ( 1cute girl) walking in street, half body,
种子固定和controlnet限制 controlnet限制 种子固定 无限制
去掉街道
( ( chinese ink style) ) , ( 1cute girl) , half body,
变成景色描写
( ( chinese ink style) ) , hill, moutain,
17. 皮影戏艺术 (chinese shadow puppets)
( ( chinese shadow puppets) ) , ( 1cute girl) walking in street, half body,
种子固定和controlnet限制 controlnet限制 种子固定 无限制
去掉街道
( ( chinese shadow puppets) ) , ( 1cute girl) , half body,
皮影戏是戏,那我们可以描述得详细一些,比如女孩骑在马上穿行在山间
( ( chinese shadow puppets) ) , ( 1girl) riding a horse through the mountains, left is trees, right is trees
18. 移轴摄影风格 (tilt-shift photography / axis shifting photography)
( ( tilt- shift photography) ) , ( 1cute girl) walking in street, half body,
种子固定和controlnet限制 controlnet限制 种子固定 无限制
要知道移轴是用来表现大场景的,现在给个city
测试一下
( ( tilt- shift photography) ) , city,
19. 平面涂鸦风格 (graffiti art, 2d, illustration)
( ( graffiti art, 2d, illustration) ) , ( 1cute girl) walking in street, half body,
种子固定和controlnet限制 controlnet限制 种子固定 无限制
去掉街道
( ( graffiti art, 2d, illustration) ) , ( 1cute girl) , half body,
交替渲染的方式生图
( ( [ graffiti art| 2d| illustration] ) ) , ( 1cute girl) walking in street, half body,
种子固定和controlnet限制 controlnet限制 种子固定 无限制
交替渲染,去掉街道
( ( [ graffiti art| 2d| illustration] ) ) , ( 1cute girl) , half body,
这是一个混合后才能生成的风格,三个风格本身是有差别的,一个比一个平,我们看一下各自风格对应出图情况。
graffiti art 2d illustration
graffiti art 2d illustration
graffiti art 2d illustration
graffiti art 2d illustration
再来一组各风格随机。
20. 仙女系 (fairy kei fashion)
( ( fairy kei fashion) ) , ( 1cute girl) walking in street, half body,
种子固定和controlnet限制 controlnet限制 种子固定 无限制
去掉街道
( ( fairy kei fashion) ) , ( 1cute girl) , half body,
21. 超现实主义(surrealism)
( ( surrealism) ) , ( 1cute girl) walking in street, half body,
种子固定和controlnet限制 controlnet限制 种子固定 无限制
去掉街道
( ( surrealism) ) , ( 1cute girl) , half body,
22. 创世纪风 (genesis)
( ( genesis) ) , ( 1cute girl) walking in street, half body,
种子固定和controlnet限制 controlnet限制 种子固定 无限制
去掉街道
( ( genesis) ) , ( 1cute girl) , half body,
好像没有创世纪的感觉~~那么我们加入点宗交元素。
( ( genesis) ) , ( angel) , cloudy sky, the steps, ceiling
23. 潜意识 (subconsciousness)
( ( subconsciousness) ) , ( 1cute girl) walking in street, half body,
种子固定和controlnet限制 controlnet限制 种子固定 无限制
去掉街道
( ( subconsciousness) ) , ( 1cute girl) , half body,
这些和潜意识有什么关系呢???潜意识画风的定义是指一种表现手法,用来表现人物内心深处的情感和想法。这种表现手法通常使用一些模糊、朦胧的画面来表现人物的梦境、幻觉、回忆等,要么这样试试?
( ( subconsciousness) ) , sea, sun, buildings, ball, cliff, elephant, elephant, nose, hand, foot, rope
对比一下同样的提示词和参数,不同风格下的感觉,不是都很魔幻么???
24. 浪漫主义 (romantic)
( ( romantic) ) , ( 1cute girl) walking in street, half body,
种子固定和controlnet限制 controlnet限制 种子固定 无限制
去掉街道
( ( romantic) ) , ( 1cute girl) , half body,
25. 哥特风景和建筑 (gothic architecture and landscape)
( ( gothic architecture and landscape) ) , ( 1cute girl) walking in street, half body,
种子固定和controlnet限制 controlnet限制 种子固定 无限制
去掉街道
( ( gothic architecture and landscape) ) , ( 1cute girl) , half body,
26. 宫崎骏风格 (studio ghibli)
( ( studio ghibli) ) , ( 1cute girl) walking in street, half body,
种子固定和controlnet限制 controlnet限制 种子固定 无限制
去掉街道
( ( studio ghibli) ) , ( 1cute girl) , half body,
27. 马里奥风格 (mario style)
( ( mario style) ) , ( 1cute girl) walking in street, half body,
种子固定和controlnet限制 controlnet限制 种子固定 无限制
去掉街道
( ( mario style) ) , ( 1cute girl) , half body,
28. 皮克斯风格 (pixar style)
( ( pixar style) ) , ( 1cute girl) walking in street, half body,
种子固定和controlnet限制 controlnet限制 种子固定 无限制
去掉街道
( ( pixar style) ) , ( 1cute girl) , half body,
29. 我的世界风格 (minecraft)
( ( minecraft) ) , ( 1cute girl) walking in street, half body,
种子固定和controlnet限制 controlnet限制 种子固定 无限制
去掉街道
( ( minecraft) ) , ( 1cute girl) , half body,
30. 乐高积木 (out of LEGO)
( ( out of LEGO) ) , ( 1cute girl) walking in street, half body,
种子固定和controlnet限制 controlnet限制 种子固定 无限制
去掉街道
( ( out of LEGO) ) , ( 1cute girl) , half body,
31. 教堂窗户(stained glass window)
( ( stained glass window) ) , ( 1cute girl) walking in street, half body,
种子固定和controlnet限制 controlnet限制 种子固定 无限制
去掉街道
( ( stained glass window) ) , ( 1cute girl) , half body,
32. 艺术家Mr.Doodles的风格(Mr.Doodles style)
( ( Mr. Doodles style) ) , ( 1cute girl) walking in street, half body,
种子固定和controlnet限制 controlnet限制 种子固定 无限制
去掉街道
( ( Mr. Doodles style) ) , ( 1cute girl) , half body,
33. 涂鸦意大利面(graffiti pasta)
( ( graffiti pasta) ) , ( 1cute girl) walking in street, half body,
种子固定和controlnet限制 controlnet限制 种子固定 无限制
去掉街道
( ( graffiti pasta) ) , ( 1cute girl) , half body,
34. 强迫性绘画(obsessive compulsive drawing)
( ( obsessive compulsive drawing) ) , ( 1cute girl) walking in street, half body,
种子固定和controlnet限制 controlnet限制 种子固定 无限制
去掉街道
( ( obsessive compulsive drawing) ) , ( 1cute girl) , half body,
35. 宝可梦风格(pokemon style)
( ( pokemon style) ) , ( 1cute girl) walking in street, half body,
种子固定和controlnet限制 controlnet限制 种子固定 无限制
去掉街道
( ( Pokemon style) ) , ( 1cute girl) , half body,
36. 卡通(cartoon)
( ( cartoon) ) , ( 1cute girl) walking in street, half body,
种子固定和controlnet限制 controlnet限制 种子固定 无限制
去掉街道
( ( cartoon) ) , ( 1cute girl) , half body,
37. 建筑设计(architectural design)
( ( architectural design) ) , ( 1cute girl) walking in street, half body,
种子固定和controlnet限制 controlnet限制 种子固定 无限制
去掉街道
( ( architectural design) ) , ( 1cute girl) , half body,
38. 海报风(poster style)
( ( poster style) ) , ( 1cute girl) walking in street, half body,
种子固定和controlnet限制 controlnet限制 种子固定 无限制
去掉街道
( ( poster style) ) , ( 1cute girl) , half body,
39. 多视图(multiple views)
( ( multiple views) ) , ( 1cute girl) walking in street, half body,
种子固定和controlnet限制 controlnet限制 种子固定 无限制
去掉街道
( ( multiple views) ) , ( 1cute girl) , half body,
到底怎么实现原画三/多视图呢?来了。注意:加上动作提示词会比较容易出好图
photorealistic, 8k, ( background, white background: 1.5 ) , multiple views, 1cleaning lady, smile, full body
总结
1. easynegative
将污染特色风格
easynegative
作为一个整合了众多反向提示词的词缀(需要安装到embeddings目录下),一般情况下用起来很舒服,但是他内在要求画与真实世界相仿的表现,所以在某些模型下对某些风格会起到重大的污染,导致想要的风格丧失,转而偏向照片风格,但如果利用好,则可以生出精致的图。
无easynegative(风格凑活) 有easynegative(环境无特效) 无easynegative(风格正确) 有easynegative(污染较严重)
2. half body不代表上半身
half body
作为最后一个词缀,且没有设置权重,那么让AI自由发挥的时候往往出图是全身照,有时候出现的是下半身,所以half body
并不是最好的词缀,如果明确是上半身,那么用upper body
更合适,当然upper body
也不能确保一定是上半身,记得结合权重。
3. 可加上style和art来实现效果
Stable Diffusion不同模型对提示词的识别度不完全一致,可以加上加风格style
、art
等词缀试试效果。同时 比如荧光效果中,没加art
的时候,AI的理解是荧光棒,而不是荧光风格,加了之后情况就好多了。
不同风格的词缀适用场景是不同的,本文提示词描写了一个可爱的女孩在街道中,但这样的描述会限制某些风格的发挥。 比如在荧光颜料风格中,都用了easynegative
反向提示词,都写明街道可能导致场景增加荧光物体而人物风格却不变,但如果不写街道,那么人物的主体风格也是荧光风格,而不是穿着荧光材料,这一点需要注意。
4. 任何配置变化都将影响出图
同样的模型,不同版本,不同电脑上渲染,出图结果差异非常大,也就是说不同的机器需要不同的调试。 比如在机器1和机2上渲染荧光效果,同样的边缘动作控制,两台不同电脑模型相同,但版本不同,出图效果还是有差异的,机1似乎完全忘了要荧光这件事。
5. 注意匹配风格所需的元素提示词
不同风格需要不同的适用提示词才能表现出该风格。 比如等距3D模型主要是运用于场景出图,但如果你给了人物为主的提示词,甚至有controlnet限制,那么结果将大相径庭。
人物为主:
( ( isometric 3d cube) ) , ( 1cute girl) walking in street, half body,
物体为主:
( ( isometric_3d_cube) ) , ( buildings) , trees, road, cars
6. 不同种子出图差异大
同一个模型,同一套提示词,参数也都一样,但因为种子不同,效果可能差异非常大,。 比如这个
( ( isometric 3d cube) ) , ( 1cute girl) walking in street, half body,
种子:2513253825 种子:2961024435 种子:2663910581 种子:2663910578
7. 不同风格词缀的混用冲突
不同风格词缀在初学时尽量不要混用,否则你并不清楚不同的提示词到底会绘制成什么样子。 比如本文所用photorealistic
是照片感,与浮世绘、像素风放一起,将会将其污染,看下图,图片是日式,但离浮世绘的感觉还有距离,更偏照片一点;而像素风索性是被污染最严重的一种风格。
浮世绘 像素风 16bit pixel 严重污染 pixel art 极轻微污染
8. 风格混用
在掌握了一定的风格后,你就可以尝试把不同的风格混合在一个图像里,形成你所需要的内容 比如出一个伪3D像素风格的图片,那么可以这样:
比如出一个伪3D荧光风格的图片,那么可以这样:
9. 自定义风格
很多自定义风格需要在现有基础上重新改造 比如重写个粗笔速写,但还不是那么速(也可以把marker sketch
换成simple sketch
试试)。
( ( marker sketch) ) , ( black and white) style, ( simple lines) , ( ( only black lines) ) , ( white background) , ( simple background) , high contrast, basic shapes, ( 1cute girl) walking in street, half body, white face
Negative prompt: ( ( gray) ) , colorful, gradient, color gradient, light, fine lines, messy lines, small lines, black face,
种子固定和controlnet限制 controlnet限制 种子固定 无限制
10. 系统出错导致风格污染
偶尔系统会出bug,在使用了controlnet后,将导致风格污染严重。 就像是把照片模式吃进了系统中无法修改,如果你遇到了这个问题,重启ai也没用,那么我建议你重启电脑再试试吧。 比如下图中,参数模型一摸一样,但出图人物差异严重。
简笔风正常 简笔风出错 blender 3d正常 blender 3d出错
11. controlnet的canny影响出图
做过边缘限定的出图,部分模型会受较大影响,而使用openpose限定动作的情况则会好转很多。 比如下面两张简笔画风格;
canndy边缘限定 openpose动作限定
12. controlnet对不同的模型的影响不同
有些模型能出现正确的风格,有些模型局限性就非常大; 比如剪纸艺术中,两个模型都用controlnet限制边缘和动作,但结果却完全不同
机1失败 机2成功
13. 不同版本的controlnet出图可能不同
不知道是bug还是正常,同样的模型,同样的参数,同一台电脑,但时间不同,并且系统升过一次级,则出图不同。 比如下图中,参数模型一模一样,连种子都一样,结果出图完全不同。
( ( holographic iridescent) ) , ( 1cute girl) walking in street, half body,
Negative prompt: easynegative
Steps: 32 , Sampler: Euler a, CFG scale: 7 , Seed: 3472141699 , Face restoration: CodeFormer, Size: 1024x512, Model hash: a60cfaa90d, Model: dreamshaper_5BakedVae, Clip skip: 2 , ENSD: 31337
昨天 今天
14. 模型不同出图肯定不同
模型不同,参数不同出来的图肯定不同,我们也需要利用这个原理寻找适合作品要求的模型。
比如水墨画风格的天净沙·秋思,出图感觉完全不同
( ( chinese ink style) ) , withered, vines, old trees, gloomy, crow, small bridge, flowing water, people's home, ancient road, west wind, thin horse, sunset, heartbroken, person, at the edge of the sky
dreamshaper dreamshaper v1-5-pruned-emaoonly v1-5-pruned-emaoonly
15. 同一模型的不同版本出图效果可能不同
同一个模型的不同版本,可能无法实现同样的效果。 比如以下实现等距3D模型,同样的提示词,不同模型版本,有的往往不能正确理解到底这个cube
到底干吗用~总是把房子变成cube
。
( ( isometric_3d_cube) ) , buildings, trees, road, cars
Negative prompt: cube
dreamshaper_5BakedVae dreamshaper_331BakedVae dreamshaper_5BakedVae dreamshaper_331BakedVae
参考: Midjourney关键词与风格类比【附关键词】