🌓
搜索
 找回密码
 立即注册

开启AI绘画的魔法大门!探索Stable Diffusion的无限魅力~

admin 2023-7-26 23:48:57 75928


专注人工智能领域的生活化应用,致力于使人工智能的简单化并普及普通人,公众号内置大量有关AIGC的资料,欢迎关注领取!

Stable diffusion介绍:

"Stable Diffusion是一款创新的AI工具,将原始文本转化为精美图像。用户可调整图像的细节、风格、明暗等参数,创建个性化的高质量图像。这款高效的绘图工具便利了建筑、设计和插画等行业的专业人士,满足了他们的图像生成需求。"


介绍的再多不如一组图片展示来的更直观,更有冲击~


Stable Diffusion出图展示:


从上面这几组图片可以看出Stable Diffusion在生成人物画像上、产品图上、以及风景照上的表现都非常不错,其实自己想要生成以上的这些画作并困难


以下是Stable Diffusion的入门基础教程,结尾还有全套的体系课程介绍~

#1

SD的界面与基础设置

Interface and basic Settings of SD

图生图界面

建筑出图适合图生图模式,找到想要的意向图

重绘幅度

在图生图的模式中,重设幅度的数值会占些比重,重绘幅度越接近0,与意向图更接近;重绘幅度越大,相似度就越小。

出图数量

批次和数量的越大,图像生成的速度越减缓,因此对显卡的性能要求也提高;通常情况下,选1,可以进行多次调试操作;填数越多,速度越慢,也容易造成内存溢出等故障。若图像生成速度过慢,可考虑暂停并重新调整生成数量。

注:在一种模式(比如:文生图)正在出图的时候,无法选择另一种模式(比如:图生图),两种出图模式无法同时进行。

输出结果

保存根目录:[......\outputs\img2-imgimages]

#2

SD的模型分类与特征

Model classification and characteristics of SD

模 型 下 载

从C网站中下载大模型


以c站为例:

在c站右侧进行筛选模型类型


下载的模型放在根目录的这个文件夹下......\sd-webui-aki-v4\models\Stable-diffusion】,会发现有很多不同种类的模型,我们一般常使用的有:vae,ckpt,safesentor,lora, embedding,

等模型类别。

CKPT 模 型

又称为大模型、主模型,全称是CheckPoint(检查点)。早期的文件后缀名称为ckpt,如今一般为safesentors。体积一般在几个G左右。CKPT模型决定了创作的基础方向。比如我们要进行建筑方向的创作,那么需要采用CKPT模型来加载建筑方向,而非使用人物CKPT模型等等。

Lora 模 型

lora模型其实是一种主模型的微调模型,专攻某一特点或者某一风格。文件后缀名为safesentors,体积一般在几十到几百兆不等。与 CKPT模型一次绘画只能加载一个不同,可以同时加载多个lora模型。也可以简单的将其理解为lora模型就像主模型的风格滤镜。它的加载方式就像是游戏中的MOD补丁。

注:safesentor与ckpt其实是同一种文件,也可以软件中相互转换,但相对来说safesentor安全一些,ckpt偶尔会发生乱码病毒的情况,如果可以尽量选择下载safesentor。

Embedding 模 型

相当于是一个提示词打包的功能,也可以生成特定的动作或者特征,体现某种画风,一般只有几十kb。比如我们要画一个室内效果图,但是固定一个室内往往需要几十条或者上百条的提示词:Minimalism,bright,4K,hyperquality,blacksofa,window,Sunshine,global illuminations,best quality,masterpiece,interior design,等等一大堆指向性明确的词汇。

这个时候就需要把这些词汇进行一个整合做成了一个embedding文件,只需要一个提示词,直接进行创作。常见格式为:pt,png,webp图片。

注:Embedding和lora模型的区别:

Embedding:只有几kb或者几十kb,对效果对画风指定一般,但是有制作三视图的功能,有多视图的展现。

Lora:是控制模型达到效果,对效果对画风指定较强,尤其在还原真实风格时,细节精度方面来说还是要选择lora模型。

功能都是给模型加一层“滤镜”,可称为“小模型”。两种模型的加载方式相同,点击生成下面show extra networks按钮,到选项卡选择嵌入/lora模型等类别。

VAE 模 型

相当于给模型增加一些滤镜,或者局部上的小细节,当然一般下载的大模型里都会自带VAE,所以不需要再加载了。

CKPT和LORA的模型后缀名称一样,如何分辨?

不要通过尾缀来确定模型类型!

 https://spell.novelai.dev/  查询模型的信息。

模型位置

#3

模型的选择与提示词

Model selection and prompt words

大模型最好要选择与之适配的模型,如何找到相适配的大模型呢?

步骤:1.找到作者公布的模型信息,位置如下:(模型名字)(chilloutmix)。

2.去c站打开everything模式,model type选checkpoint模式,

3.把复制的模型名字(chilloutmix)放在搜索框里进行搜索,找到进行下载。

【但如果作者未发布模型信息(模型名字),可以找评论里面有用过此大模型的作者,看看能否有大模型的文件。】

Tag提示词如何写?

1. 功能:正向提示词与反向提示词。

2. 分类思路:

画质、背景、场景、画风、光效、季节、天气、色调、风格、大师作品等

3. 格式:

     · 内容:两种提示词必填,以防出现低质或者多余画面。可以使用单词或者词组或者短句。但是短句尽量不要使用:数字+色彩+事物的描述。比如:提示词为“a black sofa”,AI会理解为:“black,sofa”,如图:

      · 分隔:不同的关键词之间,用逗号分隔,空格或者换行无影响。

    · 位置:在提示词当中越排在前面权重越高,所以主体应该放在前面。

    · 词性:对画面也是有影响的,主要要考虑的是动词,也就是事物和事物之间的位置和状态;如果对画面不满意,可以继续修改动词。

4. 数值:

    · 数值:为0.1-100,默认状态是1,小于1是减弱,大于1是加强。Lora模型的话,尽量控制在1以内。

    · 加权重:使用一层()可以增加1.1倍,用一层【】可以减弱1.1倍,也就是两层1.1*1.1=1.21,第三层1.331倍,第四层是1.461倍,例如:((masterpiece)),((Minimalism)),(best quality),【low quality】。

· 渐变方式:(关键词1:数字),()是weibu的版本,写法(A:1.3)=1.3倍权重的A。

    · 混合: 可以使用And联系或者使用数字来进行权重:例如1masterpiece AND 2 Minimalism AND 1 best quality。

5. 也可以使用已有的提示词

     · 根据作者提供的模型信息里的提示词。

   · 网站解析:把用stable diffusion生成的AI图片放入网站:https://spell.novelai.dev/ 可以生成提示词:

6. 询问chatgpt

复制相似类型的风格类型,让AI进行英语描述,再复制粘贴;也可以询问AI建筑大师的名字,描述风格提示词,也容易生成类似风格的效果图。


如果你对AI绘画感兴趣,想进一步学习Stable Diffusion,Midjourney等AI绘画工具,欢迎加入AI浪潮时代的付费社群,我们有完整的体系课程,帮助你打开AI绘画的折扇魔法大门~ 


以下是内部资料的一些展示:



介绍社群的详细文章:

社群介绍

公众号:AI浪潮时代硬核AI社群:【浪潮时代】正式上线!

不想错过文章推送的话,点击下面公众号卡片,给 AI浪潮时代 公众号加个星标吧!

111533.jpg
随机推荐

最新主题

226 回复

枯鱼
2023-7-26 10:16:11
谢谢楼主!
学习到了
感谢分享!
若游
2023-7-26 11:14:44
我抢、我抢、我抢沙发~
回复支持是对作者的最有力的支持
谢谢楼主提供的资讯!
支持楼主发帖!
飘过
相当不错
没看完~~~~~~ 先顶,好同志
回复支持是对作者的最有力的支持
好好 学习了 确实不错
学习了,谢谢分享、、、
对我很有帮助
路过
支持楼主发帖!
不错不错,楼主您辛苦了。。。
支持楼主发帖!
路过,支持一下啦
回复让大家看到!
认真看完了
真的很不错
谢谢楼主!
LZ说的很不错
帮你顶下哈!!
内容对我有帮助
支持一下
好帖,来顶下
路过,支持一下啦
路过
晴天1
2023-7-26 21:17:40
相当不错
学习了,谢谢分享、、、
对我非常有用
感谢分享!
不错不错,很好哦
对我非常有用
前排支持下,谢谢分享
高级模式
游客
返回顶部