让 AI 为我创作的诗歌配画 #wombo.art #Disco Diffusion

Mixlab

仅仅用一段文字，可以实现哪些应用与创作？

知识库

文字转语音；

文字驱动数字人；

文字生成图像；

......

# vonage 专业文本转语音工具

ASR 自动语音识别 + TTS 文本转语音 +Voice2Face 语音控制驱动模型（声音数据对应的标签是模型动画的 blendshape 权重）驱动数字人

# openai.com/dall-e-2/ 文本生成图像

我对生成式艺术这块比较感兴趣，用文本生成艺术有没有什么好的创作工具呀？

#

#

我了解有 wombo.art 、Disco Diffusion 这两个工具

小杜

Disco Diffusion 渲染时间较长，先用 wombo.art 尝试下为我写的诗歌创作出插画～

wombo.art

Wombo 是一家加拿大初创公司，其同名的软件应用支持使用人工智能，让用户基于文本提示生成原创 “艺术品”。用户只需描述想要它画的东西——比如 “这是这位人工智能艺术家年轻时的肖像” ,再从提供的选择中选择一种风格（神秘、巴洛克、幻想艺术、蒸汽朋克等）或选择“无风格”，并点击创建，即可生成画作。

小杜

我创作的《海上列车》画面感较强，拿这篇考验下 AI 的插画创作水平～

原诗所用背景为插画家 @Ryo Takemasa 的画作

| 背景图片引用于

www.behance.net/gallery/62675769/Norimonozukushi 

小杜

本文挑选的 AI模型 只能识别英文，先转换下语言

Click click

The train moved slowly

There is a golden color through sleeping eyes

Refracted azure

Wave upon wave

Floating in wet dreams

Time weaves the silk thread of light and shadow

Glitter across my face

Twisted into a spreading root

A tree grew out of the pillow

The ripening fruit awakens me

All of a sudden

The sky and the canopy are connected by the blood of sound

The plane was entangled with cicadas

Fade out

Fade out

I couldn't hear who was roaring

小杜

AI 根据文本进行创作的技巧在于主体明确（主语名词是典型的特征物品，如本文中的列车、飞机），形容词性特征性强（如颜色），语段中有名词之间的联系（如本文中出现的飞机与蝉纠缠在一起）。由此挑选出本文中适合 AI 创作的语句

# 01

列车缓缓行驶

有一片金黄透过熟睡的眼

The train moved slowly

There is a golden color through sleeping eyes

# 02

枕上生出一颗树

成熟的果实将我砸醒

A tree grew out of the pillow

The ripening fruit awakens me

# 03

天空与树冠连结了声音的血脉

The sky and the canopy are connected by the blood of sound

# 04

飞机与蝉纠缠在一起

The plane was entangled with cicadas

小杜

除了适宜 AI 创作的文本结构，AI 算法风格的选择也很重要。所以艺术创作者运用 AI 进行绘画创作并不是简单的将一句话轻松地丢给算法那么简单。其中的 “玄学套路” 非常多，需要创作者不断地调整文本与参数细节。

Mixlab

Disco Diffusion 渲染好了不？看看效果呗～

小杜

运用 Disco Diffusion 进行创作的关键步骤是在 “Prompts” 模块中更改描述语句。每次语句渲染都要花费 1h 左右。如果希望缩短渲染时长也可以更改图像长、宽大小（必须是64的倍数）或者将服务升级为专业版。

# 

The train moved slowly

There is a golden color through sleeping eyes

Disco Diffusion 渲染成品

Mixlab

感觉效果差强人意？

小杜

正常的。。。AI 创作需要各种试错，目前已有创作者总结出了一些文本结构的套路。

一段 AI 生成文本包含画种描述、内容描述、画家描述、参考网站与颜色描述五个描述模块。

小杜

给对 AI 文本生成画作感兴趣的同学推荐一个教程，可以短时间上手制作自己的 AI 生成作品～

图片引用于 b 站 up AYU的百宝箱 

教程链接：

www.bilibili.com/video/BV1J44y1P7Xa/?spm_id_from=333.788

Mixlab

我们的群友 @Simon的白日梦 也创作了非常棒的 生成式AI 作品 

opus

欢迎加入社群，探索 AI艺术 的全新可能～ 

备注：AI艺术
[ 元宇宙创作者指南 ] [ 元宇宙资源清单 ]
github.com/shadowcz007/awesome-metaverse