PaddleHub开源模型400+，三行代码也可实现无限AI创意梦想！

Q：最顶尖的 AI 技术到底离我们有多远？
A：三行 Python 代码的距离。

最近 AI 作画确实很火，在 DALL-E 和 Imagen 崭露头角之后，ERNIE-ViLG、Stable-Diffusion（SD）、Disco-Diffusion 相继开源开放，涌现出丰富多彩的 AI 作画作品。

ERNIE-ViLG 效果

prompt：夕阳日落时，阳光落在云层上，海面波涛汹涌，风景，胶片感

prompt：巨大的纯白色城堡

Stable-Diffusion（SD）效果

prompt:a beautiful landscape photography of snow covered Rocky mountains,a dead intricate tree in the foreground,sunset,dramatic lighting,by Marc Adamus

prompt:close-up maximalist illustration of panther,by makoto shinkai, akihiko yoshida,yoshitaka amano,super detailed,hd wallpaper, digital art

prompt:clouds surround the mountains and Chinesepalaces,sunshine,lake,overlook,overlook,unreal engine,light effect,Dream,Greg Rutkowski,James Gurney,artstation

Disco-Diffusion 效果

prompt：在 artstation 上的一幅美丽的画，一个独特的灯塔，照耀着它的光穿过喧嚣的血海

由 greg rutkowski 和 thomas Kinkade 所作

prompt：在宁静的风景中画一幅美丽的建筑画

由 Arthur Adams 在 artstation 上所作

prompt：小桥流水人家

以上惊艳的文图生成效果，是通过 PaddleHub 三行 Python 代码实现的作品：

import paddlehub as hub 
module = hub.Module(name="ernie_vilg") 
results = module.generate_image(text_prompts=["巨大的白色城堡"])

以上 ernie_vilg 替换为 stable_diffusion 或 disco_diffusion_ernievil_base 即可轻松体验不同的文图生成模型，用户也可自定义修改 text_prompts 来获得不同的效果体验。
三行代码虽然简单，但是代码背后的文图生成模型可不简单，分别来源于现在文图生成领域最顶尖的开源成果：ERNIE-ViLG、Stable-Diffusion 以及 Disco Diffusion+ERNIE-ViL。以 DD+ERNIE-ViL 为例，DD 扩散模型负责从初始噪声或者指定初始图像中来生成目标图像，ERNIE-ViL 负责引导生成图像的语义和输入的文本的语义尽可能接近，随着扩散模型在 ERNIE-ViL 的引导下不断的迭代生成新图像，最终能够生成文本所描述内容的图像。这种惊艳的效果，在 PaddleHub 这里只需要三行代码即可体验。也可以通过 huggingface 的 ERNIE-ViLG 空间体验，如图:

点击阅读原文获得链接

★ 欢迎 Star 关注 ★

https://github.com/PaddlePaddle/PaddleHub

PaddleHub 最新升级

PaddleHub 中除了 AI 作画之外，还有更多丰富模型宝藏。本次2.3.0版本更新，新增了包括文心大模型在内的40+模型，累计预训练模型数量已经超过400个，包括大模型、CV、NLP、语音、工业应用等大量优质模型。

目前累计 star 数量已超过8.3K，频频登上 Github Trending 日榜月榜，used by 800+，还有不少小伙伴频频贡献，也是深受开发者喜爱。

>> 简介与特性

PaddleHub 旨在为开发者提供丰富的、高质量的、直接可用的预训练模型。

• 特性一：模型种类丰富

涵盖大模型、CV、NLP、Audio、Video、工业应用主流六大品类的400+预训练模型，全部开源下载，离线可运行

• 特性二：超低使用门槛

无需深度学习背景、无需数据与训练过程，可快速使用 AI 模型

• 特性三：一键模型快速预测

通过一行命令行或者极简的 Python API 实现模型调用，可快速体验模型效果

• 特性四：一键模型转服务化

一行命令，搭建深度学习模型 API 服务化部署能力

• 特性五：十行代码迁移学习

十行代码完成图片分类、文本分类的迁移学习任务

• 特性六：跨平台兼容性

可运行于 Linux、Windows、MacOS 等多种操作系统

>> 图像领域

包括图像分类、人脸检测、口罩检测、车辆检测、关键点检测、人像分割、语言文本识别、图像超分/上色/动漫化等任务模型，实现效果见下图。

>> 文本领域
包括中文分词、词性标注、句法分析、AI 写诗/对联/情话/藏头诗、情感分析、文本审核、机器翻译、同声传译等 。

>> 语音领域
支持语音识别、语音合成、声音分类和声音克隆

• 语音识别效果如下：

Input Audio：

Recognition Result：我认为跑步最重要的就是给我带来了身体健康。

• 合成效果如下:

输入：Life was like a box of chocolates, you never know what you're gonna get.

轻松服务化部署

400+模型除了可以一键预测，还支持一键服务化部署。PaddleHub Serving 可以部署一个在线文图生成服务。
>> 第一步：启动 PaddleHub Serving
运行启动命令：

$ hub serving start -m ernie_vilg

这样就完成了一个文图生成的在线服务 API 的部署，默认端口号为8866。

NOTE：如使用 GPU 预测，则需要在启动服务之前，请设置 CUDA_VISIBLE_DEVICES 环境变量，否则不用设置。

>> 第二步：发送预测请求

配置好服务端，以下数行代码即可实现发送预测请求，获取预测结果。

import requests
import json
import cv2
import base64
from io import BytesIO
from PIL import Image

# 发送HTTP请求
data = {'text_prompts': '巨大的白色城堡'}
headers = {"Content-type": "application/json"}
url = "http://127.0.0.1:8866/predict/ernie_vilg"
r = requests.post(url=url, headers=headers, data=json.dumps(data))

# 获取返回结果
for i, result in enumerate(r.json()["results"]):
  image = Image.open(BytesIO(base64.b64decode(result)))
  image.save('result_{}.png'.format(i))

致谢开发者

★欢迎 Star 关注★

https://github.com/PaddlePaddle/PaddleHub

加入 PaddleHub 技术交流群

>> 入群福利

1、社区开发者充分技术沟通交流，组队参加各种创意赛事

2、获取 PaddleHub 优质项目合集，获取预训练模型发布最新资讯 

>> 入群方式

1、微信扫描下方二维码，关注公众号，填写问卷后进入微信群

2、查看群公告领取福利

注释：当前体验服务生成的所有内容都是由人工智能模型生成，我们对其生成内容的准确性、完整性和功能性不做任何保证，并且其生成的内容不代表我们的态度或观点。我们的服务来自于法律法规允许的包括但不限于公开互联网等信息积累，并已经过不断的自动及人工敏感数据过滤，但仍不排除其中部分信息具有瑕疵、不合理或引发不快。

引用

• -ERNIE-ViLG ERNIE-VILG:UNIFIED GENERATIVE PRE-TRAINING FOR BIDIRECTIONAL VISION-LANGUAGE GENERATION
• https://arxiv.org/pdf/2112.15283.pdf
• -Sttable Diffusion [High-Resolution Image Synthesis with Latent Diffusion Models]
• https://arxiv.org/abs/2112.10752
• -Disco Diffusion [Diffusion Models Beat GANs on Image Synthesis]
• https://arxiv.org/abs/2105.05233

相关地址

• 飞桨官网：https://www.paddlepaddle.org.cn/
• 文心官网：https://wenxin.baidu.com/
• GitHub 地址：

https://github.com/PaddlePaddle/PaddleHub

• Gitee 地址：

https://gitee.com/PaddlePaddle/PaddleHub

• PaddleHub 大模型体验教程：

https://aistudio.baidu.com/aistudio/projectdetail/4462918?ad-from=PaddleHub

• Huggingface 体验地址：

https://huggingface.co/spaces/PaddlePaddle/ERNIE-ViLG 

• 更多模型检索：

https://www.paddlepaddle.org.cn/hublist

精彩赛事

点击“阅读原文”直达 PaddleHub。