查看原文
其他

多快好省,低门槛AI部署工具FastDeploy测试版来了!

百度AI 2022-12-19

人工智能产业应用发展得越来越快,开发者需要面对的适配部署工作也越来越复杂。一方面,新的算法模型层出不穷,另一方面,各种 AI 硬件芯片也不断涌现。同时,在实际算法落地中,也是需要处理不同场景(服务器部署、服务化部署、嵌入式部署、手机端部署等),不同操作系统(Linux、Windows、Android、iOS 等),不同编程语言(Python、C++ 等),这些都为 AI 开发者项目落地带来不小的挑战。


针对上述痛点问题,我们开始尝试一种新的产品 FastDeploy,它可以针对产业落地场景中的重要 AI 模型,在不同的硬件环境下,支持开发者下载已经预编译好的多种 SDK,开发者参考文档,简单几步即可完成 AI 模型的部署,大幅降低部署难度和时间成本。

现在,FastDeploy 发布了0.1版本,该版本具备三类特色能力:

  • 低门槛:一行命令下载 SDK,一行命令即可体验部署 Demo;不同硬件平台一致的代码体验,降低基于业务模型和业务逻辑二次开发难度;经过官方验证,算法模型精度和推理鲁棒性有保证。
  • 多场景:支持云、边、端(包括移动端)丰富软硬件环境部署,支持图像、视频流、一键服务化等部署方式,满足不同场景的 AI 部署诉求。
  • 多算法:支持图像分类、目标检测、图像分割、人脸检测、人体关键点检测、文本识别等30多个主流算法模型选型。

点击阅读原文获得项目传送门:
https://github.com/PaddlePaddle/FastDeploy

1

低门槛使用

一行命令快速体验部署


FastDeploy 通过配置文件的方式,实现 AI 算法的前后处理,新手开发者也可以轻松完成部署。不同平台的 API 接口定义风格统一,方便开发者基于业务模型和业务逻辑灵活的二次开发。针对开发环境中的部署编译难题,FastDeploy 向开发者提供了经官方验证的编译环境和编译脚本,降低AI部署落地的门槛。目前 FastDeploy 提供了两种 SDK 下载方式:

  • 页面体验,下载即可使用。


  • GitHub 命令行体验,通过简单的一行命令,即可下载对应的 SDK。开发者可以参照文档,快速将下载后的 SDK 部署到实际项目中。

向下滑动查看所有内容


2

多场景覆盖

云边端多平台一网打尽


FastDeploy v0.1 目前支持 Intel X86_64 CPU、NVIDIA GPU X86、ARM CPU(v7、v8)、Jetson Nano、Jetson TX2、Jetson Xavier 系列硬件,并支持Windows、Linux、Android、iOS 四种操作系统;支持图像、视频流(包括 RTSP、RTMP、HLS、HTTP 等常见网络协议)输入推理部署,并且可以服务化部署和网页体验;在多数场景同时支持 C++ 部署和 Python 部署,满足了不同开发者的差异化部署诉求。


3

多算法支持

赋能不同行业 AI 落地


FastDeploy v0.1 覆盖7大类算法(图像分类、目标检测、语义分割、实例分割、人脸检测、人体关键点检测、文本识别),提供近300个 SDK。同时,FastDeploy 可以快速实现个性化模型替换,开发者只需要将训练好的模型替换到部署 SDK 中,即可完成自己业务模型的快速部署。

左右滑动查看更多


快速开始教程


开发者仅需要下载对应模型、硬件、操作系统的 SDK,一行代码即可体验 FastDeploy 丰富的部署能力。


我们以 YOLOv5 为例,来看下 FastDeploy 在不同平台(Linux 系统、Windows 系统、Android 系统、iOS 系统)的 SDK 工程实例。

  • YOLOv5 在 NVIDIA GPU / X86 CPU Windows 下的工程实例:


  • YOLOv5 在 NVIDIA GPU / X86 CPU Linux 下的工程实例(包括 C++ 和 python 语言):


  • YOLOv5 在 ARM CPU Android 下的工程实例:


  • YOLOv5 在 ARM CPU iOS 下的工程实例:


FastDeploy 包含两种使用方法,图形化界面方式和命令行方式。详细操作步骤见下图。

  • 图形界面方式:


  • 命令行方式:


了解更多


想了解更多如何使用 FastDeploy 快速推理,可以:

  • 参考对应的文档:

向下滑动查看所有内容


  • 更多 FastDeploy 产品信息,可以参看 GitHub 详细了解:
https://github.com/PaddlePaddle/FastDeploy

  • 欢迎更多参与 AI 模型部署的的开发者们,加入 FastDeploy 的社区交流。

4

私享线上交流会


为了充分和开发者交流产品使用中遇到的难题,6月30日晚20:30,FastDeploy产研团队核心成员将和进群开发者一起召开一次线上腾讯会议讨论会,针对性地讨论目前大家遇到的问题与未来需求,欢迎大家扫码进群,获取6月30日线上会议链接!限定200席,报满为止。

扫码报名线上交流会


您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存