OH回顾 | Jina 全家桶产品最近动态

7 月 14 日 Jina AI 举办了首次面向中文社区用户的 Office Hours 活动，CTO 王楠带领工程师们分享了 Jina 全家桶的最新产品动态，本文为分享回顾。

没来得及参与本次 Office Hours 的小伙伴，可点击下方视频号，查看回放：

【Show Notes】

00:04    DocArray 更新

01:15    CLIP as service 

03:10    Finetuner

03:20    JCloud

04:40    Jina NOW

06:00    DocsQA

07:07    Jina Hub

07:51    Discoart“一行代码的艺术”

关注 Jina AI 公众号，后台回复【OH】，获取完整 PPT，了解 Jina 生态。

DocArray

• 支持向量搜索 + 过滤器
• 支持 MangoDB 的过滤语法
• 从 API 层面去支持了不同的向量索引，如 Elasticsearch，Qdrant 等

详见：https://docarray.jina.ai/advanced/document-store/

CLIP as service

• 用 Jina 重构了原 BERT as service 的底层代码
• 基于 Helm Chart 便于 kubernetes 的部署，并提供 Grafana 监控
• 提供 SaaS 服务，只需提供数据，由云端完成模型微调
• 基于 Zero-shot learning 的图像推理，可以快速搭建一套自动分类系统
  ‍
  

Finetuner 

• 提供 Finetuner SaaS 服务客户端
  

JCloud

• 生产环境下可用的免费托管服务
• 支持 Grafana 监控

Jina NOW 

• 支持 JCloud 部署
• 提供更多任务模版，如用音乐搜索音乐

DocsQA 

• 快速为文档构建问答机器人
• 整理、汇总社区问题，积累社区知识
• 目前已部署在 Jina 全家桶文档网站，与 FastAPI、Kornia 等多个开源项目。
• 现在开放对外公测，打开链接试试看！https://jina.ai/docsQA-console/

Jina Hub

• 优化 Sandbox 使用体验
• 自动生成 Executor 的使用代码

DiscoArt

• 一行代码的艺术
  
• repo：https://github.com/jina-ai/discoart

---

Q&A 

1. CLIP 模型的 Finetuner 方法，以及效果如何
   答：优化效果如图所示。
   方法详见：https://finetuner.jina.ai/tasks/text-to-image/

2. 怎么样去对模型进行推断加速，尤其是大模型和生成模型

    答：一方面是基于框架，Jina 生态靠 Jina 所提供的分布式框架，支持每个 executor 的服务是异步，非堵塞的，尽可能地从框架的工程角度来增加系统的推送量。

    另一方面是基于模型，目前业界采用较多的是使用更高算力。出于成本考虑，也可以做模型的转换，如把 PyTorch 的模型转到 ONNX 格式。模型转化的步骤，原是需要用户自己来完成的。对于目前热门的 CLIP 模型，Jina 已经提前转码好了，就在 CLIP as service 里，用户可以直接使用。并且，我们还采用了 TensorRT 后端用于快速推理。

    repo：https://github.com/jina-ai/clip-as-service

3.  Jina 和 Elasticsearch 如何配合使用？

    答：在底层数据方面，现在 Jina 支持有不同的存储后端，如 ES，Qdrant，Weaviate 等。可以通过 DocArray 将原生数据直接存入 ES 里，并且支持 ES 的向量搜索。也可以把数据从 ES 导出到 DocArray 里来。

    在上层应用：考虑到用户的迁移成本，所以也将支持在 ES 上搭建整套 Jina 全家桶服务，敬请期待。社区用户们希望想要更便捷地使用 ES 里面哪些功能，可以在社区里提建议。在评估建议的可行性后，我们将尽可能地争取把这些功能集成到产品里去。

    加入 Jina 全球社区：slack.jina.ai

神经搜索、深度学习、推荐系统

教程、Demo、干货分享

扫码备注加入讨论组

更多精彩内容（点击图片阅读）