查看原文
其他

Xorbits,一个超强的 python 库

程序员小寒 程序员学长 2023-10-03

大家好,我是小寒。

今天给大家分享一个超强的 python 库,xorbits

https://github.com/xorbitsai/xorbits

Xorbits 是一个开源计算框架,可以轻松扩展数据科学和机器学习工作负载,从数据预处理到调整、训练和模型服务。
注意:中秋福利,文末送书(包邮),千万不要错过
‍‍
Xorbits 可以利用多核或 GPU 来加速单台机器上的计算,或扩展到数千台机器以支持处理 TB 级数据以及训练或服务大型模型。
Xorbits 为数据科学家和机器学习从业者提供了一套一流的库。Xorbits 提供了扩展任务的能力,而无需广泛了解基础设施。
  • Xorbits Data:使用你喜欢的工具(例如 pandas 和 Numpy)加载和处理从小到大的数据集。

  • Xorbits Train:为 ML 和 DL 框架(例如 PyTorch、XGBoost 等)训练你自己的最先进模型。

  • Xorbits Tune:通过运行 PEFT 等最先进的算法来微调你的模型。
  • Xorbits Inference:可扩展服务以部署最先进的模型。与最流行的深度学习库集成,如 PyTorch、ggml 等。

Xorbits 具有熟悉的 Python API,支持各种库,包括 pandas、NumPy、PyTorch、XGBoost 等
只需简单修改一行代码,即可使用 Xorbits 无缝扩展你的 pandas 工作流程。

为什么选择 Xorbit?

处理 pandas 无法处理的大型数据集

Xorbits 可以利用你计算机的所有的计算核心。

它对于处理较大的数据集特别有益,因为 pandas 可能会减慢速度或耗尽内存。

闪电般的速度

根据基准测试,Xorbits 在速度和可扩展性方面超越了其他流行的 pandas API 框架。

通过本机集成利用 Python 生态系统

Xorbits 旨在充分利用 python 整个机器学习生态系统,提供与 pandas 和其他库的本机集成。

初体验

库的安装

我们可以直接通过 pip 来进行安装。
pip install xorbits

使用 Xorbits Pandas API 绘图

使用 xorbits.pandas 很简单,和使用 pandas 的语法一模一样。
import xorbits.pandas as pd
df=pd.read_csv("Data.csv")
df['y1'].plot()

更多的使用技巧可以参考官网文档。

https://doc.xorbits.io/en/latest/

最后,中秋节要到了,给大家从出版社争取了几本书,免费送给大家(包邮到家)
AI 时代 Excel 数据分析提升之道:知识精进+学习答疑+上机实训+综合实战+ChatGPT应用,零基础入门,极速提升数据分析效率!

送书规则:进群抽奖获取


最后



今天的分享就到这里。如果觉得不错,点赞,转发安排起来吧。接下来我们会分享更多的 「深度学习案例以及python相关的技术」,欢迎大家关注。最后,最近新建了一个 python 学习交流群,会经常分享 「python相关学习资料,也可以问问题,非常棒的一个群」

「进群方式:加我微信,备注 “python”」



往期回顾


Fashion-MNIST 服装图片分类-Pytorch实现

python 探索性数据分析(EDA)案例分享

深度学习案例分享 | 房价预测 - PyTorch 实现

万字长文 |  面试高频算法题之动态规划系列

面试高频算法题之回溯算法(全文六千字)  

    



如果对本文有疑问可以加作者微信直接交流。进技术交流群的可以加微信拉你进群。

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存