OpenMMLab的这些CV开源库,你收藏了吗?
(点击上方公众号,可快速关注)
转自:Coggle数据科学
【导读】:香港中文大学(MMLab实验室)和商汤发起的OpenMMLab计划,旨在一个统一的代码架构上,逐步开放实验室积累的算法和模型,为计算机视觉不同方向建立的统一代码库。本文带来OpenMMLab的八个主要分支库,建议拓展阅读并收藏!
---以下是正文---
Open-MMLab
现代AI系统日趋复杂,模型细节的优化和调节需要长时间的专注和积累。同时系统的发展需要越来越多不同研究背景的团队共同参与,让每个团队专注于某一个方面的开拓与探索。
在这样的背景下,香港中文大学(MMLab实验室)和商汤发起了OpenMMLab计划。希望在一个统一的代码架构上,逐步开放实验室积累的算法和模型,为计算机视觉的研究社区贡献自己的一分力量。时至今日OpenMMLab已经发展为计算机视觉&深度学习中非常重要的库,其中比较出名库有MMDetection和MMFashion,这些库降低了模型训练的门槛,还提供了预训练的模型,是科研和竞赛的必备。
本文将对OpenMMLab中的分支库进行简单介绍,预计需要5分钟阅读。内容较多,可以先收藏再阅读。
01 MMCV
MMCV(基础支持)提供了更完善的训练流程支持,文件读取多后端支持,图片处理多后端支持,更丰富的 CNN 模块,20 种常用算子的高效 CUDA 实现。MMCV是Open-MMLab其他库的基础库,其提供的具体功能包括:
Universal IO APIs
Image/Video processing
Image and annotation visualization
Useful utilities (progress bar, timer, ...)
PyTorch runner with hooking mechanism
Various CNN architectures
High-quality implementation of common CUDA ops
MMCV项目链接:
02 MMDetection
MMDetection(物体检测)支持算法多达 40 个,300+ 预训练模型,速度和精度相比 1.0 版本有很大提升。通过更细粒度的模块化设计,MMDetection 的任务拓展性大大增强,成为了检测相关项目的基础平台。MMDetection是最为流行的物体检测库,也是物体检测竞赛必备的技能。MMDetection提供了较为完善的物体检测流程和预训练模型,非常推荐学习。
MMDetection项目链接:
https://github.com/open-mmlab/mmdetection
03 MMAction2
MMAction2(动作识别)支持 8 种模型和 8 个数据集,提供完善的数据处理脚本,支持多种解码器进行高效的在线视频解码,训练速度快,模型精度高。更细粒度的模块化设计,易于拓展。
MMAction2项目链接:
https://github.com/open-mmlab/mmaction2
04 MMEditing
MMEditing(图像视频编辑)设计了统一的框架同时支持超分、修复、抠图、生成四大方向,方便用户在一个框架中调用不同的算法和模型。提供了丰富的底层视觉算法的高效算子,拥有高效的训练和测试速度,复现了多个未开源算法,并首次公开实现了基于 PyTorch 的 GAN 的分布式训练。
MMEditing项目链接:
https://github.com/open-mmlab/mmediting
05 MMClassification
MMClassification(图像分类)丰富的训练配置,支持常见网络的复现,并提供相应的预训练模型。
MMClassification特点如下:
Various backbones and pretrained models
Bag of training tricks
Large-scale training configs
High efficiency and extensibility
MMClassification项目链接:
https://github.com/open-mmlab/mmclassification
06 MMPose
MMPose(姿态估计)同时支持 top-down 和 bottom-up 类型算法的开源人体姿态估计框架,并实现了目前学术界的最高训练精度和最快训练速度。基于模块化的设计,易于拓展和修改。后续将支持多人3D姿态估计、密集人群的姿态估计、人脸关键点等更多模块。
MMPose项目链接:
https://github.com/open-mmlab/mmpose
07 MMSegmentation
MMSegmentation(语义分割)对 10+ 种语义分割算法的进行了统一 benchmark,并且达到了更高的精度。开源了 200+ 预训练模型和丰富的配置,方便进行横向纵向比较。支持丰富的训练和测试 trick,可以应对多样的使用场景。支持混合精度训练,节省显存 40%以上。
MMSegmentation项目链接:
https://github.com/open-mmlab/mmsegmentation
08 MMDetection3D
MMDetection3D (3D物体检测)支持了VoteNet, MVXNet, Part-A2,PointPillars等多种算法,覆盖了单模态和多模态检测,室内和室外场景SOTA; 还可以直接使用训练MMDetection里面的所有300+模型和40+算法,支持算法的数量和覆盖方向为3D检测代码库之最。
MMDetection3D项目链接:
https://github.com/open-mmlab/mmdetection3d
更多详细介绍,可以访问OpenMMLab官网:
http://openmmlab.com/index.html
- EOF -
1、老照片修复、寻找系外行星……这里有8个超赞的机器学习项目
看完本文有收获?请转发分享给更多人
关注「大数据与机器学习文摘」,成为Top 1%
点赞和在看就是最大的支持❤️