查看原文
其他

OpenMMLab的这些CV开源库,你收藏了吗?

(点击上方公众号,可快速关注)

转自:Coggle数据科学


【导读】:香港中文大学(MMLab实验室)和商汤发起的OpenMMLab计划,旨在一个统一的代码架构上,逐步开放实验室积累的算法和模型,为计算机视觉不同方向建立的统一代码库。本文带来OpenMMLab的八个主要分支库,建议拓展阅读并收藏!


---以下是正文---


Open-MMLab


现代AI系统日趋复杂,模型细节的优化和调节需要长时间的专注和积累。同时系统的发展需要越来越多不同研究背景的团队共同参与,让每个团队专注于某一个方面的开拓与探索。


在这样的背景下,香港中文大学(MMLab实验室)和商汤发起了OpenMMLab计划。希望在一个统一的代码架构上,逐步开放实验室积累的算法和模型,为计算机视觉的研究社区贡献自己的一分力量。时至今日OpenMMLab已经发展为计算机视觉&深度学习中非常重要的库,其中比较出名库有MMDetection和MMFashion,这些库降低了模型训练的门槛,还提供了预训练的模型,是科研和竞赛的必备




本文将对OpenMMLab中的分支库进行简单介绍,预计需要5分钟阅读。内容较多,可以先收藏再阅读。


01 MMCV


MMCV(基础支持)提供了更完善的训练流程支持,文件读取多后端支持,图片处理多后端支持,更丰富的 CNN 模块,20 种常用算子的高效 CUDA 实现。MMCV是Open-MMLab其他库的基础库,其提供的具体功能包括:

  • Universal IO APIs

  • Image/Video processing

  • Image and annotation visualization

  • Useful utilities (progress bar, timer, ...)

  • PyTorch runner with hooking mechanism

  • Various CNN architectures

  • High-quality implementation of common CUDA ops

MMCV项目链接:

https://github.com/open-mmlab/mmcv

02 MMDetection


MMDetection(物体检测)支持算法多达 40 个,300+ 预训练模型,速度和精度相比 1.0 版本有很大提升。通过更细粒度的模块化设计,MMDetection 的任务拓展性大大增强,成为了检测相关项目的基础平台。MMDetection是最为流行的物体检测库,也是物体检测竞赛必备的技能。MMDetection提供了较为完善的物体检测流程和预训练模型,非常推荐学习。


MMDetection项目链接:

https://github.com/open-mmlab/mmdetection


03  MMAction2


MMAction2(动作识别)支持 8 种模型和 8 个数据集,提供完善的数据处理脚本,支持多种解码器进行高效的在线视频解码,训练速度快,模型精度高。更细粒度的模块化设计,易于拓展。

MMAction2项目链接:

https://github.com/open-mmlab/mmaction2


04 MMEditing


MMEditing(图像视频编辑)设计了统一的框架同时支持超分、修复、抠图、生成四大方向,方便用户在一个框架中调用不同的算法和模型。提供了丰富的底层视觉算法的高效算子,拥有高效的训练和测试速度,复现了多个未开源算法,并首次公开实现了基于 PyTorch 的 GAN 的分布式训练。

MMEditing项目链接:

https://github.com/open-mmlab/mmediting


05 MMClassification


MMClassification(图像分类)丰富的训练配置,支持常见网络的复现,并提供相应的预训练模型。


MMClassification特点如下:

  • Various backbones and pretrained models

  • Bag of training tricks

  • Large-scale training configs

  • High efficiency and extensibility


MMClassification项目链接:

https://github.com/open-mmlab/mmclassification


06 MMPose


MMPose(姿态估计)同时支持 top-down 和 bottom-up 类型算法的开源人体姿态估计框架,并实现了目前学术界的最高训练精度和最快训练速度。基于模块化的设计,易于拓展和修改。后续将支持多人3D姿态估计、密集人群的姿态估计、人脸关键点等更多模块。

MMPose项目链接:

https://github.com/open-mmlab/mmpose


07 MMSegmentation


MMSegmentation(语义分割)对 10+ 种语义分割算法的进行了统一 benchmark,并且达到了更高的精度。开源了 200+ 预训练模型和丰富的配置,方便进行横向纵向比较。支持丰富的训练和测试 trick,可以应对多样的使用场景。支持混合精度训练,节省显存 40%以上。

MMSegmentation项目链接:

https://github.com/open-mmlab/mmsegmentation


08 MMDetection3D


MMDetection3D (3D物体检测)支持了VoteNet, MVXNet, Part-A2,PointPillars等多种算法,覆盖了单模态和多模态检测,室内和室外场景SOTA; 还可以直接使用训练MMDetection里面的所有300+模型和40+算法,支持算法的数量和覆盖方向为3D检测代码库之最。

MMDetection3D项目链接:

https://github.com/open-mmlab/mmdetection3d


更多详细介绍,可以访问OpenMMLab官网:

http://openmmlab.com/index.html


- EOF -


推荐阅读  点击标题可跳转

1、老照片修复、寻找系外行星……这里有8个超赞的机器学习项目

2、高糊马赛克秒变高清,「脑补」面部细节,表情帝:这还是我吗?

3、全栈Deepfake软件来了!支持换脸换头对口型,GitHub 1.4万星


看完本文有收获?请转发分享给更多人

关注「大数据与机器学习文摘」,成为Top 1%

点赞和在看就是最大的支持❤️



    您可能也对以下帖子感兴趣

    文章有问题?点此查看未经处理的缓存