查看原文
其他

【CV秋季划】模型优化很重要,如何循序渐进地学习好?

言有三 有三AI 2021-07-09

好的模型结构是深度学习成功的关键因素之一,不仅是非常重要的学术研究方向,在工业界实践中也是模型是否能上线的关键。对各类底层深度学习模型设计和优化技术理解的深度是决定我们能否在深度学习项目中游刃有余的关键。


那我们究竟如何去长期学好模型优化相关的算法呢?有三AI推出了CV秋季划-模型优化组,供长期学习相关内容,学习不限时长,永久有效。


详情大家可以听以下直播视频解读,更多补充可看图文。

点击边框调出视频工具条


整个学习内容


秋季划模型优化小组,聚焦于让大家能够跟随我们社区长期学习模型优化相关的算法,学习的东西包括8大方向:数据使用,模型使用和调参,模型性能分析,紧凑模型设计,模型剪枝,模型量化,模型蒸馏,自动化模型设计。当然最后,我们还计划额外增加模型部署的内容。

总体的学习资料包括几个部分:

(1) 学习书籍:有三自己撰写的模型设计教材。

(2) 有三录制的模型设计相关的视频与PPT,以及有三AI出品的不定期更新的模型优化相关的付费直播。

(3) 知识星球社区:包括两个,一个是专用于秋季划模型优化学习小组存储资料的星球,永久有效,不对外开放。

另一个是对外开放的有三AI知识星球,包括很多内容,大家可以自行阅读下文了解。


【杂谈】有三AI知识星球指导手册出炉!和公众号相比又有哪些内容?

(4) 有三AI内容组,项目组,运营组:是学习后下一步从业的真正目标。在内容组大家可以从事内容创作和教学相关的工作,获得收入。在项目组大家可以参与各类工程项目,获得收入。在运营组大家可以参与生态运营,获得收入。

(5) 线上线下答疑:包括有三的微信答疑和组织的线下活动和私人线下答疑。


总的来说:学习资源是非常丰富和多维的,大家根据需要可以自取,总体的学习路线图和每一部分的内容如下。

接下来我们再给大家介绍每一部分需要学习的内容。


数据使用


数据使用是所有深度学习项目的基础,我们需要掌握以下内容:

(1) 如何针对自己的任务搜集数据(小型和大型数据集爬虫)。

(2) 如何学会科学地整理数据(数据去重,质量分析等)。

(3) 各类任务中的数据增强算法以及实战,这里我们包含图像分类和GAN共2个任务。


模型设计和调参


模型设计和调参,我们需要掌握以下内容:

(1) 学习掌握超过10类主流的模型设计架构。

(2) 对模型进行训练调参,体验各类参数对模型性能的影响。


模型性能分析


模型性能分析,我们需要掌握以下内容:

(1) 如何对模型进行可视化,包括卷积核,特征图,激活图等。

(2) 如何对模型的计算量,参数量,计算时间进行分析。


模型优化压缩


模型优化压缩,我们需要掌握以下内容:

(1) 如何提高卷积核的利用率。

(2) 如何提高卷积通道的利用率。

(3) 如何在推理时进行简单提速。


模型剪枝


模型剪枝需要学习以下内容:

(1) 主流的模型剪枝理论学习。

(2) 基于连接剪枝的方法实践。

(3) 基于通道剪枝的方法实践。


模型量化


模型量化需要学习以下内容:

(1) 主流的模型量化理论学习。

(2) 对称量化方法实践。

(3) 非对称量化方法实践。


模型蒸馏


知识蒸馏需要学习以下内容:

(1) 主流的模型蒸馏基础理论学习。

(2) 基于优化目标驱动的知识蒸馏模型实践。

(3) 基于特征匹配的知识蒸馏模型实践。


AutoML


自动化模型设计需要学习以下内容:

(1) NAS基础理论学习。

(2) NAS相关工具使用。


模型部署


最后,模型部署本身不属于模型优化的内容,但是我们后续也会将模型部署的内容添加到本组,具体时间可以在群里及时关注。大家可以先熟练掌握好C++/Java编程,了解ONNX格式,MACE/MNN等工具的使用。


关于学习方式


有三AI季划学习方式非常自由,包括:


(1) 按照给出的路线和学习资料,推荐的学习时间,可以自主把控学习进度,不限制学习时间,永久有效。建议先系统性学习理论,然后再进行实践。另外学习资料还会动态增加,包括微信群内直播,知识星球等,下次直播内容如下,具体时间请关注群内通知。

日期

内容

时间

数据使用技巧

9:30-11:30

模型性能分析

15:00-17:00

小模型设计理论

9:30-11:30

小模型设计实践

15:00-17:00

模型剪枝理论

9:30-11:30

模型剪枝实践

15:00-17:00

模型量化理论

9:30-11:30

模型量化实践

15:00-17:00

模型蒸馏理论

9:30-11:30

模型蒸馏实践

15:00-17:00

模型训练技巧

9:30-11:30

模型推理优化

15:00-17:00

AutoML理论

9:30-11:30

AutoML实践

15:00-17:00

模型部署基础

9:30-11:30

模型部署工具

9:30-11:30

(2) 有三微信群答疑,有三一对一微信答疑和线下答疑。

(3) 参与内容组,兼职当老师获得收入。参与项目组,做真实项目获得收入。参与运营组,获得收入。


学会能获得什么


由于模型设计和优化是底层技术,在所有的深度学习领域中都有用处,因此在工业界也会接触到较多相关的项目。


关于学习效果和产出形式,下面是一些有三AI季划成员的分享,供大家参考:

【杂谈】有三AI季划的最核心价值在哪,听听这些同学怎么说!

【杂谈】从学员到参与书籍写作,我在有三AI学习与成长的故事

【杂谈】从学员到专栏作者、讲师,我在有三AI学习与名利双收的故事

【杂谈】参加有三AI秋季划4个月,薪资翻倍,我在有三AI都学了啥?

【杂谈】一个五岁孩子妈妈在有三AI学习并且赚钱的故事 


如何报名


即日起至2020年底学费为1188元,终身有效,此后内容增加也不会新增费用,如果有书和有三AI知识星球可以抵扣相应费用,联系有三微信Longlongtogo即可报名。

往期相关


    您可能也对以下帖子感兴趣

    文章有问题?点此查看未经处理的缓存