神经网络模型压缩好就业吗?
加入极市专业CV交流群，与6000+来自腾讯，华为，百度，北大，清华，中科院等名企名校视觉开发者互动交流！更有机会与李开复老师等大牛群内互动！
同时提供每月大咖直播分享、真实项目需求对接、干货资讯汇总，行业技术交流。关注 极市平台 公众号 ，回复 加群，立刻申请入群~
问题：神经网络模型压缩好就业吗?
https://www.zhihu.com/question/349948366
本文来自知乎问答，回答均已获作者授权，禁止二次转载
知乎高质量回答
一、作者：小赖sqLai
https://www.zhihu.com/question/349948366/answer/884794078
看上去能做很多事，实际上啥都做不了。就和程咬金三板斧一样。
剪枝，基本只能砍大模型，而且现在的one shot nas本质上也就是剪枝罢了，而且本身强先验，其实搜来搜去性能半斤八两。
量化，int8工具一大堆，没啥好玩的，int4理论上比较好用，但是没人撸框架，至于二值网络，用了nas之后600mflops才只能做到69的top1，撑死也就是mbv1年代。
稀疏，纯属学术鬼扯，实际工业加速为零，没准更慢或者性能更差。
蒸馏，直接kd或者fitnet或者l2回归一下特征就行，后面新论文搞的花里胡哨的东西都没啥本质突破，灌论文还行，实际工业提升忽略不计。
至于手动设计网络结构，nas都这么火了，基本凉凉了，19年顶会上的新文章大多都是纯鬼扯，要么超参巨多无比一不小心反而降点，要么就是搞点理论加速比实际框架一跑慢成狗。九成九文章本质上就是多尺度信息或者attention或者想办法做成groupwise和depthwise。
实际干活就是三板斧，nas搜个大网络，作为teacher监督，再用nas搜个小网络，然后量化一下就部署，基本就是熟练工，但凡有个工程能力强的组搞个开源整合，大家就基本沦为api调用员了。
整个领域都已经没啥大突破了，就是缝缝补补，后续基本也就是工程优化加结合具体场景落地吧，纯熟练工那种，迟早要和生化环材的熟练工一个情况。
二、作者：圈圈虫
https://www.zhihu.com/question/349948366/answer/884747447
我觉得CV方向不太好就业了，模型压缩无非就三个大方向:剪枝，量化，稀疏。
剪枝:
已经被NAS(Neural Architecture Search)取代，现在不是2017的时候，需要压缩vgg16这种巨无霸网络了，只要有数据从头训练一个小网络更容易。
量化:
Int8是及格线，现在开源框架基本上都支持Int8推理，速度的天花板与硬件有关，也在不断逼近，更多的是优化工程实现。至于精度，Quantization Aware Training的原理就那几点，后面也是工程实现。现在等待的就是突然开源一种简单，高效，可靠的量化大礼包工具一统江湖，结束战争。Int4在工业界大概率被跳过而直接上马二值网络，然而开源框架也有了dabnn。
稀疏:
都是唬人的，通用处理器跑起来又没有加速效果，有何用？
除非你有非常棒的case能推动工业界前进那么一点点的能力，否则建议不要涉足这个方向。
更新一下，可以尝试在NLP，3D视觉开拓新领域。总之，当你发现大家都开始做一件事情时，红海就开始了。
三、作者王云鹤
https://www.zhihu.com/question/349948366/answer/851675839
非常非常好就业！这是工业界更关注的问题！
应用场景内包含：手机、手环、摄像头、机器人、电视、无人车……
可就业公司包含：华为、百度、阿里、腾讯、头条、旷世、商汤……
神经网络模型压缩加速这个方向，最早的比较受关注的是韩松老师的这篇2015 NeurIPS(NIPS): Learning both Weights and Connections for Efficient Neural Networks.
此时的智能手机还没有现在的浴霸摄像机、大屏、大内存等技术，大家手里最新的机器应该是iphone 6，当时最普遍应用的网络还是VGGNet-16&19（模型大小大于500MB），当时的4g也不是无限流量。在这个背景下，模型压缩的技术十分重要，以苹果手机为例，如果我们一个app用到了深度神经网络，在没有wifi的情况下，是没法直接下载的。
后面韩老师deep compression（ICLR 2016 best paper）把传统压缩领域的技术在深度神经网络模型压缩的问题上用到了极致，囊括了聚类、编码、稀疏矩阵存储等等，在AlexNet、VGGNet这种远古模型上面可以达到40倍的压缩比，那么这些模型就可以以20mb以内的安装包的形式，很容易地被下发到手机端。在读博士的我，在大佬的指引下，赶紧入坑，发了第一篇NIPS：CNNpack: packing convolutional neural networks in the frequency domain。
转过年来大家意识到，加速也很重要（尤其现在模型本身的内存已经不是问题），还有线上内存也很大（以DenseNet为主），这些对端侧设备都不友好。那么如何在手机端快速拍照、快速超分、美化图片，如何快速精准的识别车道线路、信号灯、行人等等，端侧AI的应用场景数不胜数。当然好就业！
我本身是做CV的，所以举得例子以CV为主，那么NLP领域同样需要模型压缩，快速的Bert对工业界的意义非常巨大。
技术路线包含：剪枝、蒸馏、结构搜索（NAS）、量化、高效结构设计（Mobilenet & shuffleNet等等）。
-End-
CV细分方向交流群
添加极市小助手微信（ID : cv-mart），备注：研究方向-姓名-学校/公司-城市（如：目标检测-小极-北大-深圳），即可申请加入目标检测、目标跟踪、人脸、工业检测、医学影像、三维&SLAM、图像分割、姿态估计、超分辨率、嵌入式视觉、OCR 等极市技术交流群（已经添加小助手的好友直接私信），更有每月大咖直播分享、真实项目需求对接、干货资讯汇总，行业技术交流，一起来让思想之光照的更远吧~
△长按添加极市小助手
△长按关注极市平台
觉得有用麻烦给个在看啦~