为什么机器学习工程师严重短缺?
人们通常所说的“机器学习”好像只代指一门学科,但实际上机器学习包含两个学科——如果商业圈还没有意识到这两者的区别,就会遇到许多麻烦。
两个机器学习的故事
这就像是雇一个糕点师给你制造烤箱,或者雇一个电气工程师给你烤面包。在机器学习方面这种错误反复出现在商业圈里。
如果要开个烘焙店,显然应该雇一个经验丰富的糕点师,因为他擅长烘焙蛋糕和面点。当然你还需要一台烤箱,不过尽管烤箱很重要,但我敢肯定你不会要求糕点师懂得怎样制造烤箱。那为什么你的公司要关注机器学习呢?
你的公司是烤面包的?还是做烤箱的?
烤箱制造和烤面包是不同的行业!然而,太多机器学习项目都失败了,因为团队不知道他们该做微波炉,还是该研究面包配方,还是该烤面包。
机器学习研究
那些机器学习课程和教科书没有告诉你的是,那些都是教你怎样从零开始制造烤箱(和微波炉,打蛋器,吐司机,水壶,甚至厨房水池!),并不是教你怎样烹饪和研究配方的。
如果要研究机器学习算法,你的目标是那些给别人使用的通用工具(如果非要打比方的话,就是厨房电器)。这个行业叫做机器学习研究,通常由学术界或Google负责。
然而说起机器学习,许多公司都搞错了行业。
干这一行需要大量的教育背景,因为它的历史太悠久了。一些流行的机器学习算法已出现了几百年,例如,回归所用的最小平方算法最早发表于1805年(https://projecteuclid.org/download/pdf_1/euclid.aos/1176345451)。但是别忘了,人类在这200年里发生了太多的进步。
今天,厨房电器已经变得非常复杂,你要是不知道微波炉的原理,怎么可能制造微波炉呢?你肯定需要专门去学习!成为研究者需要多年的学习,而且入门课程一般是从微积分开始的。
机器学习应用
许多商业公司只是想烹饪而已——即解决他们的商业问题。他们对销售微波炉不感兴趣,但却经常犯从零开始做微波炉的错误。不过也没法责备他们,现在媒体宣传和教育生态圈完全专注在机器学习研究上,而不是应用上。
如果你想用配方来烹饪,就别再重新发明轮子了。那些微波炉都已经造好了,可以从许多地方免费拿来使用(https://www.altexsoft.com/blog/datascience/choosing-an-open-source-machine-learning-framework-tensorflow-theano-torch-scikit-learn-caffe/)。甚至如果你觉得布置自己的机器学习厨房是个繁重的活儿,Google Clould Platform(https://cloud.google.com/)等供应商可以让你用他们的厨房,什么电器(https://cloud.google.com/ml-engine/)、调料(https://cloud.google.com/public-datasets/),连烹饪书(https://cloud.google.com/apis/)都是预备好的。
如果你想在厨房里烹饪,就别再重新发明轮子了。
绝大多数应用中,你的团队不需要知道神经网络背后的反向传播数学原理,就像厨师不需要理解微波炉的线路图。但想要经营一家工业级别的厨房,还是要懂得不少东西,从原材料管理到检查菜品是否合适等等。
你卖的是什么?答案将决定应该雇用哪个团队。
机器学习的毁灭
不幸的是,许多业务都没能用机器学习产生价值,因为他们没意识到应用和算法研究是两种完全不同的学科。相反,他们试图招募那些毕生都在制造微波炉零件,却没有任何烹饪经验的人来组建厨房。
还有比这更错误的事情吗?如果这能成功,那只能说明他们运气好,正巧雇了个擅长烹饪的工程师。
但通常你的运气不会这么好。人的一生只有那么多时间,如果你学了怎么做微波炉,那么掌握烹饪艺术的精力就少了。你雇的那些拥有博士学位的人工智能研究员们,是什么时候、从哪里学到应用机器学习所需的技术的?要是你只想找两方面都精通的人,就难怪你会抱怨人才短缺了!
如果招募那些毕生都在制造微波炉零件,却没有任何烹饪经验的人来组建厨房,那还有比这更错误的事情吗?
那你应该雇谁呢?就像工业级厨房一样,你需要懂得这个领域,并且拥有领导能力的跨界人才来组建团队。否则,项目不可能成功。
雇佣正确的团队
如果你卖的是尖端的厨房电器,就应该雇研究员。如果你卖的是创意食物,就应该雇佣那些懂得烹饪的人,以及懂得目标的人(决策者和产品经理),懂得供应商和客户的人(领域专家和社会科学家),懂得原材料大规模处理的人(数据工程师和分析师),懂得如何快速实验不同原材料和电器的组合以创造配方的人(应用机器学习工程师),懂得检查配方质量的人(统计学家),懂得如何调整配方以快速生产几百万份事物的人(软件工程师),保证各个圈子的人一起工作的人(项目经理),还有懂得即使供应商给你送了一车土豆而不是订的大米时也能保证食物质量的人(可靠性工程师)。
尽管这些角色并不一定是不同的人,但要保证不能缺少哪个角色。你要是觉得我说的太不全面,想朝我扔西红柿的话,我承认招募应用机器学习的团队方面还有许多话题可以谈。这个话题先留到以后再说。
说起外包,如果你的团队尝试了所有已有工具,还不能做出满足商业目标的配方的话,那么可以考虑增加一些制造电器的人(研究员)。根据你的业务的规模需求和成熟度,你可以永久雇佣,也可以考虑外包给某个经验丰富的算法研究公司。
另一个能用得上研究员的情况是,你的原型非常成功,值得造一台定制的电器进行大规模生产。
决策智能
这是专家们应该讨论却没有讨论的问题。他们不承认有两种机器学习,因此整个世界都在培训制造算法的人,而不是应用算法的人。
我的团队正在解决这个问题。我们建立了个新学科来覆盖应用机器学习,我们已经训练了超过15000名人才。我们称之为决策智能工程,它设计了所有机器学习和数据科学的应用方面。
换句话说,如果机器学习研究是造微波炉,应用机器学习是使用微波炉,那么决策智能工程(https://www.youtube.com/watch?v=x1k37Na1iLc)就是安全地使用微波炉完成目标,以及在不需要微波炉时如何使用其他电器。
写在最后
说起应用机器学习,最难的部分就是找出想要做的菜品,以及怎样在上菜之前做检查。其实这部分不是太难——只要别忘了做就行(https://medium.com/@kozyrkov/imagine-a-drunk-island-advice-for-finding-ai-use-cases-8d47495d4c3f)。
至于其他部分,使用机器学习解决商业问题远比大多数人想像的容易。那些崭新的厨房等着你去用呢。像真正的厨房一样去试试吧!我见过太多认为自己应该参加一门传统的机器学习算法课程——哦天啊,那可是一整个学位啊!——才能开始机器学习的人,我不禁想像,他们只有在自己学会怎么造微波炉之后才不会拒绝使用微波炉。
别被谎言欺骗了,搞机器学习不需要博士学位。相反,你真正需要的是人类的创造力(https://medium.com/@kozyrkov/imagine-a-drunk-island-advice-for-finding-ai-use-cases-8d47495d4c3f)。好好玩吧!
原文:https://hackernoon.com/why-businesses-fail-at-machine-learning-fbff41c4d5db
作者:Cassie Kozyrkov,Google的首席决策智能工程师。
译者:弯月,责编:郭芮