如何从大数据架构师转型行业人工智能产品经理？

https://v.qq.com/txp/iframe/player.html?vid=j0514b7v4f4&width=500&height=375&auto=0
如何从大数据架构师转型行业人工智能产品经理？

孟嘉，明略数据技术合伙人，大数据关系挖掘分析平台 SCOPA 的总架构师与负责人。2014 年底加入明略数据，负责大数据关联分析平台 SCOPA 的研发与架构设计，经历了 SCOPA 产品从 0 到 1 的过程，见证一个新的产品如何一步步通过实际项目打开市场，并帮助公共安全和金融行业客户解决实际问题。

1 我的程序员发展道路，为什么选择创业公司

我在明略数据经历了从研发人员，到架构师，技术经理，再到产品负责人的成长过程，也经历了从深入研究技术到理解行业，将技术应用到行业真正帮客户解决问题的过程。这个成长的过程让我很兴奋，我很想和大家分享一下。我认为首先应该找一份自己喜欢的工作，只有在做自己喜欢的事情，才会愿意投入精力，才能不断思考把事情做的高效。而在一个快速成长的创业公司能收获很多，因为在创业公司的平台上往往限制回更少，做的越多，机会就越多，收获也越多，能够跟着公司一起快速成长，这也是我这两年最深的体会之一。

很多同学都比较关心职业发展，或者通俗一点的说，选择一个什么样的职业能实现财富。我想为大家分享一下最近读的一本书，叫《黑客与画家》。这不是一本新书，它的作者是一位哈佛计算机博士，他在书中的很多观点或者预言都成为现实。他曾经在 2001 年写到苹果还没有失败，如果它能把 iPod 升级成手机，微软就有大麻烦了，而苹果公司的 iPhone 手机于 2007 年 6 月上市。

这本书中就提到了要致富，你需要两样东西：可测量性和可放大性。你的职位产生的业绩，应该是可测量的。此外，你还必须有可放大性，也就是说你做出的决定能够产生巨大的效应。所以如果你有一个令你感到安全的工作，你是不会致富的，因为没有危险，就几乎等于没有可放大性。

2 大数据架构师的修炼

我认为这些年实际的项目经验积累对我的成长是非常重要的。从研究生阶段专注的应用服务器分布式集群方向，到后来工作中接触到的高并发、高吞吐的网络应用。在加入明略数据前，我已经参与过几个实际落地的大数据项目，也有过兼职创业的经历，这些都让我积累了软件设计和研发的经验。经验对于一个架构师很重要，架构试错的代价是很高的，作为架构师，既要见多识广，从整体掌握，了解系统全局，又要深入到关键的细节，思考如何突破系统的瓶颈。

大家知道在大数据领域里面可以利用的开源组件是很多的，比如计算框架有 MR、Spark，流式计算可以用 Storm、Spark Streaming、Heron，资源管理可以考虑 YARN 或 Mesos，KV 存储文档存储可以考虑 HBase、Redis、Cassandra、MongoDB，SQL 引擎可以使用 Hive、Impala、Phoenix、SparkSQL 等。

每一个组件都要深入理解简直是不可能任务。我也听说过有人说所谓大数据架构师的工作就是把一些开源组件组装成一个系统，我认为这种想法离架构师的实际工作偏差是很大的。架构就像盖楼房打地基，地基不稳，随着楼层的增高，迟早要出问题。架构师最先面对的是对系统需求的理解，这点非常重要，我认为在早期架构师一定要是和产品经理甚至客户沟通最多的人。

此外，架构师从一开始就要考虑的问题有很多，举几个大部分系统都会碰到的问题，系统将来如何扩展如何平滑升级，如何处理高并发，如何设计存储，如何对时间空间作出权衡。听上去好像无从下手，其实也没有那么困难，我通常思考的第一个问题是有没有自己做过的或者别人分享过的类似的成功架构案例。所以架构师的经验是很宝贵的。我在最初接触大数据技术的时候就经常参加现在的一些分享交流活动，去尽可能多听一听成功技术经验，现在回想起来对我的帮助很大。

另外，我觉得至关重要的一点是，架构师要非常了解业务，不断和产品经理沟通，作为 toB 产品的系统架构师，如果有机会也要不断接触最终用户，理解需求。

3 为什么要去做 To B 产品负责人

我觉得在这个市场上真正能深入行业的优秀的 To B 产品经理是非常稀缺的，养成周期也是比较长的，他需要在这个行业中不断去接触客户，理解行业，进一步总结需求形成功能点。在 To B 创业公司往往最缺的就是这种既懂技术又懂业务的复合型人才。如果对行业理解不透，对客户的需求理解不透，在产品上就会走弯路，这个代价是很大的，往往花了很大力气，用了很多资源开发了一个在技术上很领先的功能，但对客户却没有什么帮助。我也可以很坦诚的告诉大家像这样的坑我们是趟过的。

产品经理是对一个产品成败的第一负责人，我渴望看到我可以推动一个具有先进技术产品能够真正落地到一个行业，推动这个行业。所以这也是我从做技术到做产品的一个重要原因。从技术到产品并不意味着要放弃技术，恰恰相反，需要更加深入的从行业从场景方面了解技术，知道怎么用技术的提升产品。我在明略数据也继续做着我喜欢的架构师的工作，我也认为这对做产品负责人这个角色有很大帮助。

4 知识工程与行业人工智能

我个人参与的明略数据的大数据关联分析平台 SCOPA 产品主要应用在公共安全领域，公安里面有很多警种，情报、技侦、网安等等，每个警种都有自己的数据，结构化的非结构化的都有，如何在这些异构的数据基础上建立统一的大数据模型是面临诸多挑战之一。公安是典型研究像人这样的实体和实体之间关系的行业，背后用到的核心技术是知识工程和人工智能的相关的技术。

我们在与行业 - 企业客户日常工作中，都会运用到知识工程这一套融合了自然语言处理、知识图谱构建与存储、知识检索与推理等技术的智能平台，将知识管理与特定行业业务相结合，在业务运营过程沉淀和积累行业知识，并将知识应用于未来的业务中，形成行业智慧，帮助整个行业实现生产能力的跨越式提升。其中构成知识工程最核心的部分就是知识图谱构建与存储，就比如目前运用在公安行业的 SCOPA 这款产品的背后就存储的是一张巨大的知识网络，我们把它叫做行业知识图谱。知识图谱这个概念最早由 Google 提出，主要是用来优化搜索引擎，当你搜索微软的时候，旁边会出现相关人物比尔盖茨。

知识图谱的发展也助力很多人工智能场景的发展，我们目前生活中很多热门的人工智能场景背后都有知识图谱技术，比如语音助手siri，聊天机器人，智能问答等等。知识图谱描述的是现实世界中的实体，以及实体之间的关系。知识图谱的构建是一件有挑战性的工作，主要就是进行实体和关系的抽取，里面涉及到很多自然语言的技术与行业经验规则。大规模知识图谱的存储同样需要考虑很多因素，我们采用了混合的存储模型，包括图存储，列存储和索引存储，来加速对知识数据的查询。

我们在产品中也用到了很多人工智能的技术。人工智能的发展和大数据是分不开的。最近最火的深度学习在数据肥沃且可以归纳学习的领域发展飞速。

随着人工智能技术的发展，我认为在将来对于基本的机器学习问题的理解和开发能力会是程序员的基本技能之一。现在的开源框架对很多人工智能场景已经支持的不错，可以参考的文档和相关书籍也越来越多。我身边有很多刚毕业的同事在学校的时候就已经有机器学习的知识，也跟着教程开发过一些程序，比如一些简单的分类器，进入工作岗位后面对实际行业问题后，特别是在有经验的工程师带领去完成一个真正的机器学习任务，就会成长的特别快。

我特别想分享给大家的是，将一个新兴的技术带到一个实际行业中去解决实际问题，往大了点说，当看到你的工作真正在推动这个行业的发展，提高这个行业的效率，那么你的成就感就会被放大。结合大数据将人工智能技术落地到行业，比如在公安领域，我们就可以做到用结合人工智能技术的关联挖掘分析平台辅助警察进行研判工作，让警察办案效率大大提高。这是一件很酷的事情。

龙为科技

龙为科技|【龙为科技】科技强国 创新圆梦

龙为科技|“龙为科技”创始人 孙为龙 受“英国前首相-布莱尔“亲切接见

龙为科技|“龙为科技”荣获“中国产业园区优秀服务商”和“中国产业园区优秀运营商”双料大奖

龙为科技|“龙为科技”荣获“美育圆梦-2017中国十佳爱心助梦企业”

龙为科技|“龙为科技”探秘“世界500强京东总部”

龙为科技|龙为科技受邀参加“中国数学大师-吴文俊先生追思会”

龙为科技|“龙为科技 创始人 孙为龙”受聘“中国IT高管会特邀讲者”

龙为科技|龙为科技祝“迈得诺”六周年生日快乐

全球化：

GMIC 2017全球峰会（北京站）全览：AI机器人篇（当代伟大的科学家“霍金”演讲）

科学家们是怎样制造智能机器人的？（视频）

全球各国：

医疗健康养老：

太空机器人：从太空看地球，震撼到美

酒店机器人：酒店机器人

中国：

芯片：

智能科技：

智能制造

智能先锋（海尔M2C-红领C2M-韩都衣舍的云平台）

华为：

新松：中国最大的机器人上市公司“新松机器人”

富士康：台湾富士康科技的机器人计划（内含郭台铭“真情告白“）

阿里巴巴：

中兴：解密《ZTE 中兴：未来，不等待》（人工智能机器人之娱乐机器人）

联想：

万科：“谁的万科” 再起波澜！（人工智能机器人之探险机器人）

海尔：海尔：智能工厂、Ubot智能管家机器人、商用服务机器人

格力：“创造改变未来”格力智能装备、格力机器人全球首发

美的：“美的”迎来智能时代：机器人、智能厨房、智能家居、智能工厂

百度：

腾讯：

京东：

小米：2017中国两会代表-小米雷军议案：把人工智能列入国家战略、新零售、“一带一路”战略

科大讯飞

乐视：【乐视-FF91】新物种 重构未来 开启人工智能互联网生态汽车元年（完整版）

滴滴：滴滴出行：机器学习和人工智能让滴滴获得更高效率 

搜狗：搜狗汪仔机器人-搜狗CEO王小川：智能科技揭示的美丽未来

携程：携程 创始人 梁建章：关于机器人、失业和创新、人口和旅游

大疆：从无人机到机器人，大疆创新（Robomasters 机器人比赛）

猎豹：猎豹的新使命：成为一家有伟大技术理想的人工智能公司

创新工场：

李开复：人工智能会接管世界 但不会奴役人类

平安：平安科技CEO陈立明：用人工智能普及金融科技

思必驰：思必驰：真正把底层的研究和产业问题深度绑定

达闼科技：科幻与人生—从星际迷航到机器人

第四范式：艾问·人工智能：什么样的人会借人工智能改变世界？

美国：

GE：通用电气（GE）呈现｜［机器人篇］工业互联网（完整版视频）

微软：

苹果：

谷歌：

IBM：

亚马逊：

Facebook：

特斯拉：解密特斯拉工厂，机器人无处不在（埃隆马斯克TED大会视频）

高通：美国高通的下一个战略：机器人领域(含视频）

英特尔：

Uber：Uber的发展历史：”人工智能，机器人技术“ 功不可没

麻省理工：

斯坦福：斯坦福大学：人工智能机器人的百年计划（Al100)

卡内基梅隆：

伯克利：世界科技圣地：加州大学伯克利分校

日本：

本田：本田的“阿西莫”超人形智能机器人（完整版）

丰田：丰田的三款陪伴机器人 挑战本田的“阿西莫“机器人

软银：

松下：

索尼：SONY 索尼的机器人计划（内含SONY科幻短片「The Last One」）

夏普：夏普的创新之作：机器人形手机“RoBoHoN” 

安川：百年安川，匠心独运（含视频）

日立：日立：智能科技、人工智能、机器人等科技创新领域

德国：

西门子：德国西门子工业4.0及数字化工厂（视频）

博世：百年博世，智能时代；百年博世，工业 4.0

库卡：库卡机器人VS乒乓球世界冠军波尔

德国汉诺威：

韩国：

三星：三星人工智能在路上

          三星智能机器人战略（完整版视频）

现代：现代：可穿戴外骨骼机器人、无人驾驶

LG：LG电子：人工智能机器人+家电产品

SK：SK电讯：进入了人工智能(AI)市场，推出了全球首个韩语数字服务助理平台“NUGU”

以色列：

医疗健康、护理康复、外骨骼机器人

新加坡：