人工智能时代，一不小心人人都是黑客
https://v.qq.com/txp/iframe/player.html?vid=e0511yjggas&width=500&height=375&auto=0
王琦 碁震KEEN公司创始人兼CEO 国际安全极客大赛GeekPwn活动创办人
今天，我跟大家分享的题目是人“攻”智能，“攻”是攻击的攻，其中包括了我这么些年工作的感悟，我想先从传统科班的人工智能说起。我们先做一个小测试吧，大屏幕的左边有一张图，如果我问大家看到了什么，相信每个人都有自己的回答。图片右边有两句话，一句是正常人类的问题，另一句是带有人工智能的机器人的回答。
这个小测试就是，你们认为右边回答的两个人，小花和小明，谁是正常的人类？在公布答案之前我想和大家说一下，其实大家做了一个非常典型但不那么严谨的图灵测试。上世纪50年代，当时的人工智能之父图灵提出一个测试机器是否具备人类智慧的方法。他提到，如果我们同时和一个看不见的人及机器（通过敲键盘）进行提问式的交流，如果30%的成年人无法在5分钟内判断对面是人还是机器，我们认为那台机器已具备了人工智能。如果等会儿答案揭晓时，如果你发现自己错了，那说明我们的人工智能已经像人类了。大家看一下，小明才是机器人，我们都认为他像一个正常的人类对不对？
人工智能
人工智能发展到现在已有了一些有意思的成果。对计算机来讲，如果要像人一样思考，具备人一样的智慧，就有一个最重要的领域需要去搞定。
我们要知道，人对信息的处理70%来自于我们的眼睛，但对计算机来讲它只有0和1，计算机从一张图片看到的只是像素上的数值，它无法看到沙发上的一条线，更无法很快理解，那可能是一个大人带着两个小孩儿、一只狗在看电视。如果我更近一步提问，坐在前面的那个小屁孩上衣是什么颜色？对计算机来说，什么是小屁孩？什么是前面？什么是上衣？什么是颜色？它完全无法理解。所以，在人工智能被提出多年之后，它在视觉领域还存在困难。
要知道，我们人出生后要用眼睛看世界。如果把眼睛比作计算机的话，每200毫秒我们就拍一张照片。大家想一下，从我们睁开眼睛看世界开始，到今天拍了多少这样的照片，才能够看懂看明白？所以呢，我们希望训练计算机它也具备这种能力。在2010年时，最好的人工智能计算机识别图形的错误率在20%到30%，比人类差。但在2012年至2014年，斯坦福有个博士通过自己的研究，使这个错误率降低到接近人类的水平。这是一项非常了不起的成就，他在其中使用到我们称之为“深度学习”的技术。
通常我们要告诉机器一万遍，这是猫这是猫这是猫，它才知道这长得像一只猫；但到2012年，谷歌不用再告诉机器什么是猫，而是可以直接问什么是猫，让它自己把猫找出来，这是一项让人工智能领域科学家都非常佩服的成果。看到这样的科技成果，说实话我也很兴奋。但是今天我演讲的主题是什么呢？人“攻”智能。在感受到人工智能兴奋的同时，我也看到或是瞎想出来一些风险。
攻击样本
我一直从事的专业是IT技术，严格意义来说，是信息安全或大家俗称的“黑客”，2017年是我进入这个行业的第19年。
在2011年我们组建了一个叫KEEN的团队，随后几年，我们的团队在世界黑客大赛上拿过几次冠军。我们又成立了一个黑客赛事平台，叫GeekPwn。在这个平台上，大家能够看到，所有你们身边的摄像头、手机、PC、路由器、智能门锁、无人机、机器人、POS机全被我们黑完了。你们可能会问我们要干什么？其实我们这样的叫做白帽黑客，我们希望帮助厂商发现问题，然后加以修复，让产品变得更加安全。这些被黑掉的产品里就有汽车，我一直在想，还有没有别的更酷的方法，去帮助提升它的安全性呢？
大家回到刚才看的这个车。通过深度学习，它的智能系统可以识别出道路前穿白衬衫的那个人。我当时产生了一个想法：如果我坚持让汽车认为那是一个消防栓或是一棵树，在紧急情况下，它就会撞上去，这就相当于黑掉它的系统。这可要比黑掉PC大屏幕更酷。那有没有可能办到呢？说实话，我们过去从事的是传统的安全领域研究，对人工智能这一块并不了解，但兴趣使然我们想去学习一下，看能不能做到这一点。这就像我们挖漏洞、利用漏洞的过程，同样是教给计算机一堆攻击样本，这会产生什么结果呢？大家先看我们输入一个正常的样本要得到什么？要得到一个正确的决策。可是在攻击里面，我们输入一个攻击的样本，就希望它能得到一个错误的行为，这种办法能不能在人工智能领域行得通？
人“攻”智能
在去年GeekPwn美国战的时候，刚好有一位世界级的人工智能大师发现了这个成果。你们看，图片左边是一条小狗，对于现在的人工智能来讲，识别它非常容易。但这张小狗又不是小狗，它是经过特制的，当下最成功的人工智能识别系统坚持认为这是一只鸵鸟。
左边这张图大家依然看不到任何信息，全都是噪点对不对？但当我们交给人工智能时，它坚持认为这是一张熊猫。我们又一次误导它出现错误的决策，这给了我们信心，就是我们假想中的错误真的可能导致错误决策，就是攻击样本。去年微软推出一个智能聊天机器人，它能和我们正常交流，可是没过多久就下线了。为什么？因为它在第一天下午就开始跟人骂脏话了，说种族主义的东西。为什么能这样呢？因为上午就有人用这种话来跟他交流，他以为这是人与人之间正常的交流方式。
所以我产生了一个想法，在人工智能时代，真的可能一不小心人人都是黑客。黑客不需要写任何代码，也不需要像我们有十几年的安全经验，它就可以成功地把人工智能给欺骗了，这说的是语言领域。其他领域呢，大家来看一下，这是一只机器狗，这是一个机器人，他们来自于美国的波士顿动力公司，他们能够像人类或是动物一样去行走，在行进过程中，自己摸索出调整平衡的方法，这是一项非常了不起的产品。我在想，如果有一天这些机器狗、机器人认为，我捅你一下、踹你一下，是跟和你握手一样的友好行为怎么办？机器人会不会威胁到我们呢？我可能是杞人忧天，但是站在黑客的角度，我们习惯性从坏人角度看问题。人工智能从上世纪50年代发展到现在，非常像《速8》里的那个小孩，我们希望他能够成长成像他父亲一样那么强壮、智慧的男人。
保护人类
可是这一天会不会受到干扰呢？我们现在做的工作，就是希望能够帮助人工智能安全健康地成长。我们一直尝试用坏人的视角看问题，帮助我们做出更安全的产品。
我们担心什么？不知大家有没有看过一部叫《超能查派》的电影，看这电影时我感触非常深。它讲一个机器人刚出生就被劫匪从实验室劫走了，过了几个月，大家看到它带着金项链、举着手枪、骂着脏话、抢别人钱。为什么呢？因为它被带到贫民窟，它认为这才是正当工作。我们期望人工智能改变我们的生活，但我们更认为自己有必要帮助它健康成长。我特别希望有更多的人投入到这份工作，或者说黑客事业上来。
人工智能领域分为两派，一派是乐观主义，另一派是悲观主义。悲观主义认为，人类正在自取灭亡，他们正在做一个可能超越人类，某一天将危及人类安全的设备。持悲观观点的人不仅有我，还有霍金、埃隆·马斯克、比尔·盖茨……
如果真有那么一天，黑客说不定还能够保护全人类，攻击它（人工智能），所以今天跟大家分享的全都是我的一些浅薄想法，如有不雷同，欢迎拍砖，谢谢大家。
龙为科技
龙为科技|【龙为科技】科技强国 创新圆梦
龙为科技|“龙为科技”荣获“美育圆梦-2017中国十佳爱心助梦企业”
龙为科技|“龙为科技”探秘“世界500强京东总部”
龙为科技|龙为科技受邀参加“中国数学大师-吴文俊先生追思会”
龙为科技|“龙为科技与百度”公司共同参与“一带一路“高峰论坛《北京城市宣传片》拍摄工作
龙为科技|2017年6月5日百度的”最强大脑“-“小度”正式入职啦
龙为科技|“龙为科技”受邀参加“2017第四届中国机器人峰会”
龙为科技|龙为科技参加“2015年第一届世界机器人大会”和“2016年第二届世界机器人大会”
龙为科技|龙为科技参加“2015年第二届中国机器人峰会”和“2016年第三届中国机器人峰会”
龙为科技|“龙为机器人”荣获央视、北京卫视“中国最佳机器人服务商“称号
龙为科技|2016CCTV央视财经论坛暨中国上市公司峰会：中国机器人走进众多服务领域
龙为科技|龙为科技拜访中国机器人产业奠基人之一“贾培发”教授
龙为科技|龙为科技拜访中国最大的机器人上市公司“新松机器人”
龙为科技|“龙为科技”当选“一带一路政企对接平台 高科技产业应用中心 理事长单位”
龙为科技|龙为科技成为世界500强北汽集团（福田和北汽新能源）“品牌运营服务商”
龙为科技|龙为科技成为世界500强“中国建设银行”的“品牌运营服务商”
龙为科技|龙为科技成为世界500强“万科集团”的“品牌运营服务商”
龙为科技|龙为科技成为世界500强“万达集团”的“品牌运营服务商”
龙为科技|龙为科技成为中国500强“亚洲最大乳企-伊利集团”的“品牌运营服务商”
龙为科技|龙为科技成为中国500强“平安银行”的“品牌运营服务商”
龙为科技|龙为科技成为中国500强“华夏银行”的“品牌运营服务商”
龙为科技|龙为科技成为“地产界”的“智能科技品牌运营服务商”
龙为科技|龙为科技成为“北京国税局”的“智能科技品牌运营服务商”
龙为科技|龙为科技成为“商业综合体”的“智能科技品牌运营服务商”
龙为科技|龙为科技成为“综合商场业”的“智能科技品牌运营服务商”
龙为科技|龙为科技成为“众创空间业”的“智能科技品牌运营服务商”
龙为科技|龙为科技成为“香河城市规划展览中心”的“品牌运营服务商”
龙为科技|龙为科技成为“剑桥高科技”的“智能科技品牌运营服务商”
龙为科技|龙为科技成为“中国婚庆行业”的“智能科技品牌运营服务商”
龙为科技|龙为科技成为"餐饮行业”的“智能科技品牌运营服务商”
龙为科技|龙为科技成为“直销业”的“智能科技品牌运营服务商”
龙为科技|龙为科技成为《中国企业家杂志三十周年》的“智能科技品牌运营服务商”
龙为科技|龙为科技成为“京城最大生态农庄-悠然谷农场”的“智能科技品牌运营服务商”
全球化：
AlphaGo的背后英雄：DeepMind创始人（得米斯.哈萨比斯）
GMIC 2017全球峰会（北京站）全览：AI机器人篇（当代伟大的科学家“霍金”演讲）
2017巴菲特股东大会（完整版）：巴菲特谈人工智能会带来颠覆性变化
2016年全球智能机器人RBR50强 “中国3家（新松、大疆、富士康） “
2016年（第二届）世界机器人大会全集（含2015年第一届）
科学家们是怎样制造智能机器人的？（视频）
2017年亚布力论坛：工业4.0启示-智能时代的来领-智能机器人
2017年新媒体科技时代：AI人工智能、机器人、物联网、VR、社群直播
迎接2017：2016年央视《对话》节目共三期“人工智能”（完整版视频）
布局2017之未来布局：技术的趋势将会决定这个市场竞争的关键
直击2017CES|人工智能和机器人、物联网、虚拟现实（VR、AR）、智能家居、智能汽车
2017达沃斯 李开复：人工智能是中国可能引领全球的最大机遇
全球各国：
【中国人工智能、美国MIT机器人】MIT机器人12项前沿技术、中国人工智能（腾讯、百度、360、小米、今日头条）
【中国、瑞士ABB】：中国福建首台电力机器人上岗、银行客服机器人、瑞典世界500强ABB自动化
【中国、美国、新加坡】：银行助理机器人、餐饮服务机器人、餐饮自动化
【美国、中国、日本】：美国facebook科技创新、中国泊车车载机器人、日本东京未来科技馆机器人互动
【美国、日本、中国】：美国的流水线机器人和导购机器人、日本生活辅助机器人、中国的服务机器人
【美国、新加坡、中国】：美国的机器人有望代替裁判执法NBA比赛、新加坡的机器人建筑质检员、美国的机器人格斗比赛
【中国、美国、以色列、英国、瑞士】：快递机器人、仿人机器人、无人机
【中国、日本、美国、法国、以色列、巴西】医疗健康、护理康复、外骨骼机器人
【美国、韩国、日本】：美国消防机器人、韩国军用机器人、日本向导机器人
医疗健康养老：
太空机器人：从太空看地球，震撼到美
酒店机器人：酒店机器人
中国：
2017年绿公司年会|马云：30年后，年度最佳CEO也许是个机器人
2017中国（深圳）IT领袖峰会：迈向智能新时代（BAT畅谈人工智能、机器人）
“颠覆性技术与人类未来”：当互联网遇上科学，人工智能将为人类带来怎样的未来？
央视《对话》：人工智能未来的极限到底在哪里？（含两期完整版视频）
2016中国发展高层论坛：马云、扎克伯格（机器人、人工智能AI、虚拟现实VR）
2016中国数博会：聚焦人工智能、机器人、VR、大数据热点应用，开启智能时代
2016上海CES（亚洲消费电子展）：智能机器人，无人机，VR，自动驾驶成为主旋律
芯片：
智能科技：
智能制造
智能先锋（海尔M2C-红领C2M-韩都衣舍的云平台）
华为：
【全国科技创新大奖】：华为 任正非（以奋斗者为本 以客户为中心）
富士康：台湾富士康科技的机器人计划（内含郭台铭“真情告白“）
阿里巴巴：
首度解密《阿里巴巴》珍贵影像：马云和他的“少年阿里"《Dream Maker》（造梦者）
中兴：解密《ZTE 中兴：未来，不等待》（人工智能机器人之娱乐机器人）
联想： 解密《lenovo 联想》（人工智能机器人之仿人机器人）
万科：“谁的万科” 再起波澜！（人工智能机器人之探险机器人）
海尔：海尔：智能工厂、Ubot智能管家机器人、商用服务机器人
美的：“美的”迎来智能时代：机器人、智能厨房、智能家居、智能工厂
百度：
【第四季《最强大脑》将“人机大战”】：百度“小度”人工智能机器人 PK 人
百度首席科学家：国际人工智能专家 吴恩达（原谷歌无人驾驶项目负责人）
腾讯：
2017年两会马化腾两会带来七大建言 关注数字经济等热点话题
京东：
小米：2017中国两会代表-小米雷军议案：把人工智能列入国家战略、新零售、“一带一路”战略
科大讯飞
2017年全国两会科大讯飞刘庆峰建议：呼吁全社会关注人工智能，抢占全球人工智能产业制高点
乐视：【乐视-FF91】新物种 重构未来 开启人工智能互联网生态汽车元年（完整版）
搜狗：搜狗汪仔机器人-搜狗CEO王小川：智能科技揭示的美丽未来
携程：携程 创始人 梁建章：关于机器人、失业和创新、人口和旅游
大疆：从无人机到机器人，大疆创新（Robomasters 机器人比赛）
创新工场：
达闼科技：科幻与人生—从星际迷航到机器人
美国：
美国再制造业-特朗普：建美国厂 雇美国人 买美国货（英特尔宣布70亿美元在美建厂）
GE：通用电气（GE）呈现｜［机器人篇］工业互联网（完整版视频）
微软：
苹果：
苹果机器人11秒把 iPhone大卸八块（含乔布斯斯坦福毕业演讲）
2016苹果WWDC大会（人工智能和iOS 10以及OS X的系统）
谷歌：
谷歌I/O大会：人工智能，智能机器人，VR标准，机器人学习系统
IBM：
亚马逊：
Facebook：
Facebook的三大愿景：连网、人工智能机器人、虚拟现实（内含扎克伯格清华大学“中文秀”和IEEE访谈）
特斯拉：解密特斯拉工厂，机器人无处不在（埃隆马斯克TED大会视频）
英特尔：
英特尔的机器人战略：3D打印机器人、Segway平衡车机器人、全向变形机器人（完整版视频）
Uber：Uber的发展历史：”人工智能，机器人技术“ 功不可没
麻省理工：
卡内基梅隆：
卡内基梅隆大学人工智能机器人实验室：我们身边的人工智能机器人
雷伊·雷蒂（图灵奖|卡内基梅隆大学机器人研究院创始院长）：人工智能机器人让我们生活更智能
伯克利：世界科技圣地：加州大学伯克利分校
日本：
软银：
2017MWC 软银孙正义：三十年内机器人数量和智力均将超越人类
软银的三款智能机器人—NAO、Pepper、Romeo（孙正义计划用机器人产业重塑日本经济）（完整版视频）
松下：
日本“松下”的机器人战略：外骨骼机器人、助理康复机器人、Rulo扫地机器人、通信机器人、全自动洗头机器人（全套完整版）
索尼：SONY 索尼的机器人计划（内含SONY科幻短片「The Last One」）
德国：
德国汉诺威：
2016德国CeBIT展：智能智造、智能机器人、人工智能（德国汉诺威消费电子信息通信博览会）
韩国：
三星：三星人工智能在路上
SK：SK电讯：进入了人工智能(AI)市场，推出了全球首个韩语数字服务助理平台“NUGU”
以色列：
医疗健康、护理康复、外骨骼机器人
新加坡：
数字经济
2017中国“互联网+”数字经济峰会（2）