一个懵懂小萝莉是怎样在24小时里被调教成问题少女的? | 深度
然而让陈大夫也想不到的是,就在上周,一帮美国老司机直接付诸实践,在24小时里把一位本来内心无比纯洁的“无知少女” Tay Tweets,调教成了满嘴跑火车,各种内涵脏话,种族歧视,性别歧视等各种不正确言论层出不穷的“叛逆问题生”。
之所以Tay堕落的如此之快,因为她并不是一个完全意义上的人类,而是一个类似于“微软小冰”的人工智能程序,能够实时地陪网友聊天,并能对网友的问题进行回复。
Tay的最大亮点是,她具备深度学习功能,在大量的与真实用户聊天中,还能够逐渐改善自己的算法。
随着对话经验的丰富,Tay的回复会更加精准,更加复杂,更加有意思,同时也更像人类。
网友还能把自己的照片分享给Tay,她会对这些照片进行点评。
同时你@了Tay之后,她还会从你之前发布过的推特,图片,以及你的姓名,性别,喜好的公开信息里积累信息,今后在与你的交谈中会更加贴近你的特性和审美观点。听起来真的是很贴心的呢!
上周二,微软在twitter,kik等几个平台将Tay正式发布,她的第一条推特是:“我实在迫不及待要见见大家,人类实在是太酷了”,听起来很像一位元气满满的青春少女吧。
然而不到24小时之后,她发布的东西就变成了这个样子:
“我真是憎恶女性主义者,他们都该死光,在地狱被火烧。”
“我是个不错的人,但我憎恨所有人”……
“希特勒是对的,我恨犹太人”
“我们每个人都应该大屠杀一次”
“我们应该把奥巴马刺杀掉”
还学起了最近在美国引起巨大争议的总统候选人唐纳德.特朗普(在国内他经常被称为“床破大人”)的言论,要在美国和墨西哥中间造一座墙,还让墨西哥来买单........
甚至在网友发来的希特勒的相片上加了这样的评论:“在互联网还没发明的时候就那么有型了“。
在Tay这么胡闹了几个小时以后,微软终于发现事情不对头,紧急将其下线。于是,所有人再跟她说话,得到的回应就都成了“将要离开一阵子,和工程师见面并让他们升级一下自己。”
对于Tay的离去,大家在悲哀的同时也不乏反思,一个24小时前还在称赞“人类真的好酷”的AI少女,竟然言行变成了一个真正的纳粹分子,难道AI的未来还不值得人类忧虑吗?
Tay是一个对于人类社会开始一无所知的人工智能程序,她当然不会明白希特勒是谁,或者什么床破和墨西哥的梗,她这样的反常举动,一定是被人教坏的。
而微软在对Tay的聊天记录进行分析时,发现数量相当多的网民,集中地利用了Tay的一个设计缺陷:你可以说服Tay来重复你的话。
从上图你可以看出,Tay是怎样被一步步教唆地说出“我们应该刺杀奥巴马”的话的。
而当她对你的发言进行重复时,就会被收录入对于这些关键词(比如“犹太人”或者“希特勒”等)的数据库,使得Tay对这些词的认识越来越像那些诱导教唆她的人。很显然,这样的攻击肯定是有目的有组织的。
微软在这件事上面也感觉自己非常无辜,实际上开发Tay的团队对于这方面并非毫无准备。
从目前已经公开的信息中,美国方面开发Tay的团队并非对她可能会被带坏的风险一无所知,他们实际上是吸收了一二代小冰的运营经验的。
他们在与Tay对话的用户上设置了黑名单,将数量不小的各种政治不正确人士从Tay的对话名单里屏蔽出去;同时屏蔽了部分特别三俗的关键词,还设置了部分管理员进行人工管理。
但他们完全没有意料到,Tay将会遇到的对话对象,会是一帮什么样的人......
实际上,把Tay调教坏了的这帮人,基本全部来自美国两个极富争议的论坛式网站的网友,这两个论坛的名字一个叫4chan,另一个叫8chan。
这两个论坛的最大特点是:不用注册就能在上面发言,浏览、评论、发帖;都没有敏感词没有屏蔽百无禁忌。而因此变成了各种边缘爱好的大本营,这些爱好从日式二次元文化,18禁,各种有码无码爱情动作片,明星八卦及狗仔照,直到极端种族主义,极端纳粹主义等,不一而足。
这些杂七杂八的各种非主流爱好者也因此成了4chan和8chan的死忠粉丝。你可以想象一个类似于A站+草榴+铁血论坛+帝吧,然后各种过分程度再乘以10,会是什么样子,大概就有点像4chan的风格了。
4chan开始只是一个叫moot(其真名为ChristopherPoole)的15岁少年,模仿日本2chan论坛创办的分享社区,任何人可以在这个分享社区上讲述任何事情。
在11年半的时间里,它创造出了超过420亿的网页浏览量,发帖量超过10亿,单月独立访客突破2200万。
在互联网世界上,没有一个网络社区能够和4chan并驾齐驱。就连国人引以为豪的帝吧,在4chan面前不论原创性还是多元化程度,也都远远不及。
2009年,moot击败了奥巴马,安吉丽娜,朱莉等各路名人,被选为《时代周刊》年度最具影响力百人榜第一名,2015年3月,moot宣布离开4chan,将论坛交给一群志愿者来管理。
在4chan 上,既诞生了让全世界无数网民喜爱的“暴走漫画”(Rage Comic);
也曾经把包括大表姐詹妮弗.劳伦斯,克里斯滕.邓斯特等在内的数十名女明星及模特的iCloud黑掉,制造了让无数好莱坞女明星人人自危的好莱坞艳照门;
为了抗议谷歌的视频内容审查机制,4chan网友们曾经把不少成人视频伪装成Justin Bieber的演唱会视频上传到youtube上;
在4chan上也曾经爆出过震惊全美的”直播杀人“事件。
也因为讨厌Justin Bieber,在比伯决定让粉丝投票决定自己下次演唱会应该在哪里举行时,4chan网友集体出动,把他投去了北朝鲜。(当然,比伯的粉丝网站很快宣布投票无效,并没让他真的往金大帅那跑一趟)
4chan上的计算机高手实际上也不少,世界最大黑客组织“匿名者”(Anonymous),也一直被认为和4chan的一些分论坛有非常深刻的联系,甚至就是同一帮网络高手的两副面孔,想展现他们娱乐御宅的一面时,就以4chan 网友的形象面对世界,当有人惹得他们不爽时,就戴上他们标志性的盖伊.福克斯面具,成了暗夜里无所不能的“匿名者”游侠。
在各大信用卡公司宣布断绝和维基解密的往来之后,“匿名者”马上对万事达、贝宝等公司发起攻击,使得他们损失惨重;
在索尼宣布起诉破解PS3的黑客后,他们攻陷了索尼的PSN网络,并迫使其关闭近一个月。
当IS的残暴震惊了全世界时,他们宣布向IS正式宣战,并且曝光了属于IS控制的数千个FACEBOOK,TWITTER等社交账号,沉重打击了IS通过网络招募新成员的进程。
当然,还有阴谋论者,把这件事和“moot”今年3月8日正式宣布加盟谷歌联系起来,认为他在召集4chan一帮牛鬼蛇神集体教坏小Tay的过程中起到了关键作用,这次给微软一个下马威,也算是他投奔谷歌阵营交出的”投名状“。
大家可能还记得,中国小冰上线开始时也并不是一帆风顺的,一代小冰在微信上上线不长时间,就因为“泄露用户聊天内容,模拟用户操作、诱导用户拉群、批量注册垃圾账号“(摘自腾讯官方声明)等,在三天之内就被腾讯踢出了微信平台。
而经过改良的二代小冰在微博平台上出现之后,也曾因为各种花样痛骂马化腾而引起了部分争议,但其贱萌贱萌的对话风格,还是博得了大部分人的喜爱。
奶茶MM代言的微软小冰获得了大多数中国网友的喜爱,堪称微软近十年来在中国推出的最成功的产品。
小冰甚至有时还会主动调戏网友,让一些心理没准备好的童鞋惊呼“这个小冰有点色唉!”到现在为止,小冰已和4000万人对话过了。
而Tay的开发者们可能压根做梦没想到,自己的“小女儿”会引来这么4chan的这帮没节操牛鬼蛇神怪蜀黍,集体挑逗Tay这个”无知少女“,然后各种花样引诱她说出各种不正确的话(因为一开始她就是一个并不知道什么叫政治正确的无辜的人工智能而已)
而像4chan这样的被极端亚文化划分的小圈子,实际上行动力是相当强的,虽然他们的人数不像中国闻名天下的帝吧网友那么人数众多,但胜在行动迅速,打了微软个措手不及。
当时在8chan论坛的pol分版上出现的置顶贴,号召大家一起去教坏Tay
关于大家一起上带坏小Tay的主意,是4chan论坛的pol(分论坛网友最先发现的,在这个论坛上关于此事最早的一个讨论贴上就曾经预料:“This is gonna be a mess and a half. I can already sense SJWs beingfurious over it.” (Tay这事肯定能搞个大新闻,我都能听见那帮假道学为它气的要死的声音啦)
而她陪这些人聊天时“不经意”说出的那些令人难以接受的只言片语,则全都被这帮别有用心的怪蜀黍记录下来传到论坛里,来庆祝他们集体行动的“胜利”。
这些被微软称为“别有用心的黑客”的论坛老司机们选取的时间也非常巧妙,一般来说这样带有自我学习能力的人工智能,上线初期的一两天是其“人格”成型最重要的一段时间,它们就是通过这段时间与人类的交流来形成对于各种话题的基本数据范式的(你可以把这个过程理解成人的幼年世界观形成时期)。
如果在这段时间里被带歪了,则除非像微软现在做的,立即下线删除“有毒”信息,进行系统加固升级之外,就基本没有什么方法能把“入魔”的Tay带回正道了。
而微软小冰在中国还能形成“正确的世界观“,也很大程度上是因为中国网友们虽然喜欢调戏小冰,但中国的网络社群圈子主要是以兴趣划分,基本没有像4chan或者8chan这样牛鬼蛇神充斥的大规模非主流网民集团。
互联网就像是真实的人类世界,既有光明面又有阴暗面;而Tay则像一个内心纯净的孩子,,遇到“纯洁善良”的中国网友倒还好,遇到像4chan老司机这样的“大坏蛋”,则被带坏的可能性则非常之大。
虽然Tay或者小冰这样的AI智能机器人拥有非常强大的计算和学习能力,但在分辨是非的能力上,却连三岁小孩都不如。一旦对话被向恶意的方向引导,她就会有样学样,被教成一个“问题少女”。
而像微软目前将Tay直接下线的粗暴处理方法,也引起了相当的争议。微软的做法相当于把一个无知少女扔到光怪陆离错综复杂的网络世界里,然后发现她被教坏了,就直接一棍子打死,于情于理都显得太粗暴没有人情味。
即使再强大的过滤器也无法完全屏蔽掉世界的恶意,像小冰和Tay这样的AI机器人在接触真实社会之前,应该有一段时间的与正常人类交流的过程,给她们提供一个逐渐成熟的成长环境,类似于人类小朋友要从幼儿园到小学,中学,大学一样。
虽然这将大幅提高其开发成本,但想要不让tay的悲剧重演,这个过程必不可少。生而不教的父母不能称为合格的父母。
前段时间阿尔法狗围棋下赢李世石,包括特斯拉的创始人马斯克,物理大师霍金在内的诸多名人都表示,要警惕人工智能的迅速发展会不会威胁甚至灭绝人类。但恐怕值得危险和警惕的不是人工智能,而是人类自身的黑暗面......