《算法时代》|世界上的一切事物都可以被简化成为一个公式吗?
核心书摘
《算法时代》数据可以为我们展示一切结果吗?可以算出适合我们的另一半吗?在这个大数据时代,算法已经能为我们解决许多问题。本书作者带领读者展开一场关于数据与算法的大揭秘,想向读者展示数据的力量。
适合谁读
· 创业人员
· 企业管理者
· 技术人员
关于作者
卢克·多梅尓,记者、纪录片电影制片人,经常为《快公司》《连线》等媒体写作科技类文章。
学什么?如何运用算法发展企业
当今社会已经进入大数据时代,不论是股票的形势走向还是关于产品的使用对象,都可以用数据表示,算法已经深入我们生活的方方面面。
在商业上,它帮助商人获取利益;在司法上,它帮助人类维护权益;在艺术上,它帮助艺术更有趣味性。算法的好处,已经深入我们生活的方方面面。
既然算法有这么多的好处,我们又该如何把它应用到企业中呢?今天的文章揭示了算法的由来,说明了在算法时代,我们必须要养成提问的好习惯,我们不能完全依赖于大数据,必须有自己的思考,时刻去纠正它不好的地方,让它能更好的为人类服务。
你还会发现
· 大数据的真正特点;
· 如何判断算法的优劣;
· 算法的作用。
一、算法时代的前提:从随机采样到全量数据
20世纪初,德国考古学家在美索不达米亚平原上,发现了一个名为乌鲁克的遗迹。这个距今已有5000多年历史的古代建筑群,有个特别之处,那就是堆满了球状和柱状的小型黏土制品。
在当时,没人能够回答它们是做什么的,直到上个世纪70年代,大量类似的文物出土后,才有学者推论,柱状像面包的黏土制品,是用来统计面包的数量,同理,球状的则用来清点罐子,简言之,就是“对应计数”。
如果这位学者的推论没错,这些黏土堆就是已知现存最古老的一批“数据”。也正是为了满足这样的监控需要,“数据”才早早诞生,那个时候,它的主要功能是“记录”。古巴比伦神庙的祭祀们,就是通过在泥板上刻画来做记录,从而监控人们缴纳贡物的情况,这也是后世税收和账本的雏形。
然而,随着数据量和场景的增加,人们不再满足只是记录已经发生的事,在智慧的带动下,数据有了第二个、也是更为重要的功能:预测。预测功能可以让农民通过往年的数据,提前判断今年的收成;也可以让天体物理学家对行星的运动轨迹做出精准预言。
如果你关注古代战争史,会发现一个奇怪的现象:人口较少的春秋战国时期,打起仗来动辄几十万大军,反而到了人口较多的宋明时,军队过万就已经算是盛况。
这正是因为,春秋时期,数据的真伪很难判别,但君主会利用军队数据来预测自己的胜率,于是各国纷纷夸大自身,对外言必称“车万乘”或“带甲百万”,借用预测来提升威慑力。
用数据做出准确预测会带来不菲收益,但这一做法也常常面临着不小的难题。在过去,人们使用数据前,通常会先用随机采样法将数据量减少——随机采样,就是在所有的数据中随机抽取一部分作为样本。
这样做预测有两个缺陷:一是采样分析依赖于样本的随机性,随机性越大,预测的精确性越高,一旦采样过程中存在任何一点偏见,精确性就会相差甚远;二是人们利用随机采样法,只能预测事先设计好的问题,却丧失了发现其他问题的可能性。
而明知道随机采样法有这样的缺陷,还继续使用它,是因为曾经记录、储存数据的工具都不够好,只有这样做才可以简化获取数据的难度,让预测变为可能。
幸运的是,随着科技的发展,这些问题已经慢慢成为了过去时。在2000年,四分之三的信息还存储在报纸、胶片等传统媒介上,短短七年后,这类数据的比例只剩下7%,其余已经全部变成了数字数据。
这一变化让我们有了新型能力:以一种前所未有的方式,对海量数据进行分析,从而获得深刻的洞见。可能你对“海量数据”这样的讲法有些陌生,但它的别称你一定很耳熟:大数据。
很多人对大数据的理解,仅仅是数据的数量大,但实际上,大数据的真正特点是“全量”。
和随机采样相比,大数据往往包含了与某个现象相关的全部数据,生活中很多价值经常藏匿在细节之中,而采样分析却无法捕捉到这些细节;大数据建立在掌握所有数据,至少是尽可能多的数据的基础上,所以我们就可以正确地考察细节并进行新的分析。
与此同时,“全量”除了指“全部数量”外,还有一层影响更深的意义,那就是“全部度量”。因为获得和存储信息的难度越来越低,我们渐渐开始习惯用数据来描述一切,甚至是自身。
比如,我们会用手环来记录熟睡时间,用电子称来监测自身的体脂比,甚至连评价外貌都会带上分数。将事物数据化的做法,也让我们对世界的认知更加清晰。
在这样“量化的世界”里,人们时刻被数据包围,为了更高效地利用数据,算法开始被逐渐重视并广泛应用。如果说数据正在描述我们的世界,那么算法就在各个方面改变着我们的生活。
从随机采样到全量数据后,算法的时代正式来临了。
二、重新认识算法
想要知道算法使我们的生活发生了哪些改变,首先还是要了解一下,到底什么是算法。
很多人第一次听到算法这个概念,大概率是从程序员的口中,或者是编程类的书籍里。与算法一起听到的,往往还有诸如冒泡排序、递归思想等等令人丈二和尚摸不着头脑的名词,不由得望而生畏。
诚然,由于计算机和软件被制作出来,就是为了处理大量数据,以便提升人的效率,所以算法在相关领域体现得更为明显。但如果因此认为,算法是计算机行业的专属名词,未免有些太过狭隘。
实际上,算法的历史源远流长。“算法”的英文是algorithm,来源于9世纪波斯数学家阿尔·花剌子模的名字,而中文里,“算法”至少在唐代起就出现了,类似的概念更是早在《周髀[bì]算经》、《九章算术》等书中就已存在。
我们都知道祖冲之将圆周率的准确值计算到了3.1415926和3.1415927之间,保持了世界最准确圆周率达900年之久,他用的就是三国时代刘徽给出的求圆周率算法:割圆术。
讲到这,大家应该也明白了,算法,其实就是一种处理规则,它可以帮我们把现有的数据进行加工,从而发挥出更大的作用。
我们在登录个人账户输入密码时,信息会被加密传送到服务器,这里用到了算法;周末准备去超市、电影院、还有一家心仪已久的餐厅,出门前计算怎么走用时最短,也是用到了算法。一旦数据开始介入某个事情,算法也就随之而来。
唐代哲学家韩愈曾经讲过一句话,叫做“术业有专攻”。我们大部分人,可以对编程算法不求甚解,但自己生活工作中可能用到的算法,却很有必要勤加琢磨。同很多事物一样,算法也可以被不断改进,那么如何判别算法的优劣呢?这主要要从两个角度来看:
一是算法的时间复杂度。需要注意的是,虽然名称叫时间复杂度,也确实是为了节省时间,不过我们在用它做考量时,主要看的是算法中基础步骤的重复次数。
举个最简单的例子,想预估逛完一个商场的时间,将逛完每一个店铺的预计时间相加是一种办法,将逛完一层的预计时间乘以商场的层数也是一个办法,而后者明显比前者重复更少,时间复杂度也更低。
除了时间复杂度外,还有另一个角度也很重要,那就是空间复杂度。在计算机软件中,空间复杂度更高,意味着占用的存储量更高,现实中,则意味着占用的资源更多。
还是拿预估逛商场的时间举例,如果有4个人分头行动,哪怕采用的做法是将逛完每一个店铺的预计时间相加,耗费的时间也能缩短到原来的4分之一。但值得注意的是,这样做意味着你要支付工资给其他三个人,面对类似的小事,这样的额外支出显然没有必要。
我们判断算法处于什么水平时,并不能单纯地追求降低时间或空间复杂度。好比要吃完一袋饼干,一口一块显然太慢,但一口十几块,也要考虑是不是有足够大的嘴巴。毛泽东曾在《论持久战》里讲到过时间与空间互换的观点,就是表达了类似的意思。
虽然也有时候,时间与空间的复杂度可以同时降低,像天才数学家高斯曾经发明的等差数列求和法,那属于少中又少的壮举,大部分时候,我们必须在极致的效率和极致的成本之间做出权衡。
三、算法正在简化哪些难题
现如今,算法每天都会对展示在我们眼前的信息进行分类、筛选与取舍,它正通过各种各样的方式,微妙地影响着我们的生活。那么,算法能帮我们简化哪些难题呢?书中分别从商业、司法和艺术三个方面,描述了算法在其中所起到的作用。下面我们一起来了解一下。
1、商业
广告营销界曾有一个著名的问题:“我知道在广告上的投资有一半是无用的,但问题是,我不知道是哪一半”。
这个问题曾经困扰过绝大多数的广告主和广告人,因为在传统条件下,很难直接判断一个人是不是需要你的商品,同样很难判断一个人购买你的商品是因为受哪一条广告的触发。但在算法时代,解决这个难题变得十分简单。
英国前首相丘吉尔,在战后重建的演讲中说道:“我们建造房舍,然后房舍会重新塑造我们”。而被互联网覆盖的我们,也可以讲出类似的话:我们在线上的行为,建立了个人资料,而个人资料将重新塑造我们的形象。
每当我们新打开一个浏览器窗口,或者是一个App页面,远处或云端的某个数据库就会记录我们的这些活动,并通过算法对这些数据加以辨别。
美国一家名为Nara的公司,就通过在线上获得资料,为用户的衣食住行提供建议,这种做法有效剔除了大量的冗余信息,让用户不会因为面临的选择太多而无所适从。
国内很多公司也在采取类似的做法,例如,当我们使用淘宝搜索某物后,每次打开淘宝,首页都会给我们推荐与之相关的各种物品;在朋友圈投放广告时,广告主也可以通过筛选用户的年龄、性别和最近的购买习惯来缩小广告展示范围,节省费用。
可以说,算法给营销行业带来了翻天覆地的变化。现在,我们在进行每一次商业行为时,都可以依靠算法,把预算尽可能地投入到“有用”的那部分用户身上,做到有的放矢,减少浪费。
2、司法
如果说算法在商业上的应用,只是方便了商人获取利益,对大众的帮助却并不太多,那么,它在司法上的助力,就真正做到了让每个人获益。
相信大家在生活中,都多少遇到过自身权益受损的情况,按正常来说,这种时候应该借助法律马上维权,但在过去,很多人是越维权,损失越大。
前些年,就有新闻报道说,山东的某个厨具企业,经过多年维权,终于获得了300多万元的赔偿,但仔细一算帐,它连续多年的维权支出加在一起,早就远远超过了这个赔偿数字,其他没有报道的类似情况,恐怕数不胜数。
企业实力雄厚,想要维权尚且如此,个人就更不用提了,大部分时候,只能选择“大事化小,小事化了”,干吃哑巴亏。
随着国民平均素质的提高,阻挡我们维权的已经不是不懂法,而是高昂的费用和复杂的司法程序。但在算法时代,这一问题正在得到极大的改善。
以美国为例,案件在庭审前都会要求诉讼各方提供材料,通过对这些材料的认真梳理,找到可以提交的证据。这项任务需要处理的材料数量巨大,所以费用惊人,常常让委托人头疼不已。
而现在,这项工作可以借助数据挖掘工具和机器学习程序来完成,而且从精确性上看,系统完成的工作已经比律师做得还好,成本低廉的同时,效率也得到了大幅度提升。
除了能帮忙解决案件,算法还能够协助预测并制止犯罪行为。加州大学洛杉矶分校的研究小组,在2011年测试完成了一个犯罪预测算法,这个算法的设计原则是“让警员在合适的时间出现在合适的地点”。通过这一算法,洛杉矶警察局调整了警力部署,让市内各个地区的犯罪率大大下降,最多的一处甚至下降了36百分点。
像这样能够对司法提供帮助的算法,正变得越来越多,并迅速在全球范围内普及。这些改变,也让我们的自身权益得到了更强有力的保护。
3、艺术
当你某天坐在办公室,对着电脑发呆时,是不是也做过成为艺术家的白日梦呢?书中说,其实你眼前的计算机,在未来就可能成为一名艺术家。
2013年,一部名为《多重世界》的电影,在半岛现代音乐艺术节上进行了首映。这部电影获得了前所未有的成功,它的与众不同之处,是会根据观众的反应,实时改变故事走向。
电影放映过程中,观众佩戴的传感器可以检测他们的脑电波、心率、肌肉的紧张程度等,这些数据传输到计算机后,通过算法得出结果,决定触发哪一个新的电影镜头。而观众最终看到的,正是一部由计算机创作出来的“艺术品”。
实际上,早在1787年,音乐家莫扎特就有了类似形式的思考。他在《音乐的骰子游戏》一文中讲道,可以通过随机掷两粒骰子来抽取对应的音乐小节,最终创作出带有莫扎特风格的乐曲。
也有很多人对此表示质疑,因为我们认知中的艺术品,往往是突破性的创造,而不是对音乐素材的简单再加工。今年的中国好声音节目中,导师周杰伦就提到过这一点,认为机器无法创造蕴含感情的音乐。
但另一方面,算法赋予了机器自我学习的能力,也在让机器不断掌握以前不会的技能,那么在未来某一天,它做出突破性创造,给出富有温度的作品,也不是没有可能。所以你的计算机能否化身为一个艺术家,也许就像科学家利奥尔·沙米尔所说的那样:“只是何时会发生的问题,而不是会不会发生的问题。”
四、在算法时代,必须养成提问的好习惯
1997年,IBM公司的超级计算机深蓝打败了当时的国际象棋冠军,当时人们纷纷议论,国际象棋的变化较少,但是围棋就不一样了,算法如何发展,人工智能也不可能在围棋上战胜人类。结果20年过去,围棋九段惨败于谷歌研制的机器人Alpha Go。
这时又有人说,围棋的可能性毕竟还有穷尽,很多其他项目,例如团队竞技游戏DOTA2之类的,影响胜负的微小细节更多,在这种类型的竞赛上,机器人一定无法超越人类。但这话说出还不到一年,在世界最高水平的DOTA2国际邀请赛上,由Open AI公司(这家公司的老板又是神奇的埃隆·马斯克)开发的机器人在1对1比赛中战胜了DOTA2游戏圈顶级职业玩家 Dendi。
比胜利更让人感觉震惊的是, Open AI 在比赛中表现出来的强大能力,并不是像Alpha Go一样,通过模仿学习和搜索策略获得的,而是完全通过“Self-Play(自我对决)”的方式一步步提高和强化起来的,并且在整个提升的过程当中,Open AI从最初的笨拙混沌状态,逐渐进化到世界冠军级的单挑水准,仅仅花费了两周的时间,这种强大的自我学习和进化能力才是AI技术的可怕之处。
人类可能会因为状态不佳而轻易犯错,但在设定好算法后,机器出错的可能性却微乎其微。更为重要的是,很多尖端领域的算法已经带有自我修正的功能,机器不需要休息,它们以更高的效率不断运算,也同时完善自我,某种意义上来说,这正是一次速度惊人的“物种进化”。
在可预期的未来,有强大算法加持的人工智能,势必会在生活的各个方面辅助我们做出决定。但它是否能直接替我们处理一切事物呢?答案仍然是不能。
确实,我们无需担心它的能力,在用数据量化的世界里,算法可以解决一切规则固定的难题。但同样有一点不能忘记,机器只是依据规则进行运算,最终选择一个数学上最优的结果,这一结果对于人工智能来说是完美的,可站在人类的立场来看就不那么好说了。
国外有一个开放的内容社区Tumblr,它的机制是一旦你浏览某种内容,就推荐相关的内容给你。这个算法是不是听起来没什么问题?但实际使用中,有些人有意无意点开了情色内容,于是平台就推荐更多这类内容给他,而他再次点开这些内容,又会导致更多这样的推荐。
直到最后,他打开Tumblr所能看到的,除了色情内容不再有其他可能,这种情况也让Tumblr在海外臭名昭著。但整个过程,它都只是在按照一个看起来能够帮到我们的算法来运转。
再比如说,如果算法规定,不能损害我们自身的利益,那么向慈善机构捐款对于机械的算法来说,就是让我们的个人利益受损,那么它所有与慈善公益相关的活动就都不会去做,但对于人类来讲,慈善和公益事业正是伟大人性所拥有的光辉。
所以,作者在书中强调,为了避免这些不是失误的“错误”,在借助算法决策时,我们一定要时刻去纠正它,成为它的主人,算法在我们的生活中变得越重要,我们就越是要养成学会提问的好习惯。
总结
我们来总结一下今天的内容。算法的本质,实际上是一种对现有数据加工处理的规则,通过算法,我们可以让已经获得的数据给我们提供更多的帮助。随着科技的进步,获取和存储数据变得越来越方便快捷,今天的我们,甚至可以用数据来量化整个世界,包括我们自身。而加工这些数据的算法,也随着需求渗透到了生活的各个方面。
从大数据应用的现实来看,算法已经可以帮助我们更有效地进行商业营销,更稳定地维持法律秩序,更便捷地进行艺术活动。在可以预见的未来,算法的重要应用之一:人工智能,将会带给我们人类更多的辅助。
但与此同时,也应该注意到的一点是,算法作为规则是缺乏变通的。它的立场,很多时候不能完美代表人类的期望,我们要不断对它进行反馈和修正,起到监督作用,毕竟算法要为人服务,当算法变得越来越重要,我们越是要养成对它提问题的习惯,只有这样,我们才能保持驾驭它,而不是陷入它的支配中。
恭喜你和“今今乐道”读书会一起读完了你生命中的第 1150 本书,希望今天的内容能给你有益的启发。(拆书人:于渔渔)
《算法时代》金句:用户的喜好就是我们的商机。
在应用算法时要多加思考,驾驭算法,对其进行完善,让它更好的为公司、为人类服务。
点击右下方“分享”按钮,将正确运用算法的方法送给需要的朋友,帮助他的企业更好的融入算法时代。
相关内容:
《赤裸裸的统计学》|为你彻底揭开了统计学、大数据和数字的“神秘面纱”。
上次推送内容
本次推送:
《梳毛、八卦及语言的进化》|八卦对语言的进化有何作用?
《算法时代》|世界上的一切事物都可以被简化成为一个公式吗?
《印度:受伤的文明》|印度三部曲02:凝聚力如何而来?
《如何阅读一本书》|如何真正读懂一本书。
史记·陈杞世家|人生好在适度,误在失度,坏在过度。
《剪刀石头布》|如何运用“超预测者”思维获得先机?
《选择的价值》|如何节省选择成本,把时间花在更重要的事情上?
《文化战略》|如何通过文化创新开拓蓝海市场?
下次推送:
《文字的力量》|生活中没了文字会怎么样?
《用户力》|如何驱动产品设计、网络运营和商业模式?
《理性情绪》|为什么人皆自寻烦恼?
《合作的物种》|人类是合作的物种,具有合作的社会偏好。
《商业模式新生代》|盈利的商业模式是如何发展起来的?
《奢侈品战略》|为什么奢侈品能让人如此着迷这?
史记·东越列传|信任是企业管理无形的力量,也是无形的财富.
《孙子兵法》4/5|两把钥匙,破解创业的时间密码。
(语音、文字、图片部分来自今今乐道APP和网络,老农整理)