查看原文
其他

令狐冲的大数据

2016-04-08 老王 科技杂谈

【摘要】"独孤九剑",号称是天下最牛逼的大数据分析工具,只需要三千字的"总诀式"推演出的三百六十种变化,就可以"无招胜有招"。 但没有人知道,令狐冲也有自己的烦恼。 




| 科 | 技 | 杂 | 谈 |

中国通信行业第一自媒体



本文作者:老王

杂谈投稿邮箱:631255063@qq.com


全江湖都知道,当今大数据分析最厉害的高手,除了传说里的风太师叔,就是圣姑的夫婿令狐冲了。 


他们使用的"独孤九剑",号称是天下最牛逼的大数据分析工具,只需要三千字的"总诀式"推演出的三百六十种变化,就可以"无招胜有招"。 


但没有人知道,令狐冲也有自己的烦恼。 


1


要搞大数据,光有分析工具可不行,必须得有数据仓库。就像拿着"破剑式"的分析工具,就算"总诀式"背得再滚瓜烂熟,也破不了田伯光的快刀。 


说起来,令狐冲也有一个大数据仓库。在思过崖面壁的时候,他无意中得到了五岳剑派前辈与魔教长老留下的招式石刻,五岳剑派和日月神教的所有招式数据都在里面。 


问题是,这些数据仓库是老一辈华山黑客设下了"蜜罐"陷阱,通过见不得光的手段搞到手的,不能随便用。 


各家门派的秘籍,都是门派用户的隐私数据,江湖规矩数据绝不外传,你要敢偷学,唯一的后果,就是等着被别人的全门派追杀。 


就像令狐冲搞丢了《紫霞秘笈》, 岳不群要求他:"你便是要死,也得先找到了《紫霞秘笈》!"令狐冲也不得不立下重誓:"世上若有人偷窥了师父的《紫霞秘笈》,有十个弟子便杀他十个,有一百个便杀他一百个!"  


洞里留下的招式,有的是嵩山的,有的是恒山的,甚至还有的是魔教的。要是其他剑派的师叔伯看到自己用这些招数,会不会怀疑自己偷了他们的剑法?甚至把自己当成魔教的崽子,一记大嵩阳手毙于掌下? 


所以,这些招式必须"脱敏"。不光招名要更改隐去,招法特点也得打上马赛克,只有"不具有个人识别性"的招式,才能使。 


还好"独孤九剑"也自带数据仓库,不然令狐冲只能抓瞎。 


2


华山派有剑、气二宗。 


剑宗觉得,只有分析工具强,才是真的强;而气宗说,没有数据处理能力,再牛的工具都是渣。 


令狐冲原本是气宗的弟子,主机装了紫霞系统,运算能力杠杠的。没想到,机房维护员桃谷六仙和不戒大师各装了一套杀毒软件,相互打架抢资源,还没法卸载,连启动个网页服务器都卡,把令狐冲的主机搞成了残废,只能勉强调用"独孤九剑"来处理各种进程。 


这就麻烦了,处理一些零散数据还行,遇到海量数据根本没戏。西湖底下一番大战,任我行就试出了令狐冲的底子,随便调用了一点资源,一声吼就把令狐冲DDOS的当场宕机。 


不过,因祸得福,令狐冲也学到了任我行的分布式架构"吸星大法",能够把别人的计算能力整合为已用,用来完成自己的任务。 


这套架构的核心思路,是"令丹田常如空箱,恒似深谷,内息散之于任脉诸穴",简单来说,就是把统一集中的数据,拆分成了无数的耦合度较小的数据,放到所有的主机里。 


这样,可以不断加主机,不断加数据,令狐冲就再也不怕自己主机不行,只需要做好负载均衡,再多的数据,都放到云上并发处理就好了。 



但这个架构也有巨大隐患。 


化功大法终究是一套霸道的功法,不管什么内功都吸过来用。这就带来了数据一致性的问题和API接口不统一的问题。 


各地的主机系统不统一、逻辑不统一,所以彼此冲突,冗余数据集重叠不同步,一旦遇上网络问题,就会出错甚至掉数据。 


因此,任我行只能忙着推算"阳跷22个服务器和阳维32个服务器之间,如何使数据游走自如",忘了及时给系统打补丁,结果被东方不败利用新漏洞溢出,抢走了黑木崖超级计算机的超级管理员权限。 


甚至到他重新夺回超级管理员权限,也没能解决好架构问题,所以即使拿下黑木崖,打败五岳派,大数据业务规模天下第一,一旦架构问题爆发,还是只能服务器宕机,数据丢失,公司瞬间倒闭破产。 


而令狐冲,因为得到少林寺的方证大师传授,采用了最先进的数据规范《易筋经》,最终割接了任我行的用户,娶了任我行的闺女,住进了任我行的大房子。 


那么,兄弟你呢?你的剑法练到哪一步了?


科技杂谈已经开通文章评论

点击下方“评论”表达我的态度


【昨日文章索引】


点击下方 【阅读原文】加入 “科技杂谈菁英会”。



2013年度最佳IT原创自媒体

2014年度最佳新媒体人

2014年度最受企业关注自媒体

国资委微公益行动联合发起人


| 新科技 | 睿思想 |

已入驻百度百家、腾讯新闻、搜狐新闻、今日头条、网易阅读
犀牛财经自媒体联盟(xinews)成员


转载授权、商务合作,联系微信号:sophie0306



您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存