数据湖这个大坑，是怎么挖的？
The following article is from 特大号 Author 小黑羊
这是第❹篇神扯：说个神秘的概念——数据湖。
从前，数据少的时候，人们拿脑子记就可以了，大不了采用结绳记事：
后来，为了更有效率的记事和工作，数据库出现了。数据库核心是满足快速的增删改查，应对联机事务。
比如你用银卡消费了，后台数据库就要快速记下这笔交易，更新你的卡余额。
日子久了，人们发现，库里的数据越来越多了，不光要支持联机业务，还有分析的价值。
但是，传统数据库要满足频繁、快速的读写需求，并不适合这种以读取大量数据为特征的分析业务。
经过这三步，数据仓库就建好了。
这个“仓库”，主要是为了数据分析用途，比如用于BI、出报表、做经营分析等等。
简要总结下👇
数据库等原始数据，经过ETL加工以后，就被装进了数据仓库。
数据仓库主要用于联机分析业务，通常为大数据量读取。
虽然应用场景不一样，但他们都是结构化数据。
在相当长的一段时间内，他们联合起来，共同满足企业的实时“交易”型业务和联机“分析性”的业务。
随着时代的发展，数据的类型越来越多，人们对数据的需求也越来越复杂。
企业越来越看重这些“大数据”的价值，希望把他们存好、用好。
这些数据，五花八门，又多又杂，怎么存呢？
索性挖个大坑吧！
这就是数据湖的原型。
说白了，数据湖就像一个“大水坑”，是一种把各类异构数据进行集中存储的架构。
因为，数据要能存，而不是一江春水向东流。
因为，要足够大，大数据太大，一池存不下。
因为，企业的数据要有边界，可以流通和交换，但更注重隐私和安全，“海到无边天作岸”，那可不行。
so，数据湖，Data Lake，刚刚好。
可是，概念虽好，把这个“水坑”用好却不容易。
1、这个“坑”挖在哪儿？怎么挖？“挖掘机”贵不贵？2、这“坑”挖好后，这么把各种水都引过来灌到坑里？
3、灌了半坑水，如何才能把他们利用起来？
这些，就是当下数据湖面临的挑战：如何建湖？如何做数据ETL？如何使用数据。
AWS是这样帮我们“挖坑”的。
（
企业基于AWS云服务，可以快速挖出一个适合自己的“湖”，而且这个“湖”根据需求，可大可小，按“注水量”付费。
接下来，就是如何把企业的各种异构数据注入到湖里，也就是我们前面说过的“ETL”，看起来很麻烦。
有个非常酷的产品叫AWS Glue，这简直就是个自动化数据分拣机，可以快速完成复杂的ETL过程，处理完的数据，既可以注入数据湖，也可以给数仓或数据库用。
Glue神器有两个特色
①它能自动化的生成元数据目录，大大简化数据管理工作量；
②它是无服务器架构的，呼之则来，挥之则来，一次还可以整好多台，开足马力处理数据。
目前这个神器已经在AWS中国(宁夏)区域和(北京)区域正式上线了。
同时，还有一个工具，也同步上线，叫做Amazon Athena。
这个工具，让我们可以用标准的SQL，对存储在S3里的数据进行查询，不管是结构化的还是非结构化的。
这就意味着，大家可以用最熟悉的SQL，轻松在S3硬地里“吃土”，当然也能在湖里“划水”，轻松进行数据洞察。
数据入湖之后，并不是简单摸鱼划水就完事了，光有Athena做查询还很不够。
AWS提供了一系列的工具，让企业能进行“湖底大开发”，满足各种各样的业务需求。
数据湖发展到现在，已经成为企业数据体系的基础：数据库、数仓、大数据处理、机器学习等各种数据服务，都可以“一湖尽收”。任何想构建“数据中台”的企业，都可以在AWS找到全面的解决方案。
在这个“上云用数赋智”时代，很多企业已经完成上云第一步，接下来，就是如何“用数”和“赋智”。
(欢迎大家加入数据工匠知识星球获取更多资讯。)
联系我们
扫描二维码关注我们
微信：DaasCai
邮箱：ccjiu@163.com
QQ：2286075659
热门文章
下一个风口-基于数据湖架构下的数据治理
辨析BI、数据仓库、数据湖和数据中台内涵及差异点(建议收藏)
中台搞了2年，项目叫停，CIO被裁！本以为中台是道送分题，没想到是送命题！
报告老板：中台项目成功了，CTO也被搞走了！
我们的使命：发展数据治理行业、普及数据治理知识、改变企业数据管理现状、提高企业数据质量、推动企业走进大数据时代。
我们的愿景：打造数据治理专家、数据治理平台、数据治理生态圈。
我们的价值观：凝聚行业力量、打造数据治理全链条平台、改变数据治理生态圈。
了解更多精彩内容
长按，识别二维码，关注我们吧！
数据工匠俱乐部
微信号：zgsjgjjlb
专注数据治理，推动大数据发展。