查看原文
其他

「Azure」数据分析师有理由爱Azure之三-对照Sqlserver学Azure

The following article is from Excel催化剂 Author 李伟坚

正如前系列《有理由爱Sqlserver》所介绍过的,数据分析师可以充分利用Sqlserver的能力让自己的的数据处理、清洗、整合、分发如虎添翼。
在Azure上目前笔者给大家找到的最大的应用场景是将Sqlserver的能力转移到Azure上来,可以轻松享受合规正版、最新版、无需IT支持部署的、外网可访问的云上Sqlserver。
所以此篇有必要带大家对照着Sqlserver的功能,在Azure上分别对应是什么功能模块,给大家一个总览的概念。因个人水平有限,难免有错漏,欢迎指正。

数据分析师关注的Azure SQL部分

Sqlserver的内容非常广大,笔者也不是这方面的专家,所以整个系列的文章必须是在一个狭隘的小范围内讨论。

正如《有理由爱Sqlserver》系列里所提到的,对于Sqlserver,数据分析师关注的点主要集中在数据的导入导出、数据查询、略懂一些权限管理、自动化操作,商业智能BI模块等。此处也带大家对比这些功能,在Azure上找到相关的服务匹配。

Azure的数据库引擎部分

区别于商业智能模块(SSAS、SSIS、SSRS),大部分的应用都在数据库引擎上,即日常的数据导入、导出都会在此实现。

SSMS登录Azure数据库引擎

对应于Azure上的订阅服务是SQL Server(逻辑服务器),如下图中的红框部分,当然黄框也是可以,数据仓库和数据库是一样的,只是性能不一样,收费不一样,对于我们部门级别的数据,SQL Server(逻辑服务器)就足够了,性价比高。

Azure的订阅服务项

Azure的数据库导入导出功能

Azure数据库上,几乎和本地的Sqlserver的T-SQL支持一致,所以在Sqlserver上该有的SQL查询,在Azure上都是正常使用的,除了级个别的OpenQuery、OpenRowset这些行集函数的支持方式有点不同(云数据库没法识别到本地的文件,所以不能像本地Sqlserver那样轻松地访问本地文件)。

导入导出向导也是正常可用的,相应地数据库的服务器名称和身份验证需要更改下。

导入导出向导

Azure的数据库CLR扩展功能

因Azure数据库有不同的等级类型,笔者说的高性价比是单一数据库和弹性池的方式,非常遗憾的是,这种方式是不支持在《有理由爱Sqlserver》中提及的CLR方式扩展Sqlserver的现有功能如正则函数和字符串聚合函数这样刚需功能。

在【托管实例】这种类型里是支持CLR扩展的。

单一数据库不支持CLR扩展

Azure上的数据ETL工具-数据工厂

在Sqlserver本地版上,若需要更复杂的数据ETL工作,可以使用SSIS来完成,在标准版及以上都有提供,但在Azure上,它就变成一种全新的方式,当然也是更进化的方式,处理的数据类型更多,特别是非结构化的数据,可以和Azure的机器学习、认识服务等一起来工作,这一块笔者也还在摸索当中,当下没什么可分享的。

Azure版ETL:数据工厂Data Factory

IT级别的产品就是这样,不断更新换代,SSIS也只能代表过去的数据时代,未来是数据工厂级别的数据ETL,活到老学到老。

Data Factory面向更高级的ETL

Azure上的分析服务

对标Sqlserver的SSAS分析服务,在Azure上是Azure Analysis Service,这是笔者最喜爱的服务,可以让PowerBI的分析模型上云,能够更好地进行数据分发(Excel+PowerBI Desktop免费使用),并且在开发阶段也是更为友好,相对PowerBI Desktop的开发更好用,后续在PowerBI系列的推文上会更多介绍。

Azure Analysis Service入口

Azure上的自动化作业

在Sqlserver上,可以使用【代理】完成很多自动化的调度作业,例如每天凌晨去抽取新数据,这样的任务,在Azure上,同样又被分割到其他服务去完成,也类似Data Factory那样是一种新的存在方式,其服务名为:自动化帐户。

通过编写Runbook脚本来完成自动化的调度工作,笔者也在熟悉阶段,还没有什么产出可分享。

自动化帐户实现自动化Azure的作业调度

如果仍然可以在本地有Sqlserver可使用,Azure上的自动化仍然可以使用代理去完成,通过Sqlserver上的作业,亦可以访问Azure数据库对其进行调度,同样地Azure Analysis Service也可以写PowerShell脚本访问或用SSIS来调用相应的任务调度执行。

以上提及的许多新的技术,是指完全撇开本地Sqlserver来完成才需要独立去使用,因版权授权问题,像代理、SSIS这些服务,在Sqlserver Express免费版里是不提供的,所以从根本上合规使用的话,还是需要用这些新的方式。

结语

从Sqlserver过渡到Azure上使用,其实也是非常平滑的,特别是对数据分析师最刚需的数据导入导出,数据分享还有更高级别的使用PowerBI技术在分析服务构建多维数据模型,并在报表层做数据分享等实现上,和Sqlserver几乎是一样。

一样技术可以多种使用场景,无论是本地的简单数据存储还是到有需要考虑数据分发、共享等企业级的需求,都可以让自己的技术无缝对接到位。

Azure提供给数据分析用途上可接受的价格成本,非常值得数据分析师们的关注。欢迎继续关注后续的Azure的一些实操的推文分享。

笔者未来聚焦在数据领域的分享,不限于Excel,会分享更多Sqlserver、dotNET、Azure、PowerBI等话题,升级数据分析的能力,欢迎继续关注。


关于Excel催化剂

Excel催化剂先是一微信公众号的名称,后来顺其名称,正式推出了Excel插件,插件将持续性地更新,更新的周期视本人的时间而定争取一周能够上线一个大功能模块。Excel催化剂插件承诺个人用户永久性免费使用!

Excel催化剂插件使用最新的布署技术,实现一次安装,日后所有更新自动更新完成,无需重复关注更新动态,手动下载安装包重新安装,只需一次安装即可随时保持最新版本!

Excel催化剂插件下载链接:https://pan.baidu.com/s/1Iz2_NZJ8v7C9eqhNjdnP3Q

取名催化剂,因Excel本身的强大,并非所有人能够立马享受到,大部分人还是在被Excel软件所虐的阶段,就是头脑里很清晰想达到的效果,而且高手们也已经实现出来,就是自己怎么弄都弄不出来,或者更糟的是还不知道Excel能够做什么而停留在不断地重复、机械、手工地在做着数据,耗费着无数的青春年华岁月。所以催生了是否可以作为一种媒介,让广大的Excel用户们可以瞬间点燃Excel的爆点,无需苦苦地挣扎地没日没夜的技巧学习、高级复杂函数的烧脑,最终走向了从入门到放弃的道路。

最后Excel功能强大,其实还需树立一个观点,不是所有事情都要交给Excel去完成,也不是所有事情Excel都是十分胜任的,外面的世界仍然是一个广阔的世界,Excel只是其中一枚耀眼的明星,还有其他更多同样精彩强大的技术、工具等。*Excel催化剂也将借力这些其他技术,让Excel能够发挥更强大的爆发!

关于Excel催化剂作者

姓名:李伟坚,从事数据分析工作多年(BI方向),一名同样在路上的学习者。
服务过行业:零售特别是鞋服类的零售行业,电商(淘宝、天猫、京东、唯品会)

技术路线从一名普通用户,通过Excel软件的学习,从此走向数据世界,非科班IT专业人士。
历经重重难关,终于在数据的道路上达到技术平原期,学习众多的知识不再太吃力,同时也形成了自己的一套数据解决方案(数据采集、数据加工清洗、数据多维建模、数据报表展示等)。

擅长技术领域:Excel等Office家族软件、VBA&VSTO的二次开发、Sqlserver数据库技术、Sqlserver的商业智能BI技术、Powerbi技术、云服务器布署技术等等。

▼往期精彩回顾▼「Azure」数据分析师有理由爱Azure之一-Azure能带给我们什么?
「Azure」数据分析师有理由爱Azure之二-立即申请帐号开始学习之旅
历久弥新 - 微软万亿市值背后的文化支撑(上)|DevOps案例研究


微软开发者社区

注册微软开发者社区

更多活动资讯一手掌握


    您可能也对以下帖子感兴趣

    文章有问题?点此查看未经处理的缓存