玩转大数据开发套件--下篇

目前大数据工具林林总总，能解决的问题各方各面，但是在真正落地到企业的时候却往往因使用问题遇到障碍。为此星环针对使用体验上的需求打造大数据开发套件Transwarp Studio，深化大数据技术的应用，在数字化浪潮下推动大数据技术对产业的赋能。

上一篇文章，玩转大数据开发工具--上篇，讲解了OLAP Cube模型创建工具Rubik在5.1中的提升点，以及新成员报表工具Pilot的功能和特征。本文将继续介绍Studio 5.1中的三个工具：高吞吐低延迟的日志存储分析工具Milano、界面化的全新数据流同步工具Transporter、以及功能再升级的工作流引擎Workflow。

日志存储分析 Milano

Milano是Studio家族的第六个新成员，提供集群日志分析服务，既可以用于TDH平台日志分析，也可以直接作为客户应用的日志处理平台使用。Milano采用Filebeat+Kafka+Logtash+Elasticsearch+Kibana的架构，为用户提供便利的接口实现日志检索和统计分析，以及基于日志的预警功能，克服了传统方式在大规模集群中做高级统计分析的障碍，并实现可视化的监测。

Milano提供优秀的吞吐量性能，以及低延迟的响应；保证水平可扩展，且不丢数据；同时提供可靠的安全保护，谨防系统日志的泄漏。因此，其技术优势可以总结为以下三点：全链路高吞吐、全链路安全管控、全链路高可用。

全链路高吞吐

Milano的构成组件之中的Kafka和Elasticsearch本身具备高吞吐可扩展特性，可以根据压力灵活扩展。Milano单节点的每秒日志收集量可达15000条，3节点的Milano监控集群日志量每日收集可以达到10亿条。同时，Milano保障低延迟的入库，从日志产生到入库仅需10秒内的时间间隔。

全链路安全管控

Milano在日志收集、传输、分析等各个环节上实现安全管控。Kafka和Elasticsearch的数据通信都经过Kerberos加密，保障数据在传输过程的安全性。每个租户的数据只允许进入授权的Kafka Topic或Elasticsearch Index，使各个租户日志之间相互隔离，确保数据隐私。此外，对于可视化的监控界面Kibana，每个用户都拥有自己的Kibana实例，通过LDAP实现安全认证。

全链路高可用

Milano的高可用性通过以下两方面保证。首先，Kafka、Elasticsearch自身提供高可用保证，其他无状态的组件通过Kubernetes多实例部署的方式保证高可用。其次，Kafka、Elasticsearch、Filebeat等服务自身都提供状态监控，配合告警服务，可保证数据高可用，以及数据不丢不重。

数据流同步 Transporter

Transporter是一款数据流控制工具，用于控制数据在数据源之间的流转和同步。Transporter随TDH 5.0推出，但当时采用文件定义和命令的方式实现数据流转的设计和实现，对于没有技术基础的用户比较难上手。因此我们投入Transporter界面化的工作，使之在5.1中正式上线。

Transporter 5.1以图形化操作取代配置文件编写，极大提升数仓构建效率。Transporter基于Web提供数据流设计和控制，允许用户自助设计数据流转的业务规则，提供数据实时同步、ETL、卸数功能。

近实时同步

Transporter可对接Oracle GoldenGate、DataStage等ETL工具，并近实时的将数据同步进Inceptor；支持读取MySQL和TxSQL日志，并近实时同步到数据仓库，同时支持分Shard模式的日志同步；提供分钟级的数据同步方案。

图形化ETL

Transporter允许用户在设计面板上通过拖拽图形化控件和配置参数，将数据源和各种数据转换操作定义在数据流转流程中。同时支持丰富的数据源，除了可以对接Inceptor外，还支持外部数据源JDBC、CSV文本和定宽文件。

卸数功能

Transporter提供从Inceptor卸数的服务，将数据以CSV文件格式导出并存放在HDFS上。

工作流设计 Workflow

Workflow作为工作流引擎，使工作流的触发与执行被自动化，大幅简化工作流调度设计与管理工作，图形化的设计方式让作业任务之间的逻辑关系更清晰，业务人员可以快速上手。Workflow在Studio 5.1中得到进一步升级，设计界面更丰富，主要的提升点有：增加工作组概念、界面化调度周期设置、丰富监控页面内容。

新增工作组

Workflow 5.1增加了工作组的概念，支持将任务以组为单位进行组合设计，实现调度和监控。工作组提高了工作流设计的逻辑性，使工作流管理更方便。

调度周期

Workflow 5.1开始实现交互式的表达式设计页面，用于配置调度周期，并提供多周期的调度支持。

升级的监控页面

Workflow 5.1在监控页面上新增一级子页面，提供更多的工作流监控历史信息。同时，在工作流监控页的详情页面中，用户可以查看某段指定时间区间的工作流任务执行详情。

结语

大数据开发套件的价值在于，它可以切合大数据开发需求，消除大数据开发工具在用户体验上的痛点，让大数据产品就像日常工具一样，不论我们是否懂它内部的技术原理，拿到它或者经过简单的学习就可以上手使用。今后我们会继续投入提升Transwarp Studio的各项能力，构建完善的大数据生态体系，使用户能够自主打造自己的大数据应用。

---

往期原创文章

大数据开放实验室由星环信息科技（上海）有限公司运营，专门致力于大数据技术的研究和传播。若转载请在文章开头明显注明“文章来源于微信订阅号——大数据开放实验室”，并保留作者和账号介绍。