擎创夏洛克AIOps

其他

解决方案 | 金融微服务场景下如何提升运维可观测性?

本文源自某金融客户的实践案例云原生环境下金融业务的微服务化改造以及分布式架构的部署,使得业务与开发部门的关联更为紧密,传统运维监控已满足不了业务运营需求,亟需建设具备可观测性的运维体系。行业痛点随着金融行业数字化转型战略实践工作的深化推进,数字化业务快速发展,日志类型和日志量急速增加,但各类日志数据(软硬件)分散且繁杂,缺乏统一的全生命周期管理和海量日志的监控分析处理能力,给业务监控告警、日志搜索分析、审计溯源产生了一定制约。同时在云原生的环境中,随着微服务化进程的加快,很多业务系统微服务化后带来了复杂的运维排障屏障。01生产环境业务级异常感知滞后,影响范围往往被放大,降低服务品质生产故障定位处理缺少快速有效的辅助工具,影响业务连续性。02各系统日志数据分散存储,日志路径、格式、打印规范等各有差异,增加问题排查难度技术迭代演进(微服务化、容器化等),传统运维方式支撑不足。03国家网络安全法要求及行业监管机构要求对日志进行统一的采集、存储、分析、可视化等,配合审计需实现异常行为快速提取与回溯。建设目标以云原生可观测性建设为主目标,拉通各类基础监控、数据采集、日志等分析工具的数据孤岛,以云原生领域中对业务场景的需求为驱动,通过技术手段实现业务运营全过程的透明化,提升业务连续性保障,提升服务开发上线效率,提高IT服务质量等,在运维能力提升的同时,亦提升用户体验。解决方案本方案主要通过协助金融客户完善管理规范制度、建设统一日志平台、整合观测数据三个关键步骤助力可观测性提升。完善管理制度规范技术平台为管理服务,要做好技术平台,就需要首先梳理、完善管理规范制度,我司与行方客户一起,对现有的客户规范、业内规范进行调研、条目梳理并进行日志管理规范的总结及能力应用规划。如对业务日志的规范化进行了4层的丰富度说明,并根据不同的级别梳理了不同的规范度、可以实现的不同效果、达到的不同能力级别,通过规范的梳理,可以更好的评估客户现有不同业务系统及其日志的规范化程度,并根据客户数字化推进的阶段,反推不同业务系统的下一步管理要求。建设统一日志平台对数字化转型的提升,管理制度的规范化是道,具体实现,还需要有术的支持,我们这里的术就是基于擎创的日志管理平台作为基础底座,通过整合监控及调用链数据,以可观测性提升为核心的统一日志平台。平台架构主要分4层:最底层为数据源层及接入层。日志数据、监控数据、调用链数据都归为数据源,对不同的数据源,通过不同的采集技术进行纳管,如agent,syslog、API等。在数据处理层,采用数据中台进行数据缓冲、计算、存储,把原始的最基础的数据通过规范化、清洗、聚合计算、数据关联等方式实现从数据到业务运行状态观测的转变。在应用层,通过前端进行交互界面给运维使用方以直观、高效的操作体验,在后端及中间件层,对运行状态观测数据进行缓冲高效查询及部分业务逻辑处理。整合观测数据数据源的丰富度及质量直接决定了可观测性的挖掘深度,在现有的环境中,我们接入了操作系统、数据库、中间件、硬件设备、容器及应用这些类型的日志及监控数据,在链路层,通过skywalking接入了多套业务系统的链路数据,同时在日志中,根据客户规范,增加的对应的TID标示,用于日志及链路数据的深度结合。解决方案亮点实现业务日志统一查询能够全局性覆盖主要业务系统,实现日志的统一快速高效的查询,并通过部分日志的合并、解析、分析,实现日志的更高效利用。在这个基础上实现更多贴合实际生产环境的功能开发,如二次查询、全链路排障、数据湖冷备数据查询、上下文行数自动滚动、日志内xmljson段格式化、用户使用统计分析等功能。关注业务系统运行状态及告警从日志角度,对业务系统进行统计分析,得到业务系统的整体概览状态,方便快速了解系统运行状态。实现业务日志全链路串联根据现有的系统环境及业务场景,打通统一日志系统与Skywalking的数据,通过中间层处理,用TID在日志及Skywalking做上下文关联,通过全局流水号(SEQ_NO)、业务流水号或任意内容搜索,得到业务系统详细日志及链路信息,实现了排障一体化解决。同时,可以直观方便的了解业务系统中业务拓扑及单笔交易的链路拓扑,为排障提供了非常方便的工具,丰富了排障场景,且易于使用。整合监控内容运维场景中除了查询日志及trace信息,经常还需要核对到监控平台查看监控数据,通过整合监控数据,减少运维场景下的不同平台跳转,提升运维效率。数据湖冷备数据查询对接原有数据湖,实现数据的双写,一份用于日常查询排障使用,到存储容量限制后,定期滚动删除;一份存储于数据湖内,长期保存,用于审计场景下使用。同时,实现冷备数据的在线查询,以及更高的压缩率及接近热数据查询的查询速度。在云原生时代下,金融业务发展迅速,数字化转型的脚步日益加快。该方案针对企业在进行云端微服务化改造时,面临传统监控无法高度细化分析与关联数据等问题,提出从日志维度出发建设可观测运维体系的方法并有效落地,从而提升金融企业用户数据处理和分析能力的精细程度,辅助用户挖掘数据深层价值,全面提升业务运营的连续性与稳定性。擎创科技,Gartner连续推荐的AIOps领域标杆供应商。公司致力于协助企业客户提升对运维数据的洞见能力,优化运维效率,充分体现科技运维对业务运营的影响力。行业龙头客户的共同选择
2023年4月6日
其他

喜报 | 擎创科技云监控平台项目,成功入选中国金融科技技术创新与应用优秀案例

2022年12月14日,由中关村金融科技产业发展联盟、中关村互联网金融研究院举办的“中关村金融科技系列活动——2023第十届中关村金融科技论坛年会暨2022“光大杯”中关村番钛客金融科技国际创新大赛颁奖典礼”已圆满落幕。本次会议为建设金融科技中心,共建可持续金融生态,以“科技引领
2022年12月15日
其他

金融行业运维数据治理团体标准应用研讨暨2022年度调研报告发布会成功举办

概述11月26日,中国计算机用户协会信息科技审计分会联合华为、擎创共同举办了“金融行业运维数据治理团体标准应用研讨暨2022年度调研报告发布会”。会议以线上方式举行,来自国家开发银行、中国建设银行、中国邮政储蓄银行、招商银行、兴业银行、中信银行、华夏银行、光大银行、上海浦东发展银行、上海银行、九江银行、北京农商银行、微众银行、黑龙江农信、内蒙古农信、山东重工集团财务公司、农信银资金清算中心、中治研(北京)国际信息技术研究院等20余家会员单位的近200名金融机构数据治理领域的专家、专业人员参加。会上,参会人员共同学习了《金融机构信息系统运维数据治理能力成熟度评估规范》(下文简称标准)团体标准,有5家试点单位和3家服务企业分享了标准应用实践经验,同时发布了《2021-2022年度金融机构运维数据治理调研报告》。会议开始前,国家统计局数据管理中心原主任、中国计算机用户协会副理事长兼标准化委员会主任胡帆,分会副理事长、华为数字金融军团新核心业务总经理闫庞勇,会议协办单位华为中国政企产品技术与运维服务部部长熊伟军,擎创科技创始人兼CEO杨辰分别发表致辞。闫庞勇▷杨辰▷◁胡帆◁熊伟军(左一)其间,杨辰在致辞中表示,智能运维依托于数据,无数据不运维,数据是数字化转型的基石。该标准使运维数据治理有了相应的成熟度可以依循,对促进整个行业的高质量发展有非常大的帮助;擎创科技将立足技术领先,继续加大金融运维数据治理的研发和服务投入,努力为金融机构数字化转型保驾护航。在会议专题交流环节,运维数据治理标准起草组组长
2022年12月2日
其他

喜报 | 擎创科技荣获CCID 2022行业信息化优秀成果中的双料奖项

近日,由赛迪网及《数字经济》杂志共同举办的“赛道转换时代
2022年11月4日
其他

擎创动态 | AIOps中统一监控体系的实践分享-2022GOPS·上海站(回顾)

2022年10月29日,第十九届GOPS全球运维大会在上海圆满落下了帷幕。会议上颁布了IT技术领导力年度评选相关奖项,擎创科技荣获2022年度AIOps领域极具影响力产品奖。此次会议为期两天,共计16个专场,80+演讲嘉宾,擎创科技资深IT运维专家叶瑞于【AIOps最佳实践及解决方案】专场中,带来了由深度实践经验总结而来的《AIOps中统一监控体系的实践分享》。在一个多月之前的乌镇用户大会上,擎创科技创始人兼CEO杨辰提出了智能运维建设发展相关的“三个阶段、五个统一”理念。即IT运维从传统走向智慧,应分为三个阶段:数字化运维、智能化运维、智慧化运营。在此发展的过程中,需要把核心目标落在以用户为中心上,通过“五个统一”来支撑实现这三个阶段的逐一达成。其中,统一监控作为建设路径中的先行者,承担着集中采控、收归离散数据并进行管理分析的重要作用,是为后续数据治理做好铺垫的先决条件。在不断的实践应用中,擎创认为监控体系建设应以用户场景为中心,依据不同场景的需求分层建设。●
2022年11月3日
其他

中计协组织、擎创科技参与编制的金融业数据治理团体标准正式发布!

本文大部分内容来自公众号:信息科技审计分会及团体标准正文内容如有侵权,请联系我们进行删改“2022年10月24日,中国计算机用户协会发布公告,批准发布团体标准《金融机构信息系统运维数据治理能力成熟度评估规范》,标准号为:T/CCUA
2022年10月31日
其他

擎创科技服务案例入选权威机构报告,为金融界智能运维建设提供实践经验

随着各行各业数字化转型的持续推进,以及信息化建设的不断深入,IT系统规模及复杂程度日趋增长。据IDC预测,2021年中国金融行业IT支出规模(包括:软件、硬件、IT服务等)达到2186.02亿元,到2025年将达到3359.36亿元。在后疫情时代倒逼市场经济发展的情况下,金融行业的创新型业务模式不断涌现,业务体量也在激增,因此导致金融运维数据的监、管、控、用面临巨大的挑战,加之系统云化和国产化替代浪潮的推进,金融行业进行数字化转型、不断提高运维智能化水平已是必行的趋势。如何利用大数据、互联网、人工智能等新兴技术推进完善智能运维的建设,是金融行业正待思考和面对的问题。擎创科技与某国际最大影响力的国内金融支付品牌在智能运维建设方面已展开了深度合作,落地案例成果成功入选《IDC
2022年10月26日
其他

擎创动态 | 擎创连续五次入选Gartner AIOps领域标杆供应商!

China),至此擎创已连续五年获此殊荣,获得业界的高度肯定。作为Gartner每年针对技术、应用和行业创建的技术成熟度曲线(Hype
2022年8月2日
其他

擎创动态 | 入选《爱分析·IT运维厂商全景报告》,为各行业数字化转型赋能

点击阅读原文下载报告2022年6月28日,爱分析正式发布2022《IT运维厂商全景报告》,报告重点研究范围如下。①
2022年7月14日