EAWorld

其他

Kubernetes中Pod间共享内存方案

将基础组件Agents从业务Pod中剥离,以上的问题都能解决了,架构上的解耦带来的好处无需多言。而且我们可以通过Kubernetes管理这些基础组件Agents了,享受其自愈、滚动升级等好处。
2019年2月21日
其他

应用基础框架全面解析

用户:所有能登录系统的用户都是系统中的用户,需要增加登录账号有两种方式。一种是在用户管理中新增用户,第二种是在组织管理中新增员工时关联一个用户,如果用户的登录名不存在会创建一个新的用户。
2018年12月19日
其他

微服务设计指南

Gateway是针对不同的Web和移动用户而定制的。对于数据层,数据存储技术是根据业务功能仔细选择的(关系数据库用于结构化数据,Redis用于临时数据缓存,MongoDB和Cosmos
2018年11月9日
其他

微服务之服务调用与安全控制

域:从物理部署角度看,指微服务业务系统的基础运行环境,可以支持多个系统再域内运行监控和管理,即一个域部署一套微服务基础环境即可。从逻辑角度看,域常与业务或组织划分有所关联,可根据实际需求定义。
2018年11月2日
其他

构建金融+场景化的生态服务平台

随着我国经济的高速发展和科技的飞速进步,金融服务方式正在被重塑,新业态不断涌现,金融服务的范围、方式和客户需求也在发生着深刻变化,依客户需求而变化,提高服务质量谋发展,正在成为银行业的普遍共识。
2018年10月29日
其他

微服务数据一致性的演进:SAGA,CQRS,Event Sourcing的由来和局限

10月25日(今天)下午14:30普元产品架构师郝炎峰为大家分享《微服务之服务调用与安全控制》,在此公众号回复“YG+微信号”马上入群并完成报名!
2018年10月26日
其他

基于统一开发平台的微服务架构转型升级之路 | 某国有大型银行案例

我们目前在这家银行正在建设的微服务开发平台,建设有包括微服务开发IDE、服务注册中心、配置中心、API网关、认证鉴权中心、日志中心、管理监控中心等基础服务组件,项目组只需关心自身业务微服务的开发。
2018年10月22日
其他

我们进入微服务世界的旅程-以及我们从中学到的东西。

工作。公司的一个客户在他们的办公室指派我进入了这个项目,我们的团队负责对他们的业务进行数字化转型。因此,需要引入微服务的理念。(随着我在这个领域的经验更加资深,我经常同时听到这两个概念一起出现。)
2018年10月15日
其他

基于场景选择微服务的API范式:REST、GraphQL、Webhooks和gRPC

GraphQL是扩展API的一种选择,gRPC是对传统方法的重新配置,Wehooks是一种完全不同的提供资源的方法,与上述的所有方法都不同。Webhook,简单来说,就是在事件发生时触发的HTTP
2018年10月12日
其他

普元微服务平台EOS Platform 8全新发布

答:针对灰度发布,平台提供了应用路由的能力,可以指定请求的路由到那些实例分组上;部署多套应用,全局的流控是在网关层面可以配置;如果需要在单台上做流控,可以使用平台预留的扩展能力,二次开发实现。
2018年9月28日
其他

告别微服务:究竟是千军易得还是一将难求

3名全职工程师将大部分时间花在保持系统正常运行上,以至于团队没有办法取得更多有益的进展。此时,我们开始思考转变。这篇文章讲述了我们如何后退一步,并采纳了一种与我们的产品需求和团队需求很好匹配的方法。
2018年9月21日
其他

DevOps驱动的人保微服务平台建设之路

问1:DevOps中进行构建时对于各个节点的监控告警是如何实现的,持续集成各节点耗时,超过阀值告警、包括单元测试、持续集成等,包括定时任务是否正常发起,发起是否执行成功,主机资源使用情况等?
2018年9月18日
其他

数字经济时代的智能化大数据治理

转载本文需注明出处:微信公众号EAWorld,违者必究。当今,数字化转型正在各行业快速发展,以数据、流量、知识为主的的数字经济时代到来,数据在其中的重要性不言而喻。在企业内部,数据团队正逐渐变成一个专业、独立的部门,未来数据部门的肩上要扛起包括保证数据质量、管理数据架构、提供平台与工具等在内的各种数据相关的职责,来支持各方对数据的使用、形成企业的数据资产。做为支撑数字化转型的基础设施,数据治理已经成为数据团队履行数据职责的重要手段。我们正在尝试通过一些智能化的技术来实现数据治理,建立企业统一的数据工作环境。本文主要介绍了通过智能化的手段来实现大数据治理的一些技巧,以及其中的核心技术。目录:一、治理数据,从发现数据问题开始二、三个智能化大数据治理的案例三、大数据治理的十大智能化能力四、总结一、治理数据,从发现数据问题开始科学探究的过程一般是从发现问题开始的,数据治理也是如此。先发现问题,再寻找解决方法,最后提供相应的技术支撑,这是做数据治理的一般思路。1.企业中常见的四类数据问题在颠覆企业业务的数据经济时代,数据无疑成为企业拥抱变化的基础,数据跟实体一样变成了生产资料的一部分。但是我们仔细观察之后,会发现企业存在着各种各样的数据问题:第一类问题就是数据资产不清晰。现在很多企业都不了解自己的数据,企业中到底有多少数据?数据都是什么样的?这些数据到底可以发挥什么作用?很少有人能准确回答出这些问题。第二类问题是数据质量不高。现在因为数据质量不高而影响企业业务的例子有很多,在这里就不多说了。第三类问题是业务和开发的协作问题。数字经济时代,业务对数据的需求和以前不同了,以前在数据仓库的模式下,开发是先把一些工具归并出来,再做成一个整合提供给业务,现在业务需要进一步明晰数据是什么,要自己看有哪些数据可以发挥出想要的价值。还有一类问题是知识和数据难以关联。比如我们发现拿给业务看的数据和业务概念之间往往不能很好地匹配。举一个金融行业的例子:业务想要一个头寸的数据,但是到底在哪个地方,哪一种头寸说不清楚,像这种数据和知识的关联是很难建立的。2.通过大数据治理提供多种数据服务,从根本上解决数据问题传统数据治理更多是在强调通过一些流程和制度把数据质量提高,并不能很好地解决以上种种数据问题。现在做数据治理,更多是为大家提供统一的数据服务的能力,从而让数据问题得以解决。这样的环境应该包括哪些东西?需要能解决一些什么样的问题?简单总结就是四个字:管(Manage)、看(Browse)、找(Discover)、用(Apply)。管。这部分不用多说,也是之前做数据治理的重点。
2018年3月1日
自由知乎 自由微博
其他

说说K8S是怎么来的,又是怎么没的

https://softwareengineeringdaily.com/2016/10/03/docker-fork-with-alex-williams-and-joab-jackson/
2018年1月22日
其他

自服务数据共享与服务架构详解

第三对于数据分析师提供了可视化的工具帮助数据分析师进行数据探索和自助分析,基于可视化工具,提供数据处理流设计支持,实现从数据源定义、大数据集获取、数据处理、BI分析、结果输出的全过程工具。
2018年1月16日
其他

DevOps平台实践落地之构建管理详解

我们的DevOps中持续集成与持续部署的总体设计思路就是在DevOps中进行设计,然后通过Jenkins执行的方式。DevOps负责进行构建定义或部署架构的设计,生成Jenkins的pipeline
2017年12月27日
其他

微服务来了,配置怎么办?

运行时的配置,通常就是一些可以动态调整的参数,程序会根据不同的参数值产生不同的行为,计算结果可能不一样。一般运行时的配置调整,最好是能够做到动态的热更新,不需要重启动服务才能生效。大致分两种:
2017年11月9日
其他

微服务编排之道

这里的数据字典是指抽象出业务含义的基本数据项,如账户,交易额等。通过这些数据字典可以定义出服务所需的的数据结构(服务参数和服务返回值),这样不同的数据结构之间可以按照数据字典进行自动适配。
2017年10月19日
其他

万达网络科技的DevOps平台架构解析

现任普元信息高级研发工程师,毕业于华东师范大学,曾参与和负责银联Paas云平台项目、兴业银行CAP4J项目、交通银行信用卡中心统一监控平台项目、神华灾备云平台、万达DevOps平台等项目。
2017年9月14日
其他

DevOps与合规性:鱼和熊掌兼得指南

“哎呀。真要命……”玛丽亚关闭了另一个浏览器选项卡(上面有她不打算申请的另外一份公开招聘启事),歇斯底里地吼道。她恼怒地一头撞在桌子上,她之前压根没想到会像现在这般痛苦。天哪,究竟是怎么回事?
2017年9月13日
其他

微服务的4个设计原则和19个解决方案

有了服务契约,我们就可以根据契约自动生成服务的文档和服务模拟测试环境,这样,开发者就可以方便的获取到依赖服务变更的情况,能够及时的根据依赖服务的变化调整自己的程序,并且能够方便的进行模拟测试验证。
2017年9月7日
其他

生态型App的架构实践分享

UI模版本质是一种代码片段,体积上远比三方应用的体积小,三方应用(比如MicroApp)默认采用的是使用前下载的方式,在使用过程中也会以显性方式下载为主,打开MicroApp,在进行传递数据。
2017年7月24日
其他

建设大数据平台,从“治理”数据谈起

大数据时代,企业急需建立以用户为中心的自服务大数据治理,信息梳理、数据管控、连接用户、智能化是实现自服务大数据治理的四个主要阶段,掌握一系列关键技术和技术原则,是实现自服务大数据治理的重要基础。
2017年6月23日
其他

微服务架构下的安全认证与鉴权

Type)不通过第三方应用程序的服务器,直接在浏览器中向认证服务器申请令牌,跳过了"授权码"这个步骤,因此得名。所有步骤在浏览器中完成,令牌对访问者是可见的,且客户端不需要认证。流程如下:
2017年6月19日
其他

区块链技术的本质是分布式数据库

《当微服务撞上区块链》系列微课分为:1、区块链的业务价值是通过数据共享降低信任成本2、区块链的本质是分布式数据库(本文)3、区块链与微服务是天生的一对转载本文需注明出处:微信公众号EAWorld,违者必究。区块链技术是基于比特币应用提出的一个概念,他是一个融合了多种技术的一个集成式创新。目前区块链的应用早已不仅仅局限在比特币上。人们在谈论或使用“区块链”这个词时,有时候是指技术的商业应用,有时是指技术实现本身。在《区块链的业务价值是通过数据共享降低信任成本》一文中,我论述了应用区块链技术的商业价值,有在多方参与的场景下更适合采用区块链技术,也提到了区块链的技术特征:(1)多副本、(2)可靠记录、(3)不可篡改、(4)多方透明几个特性,上述特性总结下来,采用区块链技术后,应用技术架构如下图所示,可以看出,区块链技术对应用而言,就是一个分布式数据库(估计看到我这个结论,很多砖就要拍过来了,请大家拍砖的同时继续看),我一一说来:一、从分布式数据库的基本概念理解区块链技术和区块链技术比,分布式数据库的概念显然更容易被理解,我就从分布式数据库的一些基本概念出发,理解区块链的技术实现,这些概念包括数据存储、点对点可靠传输、存储过程与触发器(智能合约)、数据安全:1、分布式数据存储区块链技术的数据共享是一个分布式的记账簿,交易记录具备多个副本,因此首先要解决分布式数据存储的问题。1)区块链存储的基本单元是区块,区块采用链式结构,即新增的区块(类似数据库一行记录)都知道自己前一个区块(前一行记录)是什么,可以一直追溯到根,区块的标识是区块的哈希值,同时链式结构保留了业务产生的轨迹,可以在新增交易的时候根据前面的记录做校验,保证了区块的内容不容易篡改。这种模式,我们在传统的数据库设计也会采用,例如拉链表的形式,每次对数据的更新都采用追加(
2017年4月20日
其他

区块链的业务价值是通过数据共享降低信任成本

《当微服务撞上区块链》系列微课分为:1、区块链的业务价值是通过数据共享降低信任成本(本文)2、区块链的技术核心是分布式数据库3、区块链与微服务是天生的一对转载本文需注明出处:微信公众号EAWorld,违者必究。区块链技术脱胎于比特币,2014年左右逐步从比特币中脱离出来,做为一种独立的技术发展,分为公有链、联盟链、私有链三个方向,2016年成为
2017年4月14日
其他

DevOps平台中的自动化部署框架设计

前面我们提到了“部署策略”这个词,除了全新部署,我们常见的部署策略有蓝绿发布、滚动升级、灰度发布/金丝雀发布、回滚。下面来看看我们的相应解决方案。每一种部署策略都会有相应的执行计划模版(含子计划)。
2017年4月6日
其他

微服务的持续集成,四步“构建”一个代码世界

在这种方式中,代码库还是那个代码库,不过在代码库中我们创建了多个子目录,每个子目录对应一个CI构建。现在的很多项目中都会采取这种持续集成,这让我们可以比较方便的同时提交对多个服务的修改。
2017年2月21日
其他

服务都微了,编排怎么整?

由于是通过rpc的调用,因为网络和调度的关系,可能出现补偿请求比原交易先到达的情况。这会导致补偿操作直接会失败,因为此时原交易尚未发生;最终原交易到达时会被成功的执行,最终就导致了事务不一致。
2017年1月16日
其他

微服务RPC框架选美

:对,我在功能上或许不是那么全面,但我更注重简单、易用以及在高并发高可用场景的使用。服务发现灵活支持多种配置管理组件,基于高并发高负载场景的高可用策略优化,良好的
2016年12月12日
其他

容器云之K8s自动化安装方式的选择

而我们使用kubernetes是1.1和1.2版本的时候,那时候最权威的文档应该就是kubernetes.io官网文档……,然而我们在官网进行问题检索的时候会出现(这张图来源网络)
2016年12月2日
其他

基于微服务的企业应用架构设计范式

今天讲的内容,全部都来自于我们在客户现场的实践总结。有些经验已经在产品中体现,有些经验还没有落到产品中去。希望能够在今后的实践和与大家的交流中,总结出更多的经验,届时一定会再次分享给大家。谢谢!
2016年11月11日
其他

从前世看今生,从JavaEE到微服务

&/ESB为核心的业务集成平台、以复杂事件处理/数据治理/作业调度为核心的大数据平台,期间主持了中国工商银行、中国建设银行等多家大型企业技术平台的规划与研发。著有《SOA中国路线图—实施版》一书。
2016年11月2日
其他

敏捷数据管理的12个技术原则

传统数据治理缺乏平台和工具的支撑,自动化能力缺失,导致大部分数据相关的录入工作都由人工来完成,涉及到的人员众多,人工成本过高,效率比较低而且容易出错,人员管理上也存在一定困难,不利于长期发展。
2016年10月31日
其他

Docker 与 K8s 在企业基础设施服务的应用

中间2013年的这种多层架构,相对比较简单,使用脚本部署就已经比较高效了,很少有企业会因为这个事情去采购昂贵的商业软件,而且这些商业软件也没有为部署之外的运维流程带来太多的便捷性。
2016年10月22日
其他

使用消息系统进行微服务间通讯时,如何保证数据一致性

何为幂等呢?因为存在重试和错误补偿机制,不可避免的在系统中存在重复收到消息的场景,接口的幂等性能提高数据的一致性.在编程中,一个幂等操作的特点是其任意多次执行所产生的影响均与一次执行的影响相同。
2016年10月10日
其他

当持续集成遇上微服务:分治优于集中

在众所周知的谷歌使用的就是一个代码库,然而他们采用了自己的版本管理系统“piper”来管理超过20亿行代码的超级大库,所以对于更多的小公司来说,这时谷歌就是一个特例。
2016年9月12日
其他

分布式事务:不过是在一致性、吞吐量和复杂度之间,做一个选择

第一阶段:主业务服务分别调用所有从业务的try操作,并在活动管理器中登记所有从业务服务。当所有从业务服务的try操作都调用成功或者某个从业务服务的try操作失败,进入第二阶段。
2016年9月8日
其他

DevOps之自动化测试

如果没有持续测试,也就不能对持续集成进行及时验证,自然就无法做到有效的持续交付。作为持续测试必需的能力,测试自动化自然不可或缺,但它也不仅仅只是工具的运用,还需要过程、方法等多方面的支撑。
2016年8月11日
其他

微服务架构下的数据一致性保证(三):补偿模式

协调服务(补偿框架)同样会记录第3步的状态,同时会另外记录一条事件,说明业务出现了异常。然后就是执行补偿过程了,可以从业务流水的状态中知道补偿的范围,补偿过程中需要的业务数据从记录的业务流水中获取。
2016年7月25日
其他

DevOps之软件配置协作化管理

SPM提供了组件的相关信息,便于区分哪些配置属于哪些组件。TM提供了租户环境信息,用以为不同租户环境的设置不同的配置值。CI可以将针对于某一环境的一套配置值注入到组件的介质包形成可部署包。
2016年7月24日
其他

微服务架构下的数据一致性保证(二)

对于问题(1)可以按步骤记录事件处理过程,比如事件的记录事件的处理过程为“接收”、“发送请求”、“收到应答”、“处理完成”。好处是过滤服务能及时的发现重复事件,进一步还能根据事件状态作不同的处理。
2016年7月21日
其他

微服务架构下的数据一致性保证(二)

对于问题(1)可以按步骤记录事件处理过程,比如事件的记录事件的处理过程为“接收”、“发送请求”、“收到应答”、“处理完成”。好处是过滤服务能及时的发现重复事件,进一步还能根据事件状态作不同的处理。
2016年7月21日
其他

微服务架构下的数据一致性保证(一)

首先,对于微服务架构来说,数据访问变得更加复杂,这是因为数据都是微服务私有的,唯一可访问的方式就是通过API。这种打包数据访问方式使得微服务之间松耦合,并且彼此之间独立非常容易进行性能扩展。
2016年7月14日
其他

程序猿测试媛之友谊的小船升华成巨轮

现任普元信息SOA产品部开发工程师,为普元新一代数字化企业云平台开发团队一员。在过去的两年参与流程平台项目,主要负责Eclipse插件开发及自动化测试平台开发。爱好:旅游、电影、美食、游泳。
2016年6月7日
其他

微服务架构实战:Swagger规范RESTful API

API的规范。对于外部调用者来说,只需通过Swagger文档即可清楚Server端提供的服务,而不需去阅读源码或接口文档说明。官网上有关于Swagger的丰富的资源,包括Swagger
2016年5月30日
其他

独家系列:让我们遇见未来——为什么选择SEDA作为云平台的基础消息处理架构(PPT)

SEDA架构的核心思想:把一个请求处理过程分成几个Stage,每个Stage可由不同的微服务进行处理,不同资源消耗的Stage使用不同数量的线程来处理,微服务之间采用异步通讯的模式。
2016年4月11日