高可用架构

其他

BIGO骨干网设计与实现(二)

Protection)”技术;2)由最靠近故障的设备绕路的思路是:网络种每一台设备,都对自身直连的节点/链路提前计算绕行路径,并提前写入自身转发表。这通常称为“设施保护(Facility
2022年12月2日
其他

Paxos扩展: 偏序rnd = Paxos + 2PC

https://en.wikipedia.org/wiki/Two-phase_commit_protocol参考阅读:vivo大数据日志采集Agent设计实践直播混沌工程之故障演练实践总结
2022年12月1日
其他

vivo大数据日志采集Agent设计实践

}]4.5实时数据发送前面主要介绍了,日志文件的实时的发现、实时的日志内容变更监听、日志内容的读取等设计方案,接下来介绍Agent的数据发送。最简单的模型是,Agent通过Kafka
2022年11月30日
其他

直播混沌工程之故障演练实践总结 | 助力S12全球总决赛

logic}初始化后,故障演练SDK将会劫持所有业务组件的处理过程,根据平台配置的匹配规则进行故障注入。为了使平台操作更快的下发给客户端节点,组件选择了采用双向gRPC
2022年11月24日
其他

字节跳动 kube-apiserver 高可用方案 KubeGateway

等字段)制定灵活的负载均衡和路由策略,也无法在网关层对请求级别进行限流降级等处理。社区中有一些相关工作试图解决上述问题,但均没有根治问题:随着云原生技术的发展,目前字节跳动
2022年11月16日
其他

AI绘画火了!一文看懂背后技术原理

deepfakes。由此我们也可以设想这项技术可能被用于各类恶意和影响巨大的用途,我们还很难判断在更久的未来,这项技术的开源是会给我们更大的技术革新还是各种问题。目前最大的乱子可能就是Stable
2022年11月9日
其他

B站直播的自研P2P实践 | 助力S12英雄联盟总决赛

引擎篇04从0到1000万:哔哩哔哩直播架构演进史深入浅出带你走进Redis!本文由高可用架构转载。技术原创及架构实践文章,欢迎通过公众号菜单「联系我们」进行投稿
2022年11月8日
其他

美团高性能终端实时日志系统建设实践

你是否经常遇到线上需要日志排查问题但迟迟联系不上用户上报日志的情况?或者是否经常陷入由于存储空间不足而导致日志写不进去的囧境?本文介绍了美团是如何从0到1搭建高性能终端实时日志系统,从此彻底解决日志丢失和写满问题的。希望能为大家带来一些帮助和启发。1
2022年11月7日
其他

RocksDB 7 终于解决了 Compaction 时性能下降问题

之前也遇到过类似的问题,对于该优化十分感兴趣,尝试验证之后将测试数据结果分享到社区。
2022年11月4日
其他

实时营销引擎在vivo营销自动化中的实践 | 引擎篇04

动态消息监听背景:当需要做好业务间风险隔离时,就必须按业务或者事件的维度进行队列拆分。此时若进行新接入事件就可能需要重新创建新的队列。初期方案:采用公司中间件vivo-rmq,
2022年10月14日
其他

从0到1000万:哔哩哔哩直播架构演进史

实现了每个直播平台所必备的各类业务系统,而这些系统也在后续的演进中也在不断发展壮大成为一个个重要且独立的业务系统。live-app-web像任何一个高速发展的业务一样,live-app-web
2022年9月28日
其他

深入浅出带你走进Redis!

本文主要讲述Redis的基础知识和常识性内容,帮助大家了解和熟悉Redis;后续通过阅读源码、实践Redis后会总结相关的知识点,再继续分享给大家。什么是RedisRedis是一个开源、基于内存、使用C语言编写的key-value数据库,并提供了多种语言的API。它的数据结构十分丰富,基础数据类型包括:string(字符串)、list(列表,双向链表)、hash(散列,键值对集合)、set(集合,不重复)和sorted
2022年9月23日
其他

自动化测试在美团外卖的实践与落地

Native、美团小程序、H5等,不同技术栈的底层技术实现不同,渲染机制不同,进而对测试方式要求也有所不同,这也在无形中增加了测试的难度。下图汇总了美团多业务、多技术、多App的一些典型场景。图1
2022年9月20日
其他

B站流式传输架构的前世今生

重点提升了数据上报边缘的可控力、BU粒度管道间的资源划分和隔离性。但是随着B站流式数据传输规模的快速增加,对数据传输的时效性、成本、质量也提出了越来越高的要求,V2.0也逐渐暴露出了一些缺陷:1.
2022年9月16日
其他

高性能 Java 计算服务的性能调优实战

在vivo内销浏览器的高并发实践优化B站云原生混部技术实践会员服务优雅上下线实践本文由高可用架构转载。技术原创及架构实践文章,欢迎通过公众号菜单「联系我们」进行投稿。
2022年9月15日
其他

揭秘前端眼中的Rust!

error_format))}这一段Rust代码的特殊之处在于一些方法上加了这样的派生,所谓的派生,指的是我们只要加上这一段代码,编译器就会帮我们实现约定好的逻辑:#[wasm_bindgen(
2022年9月14日
其他

HttpClient 在vivo内销浏览器的高并发实践优化

临时解决方案几天以后,线上部分其他机器也陆续出现了上述现象,此时基本可以确认是服务本身有问题;既然问题与TCP连接相关,于是联系运维在问题机器上建立了一个作业查看TCP连接的状态分布:netstat
2022年9月7日
其他

B站云原生混部技术实践

cgroup对整体混部大框做了绑核处理,避免混部任务进程频繁切换干扰在线业务进程。当混部算力改变时,agent会给大框动态选取相应的cpu核心进行绑定。另外,选取cpu核心的时候也考虑了cpu
2022年9月6日
其他

会员服务优雅上下线实践

随着会员业务的快速发展,会员系统架构也不断演进迭代,拆分出了多个微服务,提升了系统的稳定性和扩展能力。在敏捷的开发模式下,业务迭代更加快速,那么势必会经常发布线上服务,在服务上线的过程中,我们发现接口成功率会出现一定程度的下降,对于敏感业务直接影响了用户的体验。为了解决这个问题,我们对微服务上下线流程进行了优化,本文将详细介绍方案的设计和实现。01问题分析
2022年8月30日
其他

可视化服务编排在金融APP中的实践

Tech导读本文重点介绍了京东金融APP在BFF层实践过程中遇到的问题,并引出可视化服务编排在金融APP中的落地实践,其中重点介绍了可视化服务编排系统的核心功能及实现。可视化服务编排系统已经稳定支持了金融APP从去年618到现在的所有发版迭代,对人效提升帮助明显,希望能够对大家在BFF的实践有参考意义。读者通过这篇文章可以了解到基于传统编码方式来实现业务需求时遇到的问题和挑战,以及通过“可视化服务编排”如何规避及解决之前遇到的问题。01
2022年8月26日
其他

长路漫漫, 从Blink-tree 到Bw-tree (上)

https://15721.courses.cs.cmu.edu/spring2020/schedule.html[9]
2022年8月24日
其他

Redis 定长队列的探索和实践

completed.Redis采用相同的Lua解释器去运行所有命令,我们可以保证,脚本的执行是原子性的。作用就类似于加了MULTI/EXEC。Lua
2022年8月23日
其他

31个!Golang常用工具来啦(建议收藏)

build命令多做了一件事,即:安装编译后的结果文件到指定目录。参考:https://www.kancloud.cn/cattong/go_command_tutorial/261348(四)go
2022年8月17日
其他

京东科技埋点数据治理和平台建设实践

制定全链路标准作者团队制定了一套覆盖数据生产到使用,全链路的数据标准方法,从埋点数据定义、采集、验证、指标定义到数据生命周期管理都建立了相应环节的标准化的研发规范,发布了《埋点流程规范标准》。2.2
2022年8月15日
其他

全链路压测改造之全链自动化测试实践

lint:检查代码中不规范使用context的地方以及是否有context传递中断的场景。静态扫描:调用链中容易出现因ctx使用不规范导致调用链断裂的情况,对此使用bilicontextcheck
2022年8月11日
其他

聊聊DeFi应用架构设计之道

应用。而且,除了这些硬门槛,还存在一些软门槛,主要是一些思维上的东西,如果没在区块链行业中沉淀至少一两年的话是掌握不了的。因此,就算是传统应用的架构大佬们,也无法平滑无缝地将技能切换到
2022年8月9日
其他

从RabbitMQ平滑迁移到RocketMQ技术实战

更丰富的功能特性统一的消息过期时间消费异常消息将按照梯度延时重投递直接支持广播消费模式全环境按需提供消息轨迹功能支持消费重置到以前的某个位点
2022年8月4日
其他

科普 | 如何创建一个DAO?

Nelson编译:火火高可用架构建立了一个Web3的社群互相交流学习,对Web3、Move、Rust、NFT、元宇宙……感兴趣的开发者扫码进群。此二维码7天内有效,如果无法进群,请加管理员
2022年8月3日
其他

手把手实践一个DAPP,通往Web3.0之路!

Wood提出的Web3.0概念——在区块链公有链上运行的去中心化的应用程序所形成的生态系统。—简单的说,就是利用区块链,使用户可以对其内容、数据、资产拥有所有权。Web
2022年8月2日
其他

可视化全链路日志追踪

可观测性作为系统高可用的重要保障,已经成为系统建设中不可或缺的一环。然而随着业务逻辑的日益复杂,传统的ELK方案在日志搜集、筛选和分析等方面愈加耗时耗力,而分布式会话跟踪方案虽然基于追踪能力完善了日志的串联,但更聚焦于调用链路,也难以直接应用于高效的业务追踪。本文介绍了可视化全链路日志追踪的新方案,它以业务链路为载体,通过有效组织业务每次执行的日志,实现了执行现场的可视化还原,支持问题的高效定位。1.
2022年8月1日
其他

为什么游戏行业喜欢用PolarDB

那么数据库就需要对多表有很好的支持能力.游戏行业和其他行业对数据库的使用要求是不一样的.所以在支撑了大量游戏业务之后,
2022年7月27日
其他

Rust、Go、C ,哪个才是“内存管理大师”?

函数也可以通过使用对变量的可变引用来修改借用变量。普通变量可以通过mut关键字将其设置为可变的,那么可变引用只要在&后添加关键字mut就可以了。当然在进行可变引用之前,变量本身必须是可变的。1.
2022年7月26日
其他

全场景流量验证系统

切量:把接单流量从ECLP等老的接单系统切换到新的百川统一接单系统中。AB验证:线上流量同时打到正式环境和AB环境,对两个环境的结果做对比分析,验证AB环境的正确性。03
2022年7月19日
其他

一种跳板机的实现思路

非Linux服务器的跳板机Windows服务器对于Windows服务器,使用jmp-rdp服务,将rdp协议数据转成由socket.io承载的应用数据(依赖Apache
2022年7月15日
其他

C++异步:structured concurrency实现解析!

是什么与Shopee实时计算负责人聊聊湖仓一体Facebook是怎样保证缓存一致性的本文由高可用架构转载。技术原创及架构实践文章,欢迎通过公众号菜单「联系我们」进行投稿。活动预告↓↓↓GIAC
2022年7月14日
其他

2021.07.13 我们是这样崩的

至暗时刻2021年7月13日22:52,SRE收到大量服务和域名的接入层不可用报警,客服侧开始收到大量用户反馈B站无法使用,同时内部同学也反馈B站无法打开,甚至APP首页也无法打开。基于报警内容,SRE第一时间怀疑机房、网络、四层LB、七层SLB等基础设施出现问题,紧急发起语音会议,拉各团队相关人员开始紧急处理(为了方便理解,下述事故处理过程做了部分简化)。初因定位22:55
2022年7月12日
其他

聊聊云原生时代湖仓一体建设

导读:2022年7月22-23日,第8届GIAC全球互联网架构大会将于深圳举行。GIAC是面向架构师、技术负责人及高端技术从业人员的年度技术架构大会,是中国地区规模最大的技术会议之一。今年GIAC邀请到了众多布道师、明星讲师以及近百位来自阿里、腾讯、字节跳动、美团、微博、商汤、华为、快手、哔哩哔哩、声网、微软、Shopee、亚马逊等公司专家出席。在大会前夕,高可用架构采访了本届
2022年7月7日
其他

OpenSergo 是什么

在传统微服务架构中,我们将服务调用中各角色分为四大块:服务提供者、服务消费者、注册中心、监控。随着分布式服务架构的不断演进带来诸多复杂的稳定性与易用性问题,单一的监控已无法满足架构的演进。在现代微服务架构中,我们需要一些手段来对复杂的微服务架构进行“治理”。微服务治理就是通过全链路灰度、无损上下线、流控降级、异常流量调度、数据库治理等技术手段来减少甚至避免发布和管理大规模应用过程中遇到的稳定性问题,对微服务领域中的各个组件进行治理。服务提供者、消费者、注册中心、服务治理,构成现代微服务架构中重要的几环。在企业内部,往往存在着不同语言、不同通信协议的微服务,这种异构化的架构会导致治理微服务的过程中,业务开发者、架构师无法用统一的方式来对所有服务进行治理管控,并且这类异构会衍生出更多的痛点:业内对服务治理的能力和边界没有明确的认识,每个企业所定义的服务治理概念不一致,造成很高的理解和沟通成本。开源微服务框架众多,对于服务治理缺乏一些标准化的约定。例如,Spring
2022年6月30日
其他

与Shopee实时计算负责人聊聊湖仓一体

导读:2022年7月22-23日,第8届GIAC全球互联网架构大会将于深圳举行。GIAC是面向架构师、技术负责人及高端技术从业人员的年度技术架构大会,是中国地区规模最大的技术会议之一。今年GIAC邀请到了众多布道师、明星讲师以及105位来自阿里、腾讯、字节跳动、美团、微博、商汤、华为、快手、哔哩哔哩、声网、微软、Shopee、亚马逊等公司专家出席。在大会前夕,高可用架构采访了本届
2022年6月29日
其他

Facebook 是怎么保证缓存一致性的

缓存有助于减少延迟,提高重读工作负载的可扩展性,并且节省成本。实际上缓存是无处不在的,它也在你的手机和你的浏览器中运行。例如,CDN和DNS本质上是地理复制的缓存。正是由于许多缓存在幕后工作,你现在才能阅读这篇文章。Phil
2022年6月24日
其他

百度评论中台的设计与探索

导读:百度评论中台为百度系产品提供便利接入、持续稳定的评论能力,是百度社区氛围体系内最重要的基础能力之一,日均流量达到百亿规模,在业务不断发展过程中,百度评论中台实现了功能快速迭代、性能稳步提升,本文将从整体介绍百度评论中台的架构设计,同时结合具体案例讲述如何构建高可用、高性能的分布式服务全文6444字,预计阅读时间17分钟一、背景评论作为用户主动表达提供情绪/态度/观点的重要方式之一,
2022年6月21日
其他

Junit执行器Runner探索之旅

导读单元测试是每个程序员必备的技能,而Runner是每个单元测试类必有属性。本文通过解读Junit源码,介绍junit中每个执行器的使用方法,让读者在单元测试时,可以灵活的使用Runner执行器。01背景在今年的敏捷团队建设中,我通过Suite执行器实现了一键自动化单元测试。Juint除了Suite执行器还有哪些执行器呢?由此我的Runner探索之旅开始了!在今年的敏捷团队建设中,京东物流通过Suite执行器实现了一键自动化单元测试。Juint除了Suite执行器还有哪些执行器呢?由此京东物流的Runner探索之旅开始了!02
2022年6月15日
其他

Web3在遥远的未来?不,它已经来了!

巨头企业的web3.0项目盘点谷歌云成立web3.0团队,以增加对web3.0和加密相关技术的支持5月初,据美国CNBC(美国消费者新闻与商业频道)报道,谷歌云(Google
2022年6月13日
其他

百度工程师教你玩转设计模式(单例模式)

ModelB();$modelA->getA();$modelB->getB();04单例模式在前端交互的应用在前端开发中,单例模式的使用十分常见,很多第三方库和框架都应用了单例模式。比如最常用的
2022年6月8日
其他

Kafka 负载均衡在 vivo 的落地实践

客户端部署:指标采集【步骤1】:创建Kafka账号,用于后面生产和消费指标数据【步骤2】:创建3个Kafka内部topic:a是用来存储Kafka服务原生jmx指标;b和c分别是用来存储cruise
2022年6月7日
其他

记一次 JMeter 压测 HTTPS 性能问题

上下文,不会频繁握手,但是不能模拟真实情况下多用户的场景。如果希望模拟多个用户,不停循环执行某一个动作,也就是一个线程组每次循环模拟同一个用户的行为,可以将
2022年6月2日
其他

B站 API 网关的发展

站业务的发展,公司级中间件功能的不断更替演进,如果将对接各个中间件的工作在每个网关上都实现一次的话带来的人力投入和沟通成本会相当巨大,且实现标准不统一、运营方式不统一无法起到
2022年6月1日
其他

必撸系列!Go另外几个黑魔法技巧汇总

RETURN_VALUE这里,我们定义了一个简单的add函数,并通过dis模块来查看add函数对应的字节码。Python虚拟机是一个典型的栈机,其字节码执行都是基于栈来执行的,以add为例:0
2022年5月25日
其他

Kafka 万亿级消息实践之资源组流量掉零故障排查分析

集群。拆分粒度太粗会导致单一集群过大,容易由于流量突变、资源隔离、限速等原因导致集群稳定性和可用性受到影响,拆分粒度太细又会因为集群太多不易维护,集群内资源较少应对突发情况的抗风险能力较弱。由于
2022年5月24日
其他

精彩分享 | 欢乐游戏 Istio 云原生服务网格三年实践思考

吴连火,腾讯游戏专家开发工程师,负责欢乐游戏大规模分布式服务器架构。有十余年微服务架构经验,擅长分布式系统领域,有丰富的高性能高可用实践经验,目前正带领团队完成云原生技术栈的全面转型。导语欢乐游戏这边对
2022年5月16日