华仔聊技术

其他

搞透Kafka的存储架构,看这篇就够了

中不只包含“.log”、“.index”、“.timeindex”这几种文件,还可能包含“.snapshot”、“.txnindex”、“leader-epoch-checkpoint”等文件,
2021年10月24日
其他

【面霸必备系列】Kafka 底层原理阶段性总结

偏移量如何提交和存储,消费进度如何监控,如何保证消费处理完成?本篇进行了深度的剖析:
2021年10月17日
其他

聊聊 Kafka Consumer 那点事

[元数据过期时间][order-group-1,topic-order,0]::[OffsetMetadata[36672,NO_METADATA],CommitTime
2021年10月9日
其他

聊聊 Kafka Producer 那点事

CompressionType.forName(config.getString(ProducerConfig.COMPRESSION_TYPE_CONFIG));//9)、创建了一个核心的组件
2021年9月30日
其他

聊聊 Kafka Broker 那点事

wheelSize*tickMs。时间轮还有一个表盘指针(currentTime),其值是tickMs的整数倍,用来表示时间轮当前所处的时间,表示当前需要处理的时间格对应的TimeTaskList
2021年9月11日
其他

八大步骤带你深度剖析Kafka生产级容量评估方案

经过上面深度剖析评估后需要以下资源:评估项具体评估需要的资源量请求量10亿+读写请求QPS高峰期需要支撑6万QPS存储空间162T物理机7台硬盘选择使用普通机械硬盘硬盘数量每台服务器11块盘,
2021年8月2日
其他

【Redis5.X源码分析】系列之字典

函数比较简单,就是申请一个更大的哈希数组,如果第一个哈希表的哈希数组为空,那么就把第一个哈希表的哈希数组设置为新的哈希数组。否则将第二个哈希表的哈希数组设置为新的哈希数组。扩容的主要流程如下:1).
2021年7月4日
其他

kafka三高架构设计剖析

当ISR中的副本数量小于min.insync.replicas时,Leader停止写入生产者生产的消息,并向生产者抛出NotEnoughReplicas异常,阻塞等待更多的
2021年7月3日
其他

Kafka基础入门篇

防止崩溃数据可恢复。Offset:消费者消费的位置信息,监控数据消费到什么位置,当消费者挂掉再重新恢复的时候,可以从消费位置继续消费。ZooKeeper服务:Kafka
2021年5月27日