百度文件系统 BFS-Baidu

#长按上图识别二维码，参与OSC源创会年终盛典#

The Baidu File System

百度的核心数据库Tera将数据持久化在分布式文件系统上，分布式文件系统的性能、可用性和扩展性对整个上层搜索业务的稳定性与效果有着至关重要的影响。现有的分布式文件系统（如HDFS等）无法满足低延迟、高可用、跨地域扩展等方面的需求，所以我们从百度搜索的业务特点出发，开发了自己的分布式文件系统BFS。

设计目标

高可靠、高可用
通过将数据副本进行多机房、多地域冗余，实现单个机房、地域遇到严重灾害的情况下，不丢失数据，不影响整体可用性。
将元数据服务分布化，通过多副本实现高可用，通过Raft等一致性协议同操作日志，实现多副本的一致性。高吞吐、低延迟
通过高性能的存储引擎，最大化存储介质IO吞吐；通过全局的副本、流量调度，实现热点负载均衡。水平扩展
支持跨地域、多数据中心部署，可水平扩展至10万台机器。

系统架构

系统主要由NameServer、MetaServer、ChunkServer、SDK、bfs_mount和bfs_client等几个模块构成。
其中NameServer是中心控制模块，采用集群化部署，负责目录树的管理；ChunkServer是数据节点负责提供文件块的读写服务；SDK以静态库的形式提供了用户使用的API；bfs_mount通过libfuse，将bfs挂载到本地，作为本地文件系统访问；bfs_client是一个二进制的管理工具。

END

推荐阅读

点击标题直接进入阅读

IntelliJ IDEA 被认为是当前Java开发效率最快的IDE工具；Win 10 Creators 免费升级将为每个人带混合现实体验

Castle-Platform是一个分布式、模块化的开发平台。目标是打造高性能、高扩展性的开发平台，完成通用的管理功能。

作为目前中国最大的开源技术社区，开源中国目前已经拥有42267个开源项目，今天又要增加一个重量级的开源项目：开源中国深圳办公室。

点击“阅读原文”查看更多精彩内容