350亿。JuiceFS被广泛应用于多个行业，在与这些用户的交流互动中，也打开了我们自己的视野，了解到了不少前沿科技，我们非常钦佩科研人员的探索精神和为科学事业的付出，JuiceFS

到冷节点，再把热节点的数据删除，整个热节点的系统的代价是比较大的，所以我们是采用的手动，来控制哪些索引什么时间迁移到冷节点。第三：低峰错期进行索引迁移。第四：避免大索引。在删除大索引时，它的

的数据迁移到了JuiceFS，预计后续还会有10PB+的数据接入。目前JuiceFS系统稳定，在降低运维成本和存储成本方面取得了良好的效果。本文将对

第二，机器成本和维护成本比较高。为了业务的稳定运行，离线和实时集群进行了分开部署。但上面提到的业务特点，我们业务波峰波谷现象明显，整体利用率不高。集群组件繁多需要专门人员管理和维护。•

和早期迁移的业务中用到的组件特性比较少，基本都是最常用、保持兼容的功能，因此比较顺利。但在第二批迁移过程中就暴露出了很多问题，虽然最终都有解决，但花了很多额外的时间去做诊断和定位，打乱了节奏。性能•

强一致性保证：https://redis.io/docs/manual/scaling/#redis-cluster-consistency-guarantees[13]

合伙人苏锐，将带来过去两年观察到的行业变化，和大家聊聊云原生架构中的重要一环，存储与计算分离的各类方案的优劣和适用场景。理想汽车成立于2015年，大数据团队于2018年成立，平台最初主要以

是一款云原生分布式文件系统。对元数据进行迁移和备份是使用中的一个关键场景，随着用户元数据的数据量越来越大，有些重度用户的元数据甚至可达到亿级水平，元数据的迁移和备份的性能备受挑战。在最近的一个版本

ClickHouse架构探索MySQL备份验证性提升10倍关于JuicedataJuicedata，杭州果汁数据科技有限公司是一家企业级存储服务供应商，开发了云原生分布式文件系统

社区群里面，不论是晚上还是周末，社区的响应都是非常及时的，包括创始人苏锐也经常在群里面回答问题，所以社区的活跃度也是我们在方案选型的时候一个非常重要的考量点。JuiceFS

在AI场景中，文件存储中面临一些新的变化：非结构化数据、大量的小文件、训练数据读多写少等。这些变化，给存储带来新的挑战。今天我们邀请到“云知声”，一家从事语音及语言处理的AI企业，为大家分享他们的存储优化实践。全篇长达万字，想了解AI场景平台建设的伙伴们不要错过了。

https://juicefs.com/docs/zh/community/how_to_setup_object_storage如果对分布式文件存储系统有任何疑问，请扫码加入我们的社群一起讨论。

签电子合同只需要几分钟，还能帮你管理归档，再也不用去文件柜里翻了。没有电子合同之前，这件事往往是有专门的人来负责。国内电子合同服务我也调研过，企业之间签电子合同的接受度不高，还是要求打印、盖章、一式

的整个工作流程。整个流程流程分别三个阶段：Provision/Delete、Attach/Detach、Mount/Unmount，不过不是每个存储方案都会经历这三个阶段，比如

binwu<u>@Juicedata</u>.io；•邮件主题：【JuiceFS

是存储和计算耦合的设计，增加存储空间的同时也需要增加计算，而往往存储和计算的匹配是错位的，不匹配的扩容也会也会带来很多算力冗余，制造不必要的浪费。业务发展持续向好，也给数据平台带来了甜蜜的烦恼，在

客户端读取数据时，这些数据将会智能地缓存到应用配置的本地缓存路径（可以是内存，也可以是磁盘），同时元数据也会缓存到客户端节点本地内存中。对于

包对于每个任务来说都不相同，而且用户会经常改动重新提交。对于这类不稳定的依赖，我们会动态注入，注入的方式是将依赖存入分布式文件系统，在容器启动的时候，利用

内部的组件，另一种是外部的，内部的话我们在这里就不介绍了，我们只介绍外部的两类插件，一类是需要我们自己去实现的插件，CSI

的权限管理模型，可以灵活针对团队或者个人进行权限设置。如果某个用户已经具备访问某些数据的权限，也还是需要进一步对数据进行保护，比如用户可能误删除或者误更新数据。对于误删除，JuiceFS

背景稿定科技旗下稿定设计产品是一个聚焦商业设计的多场景在线设计平台，打破了软硬件间的技术限制，汇集创意内容与设计工具于一体，为不同场景下的设计需求提供优质的解决方案，满足图片、视频等全类型媒介的设计需求，让设计更简单。我们使用

https://github.com/juicedata/juicefs/blob/main/docs/en/redis_best_practices.md[2]ClickHouse

meta，因此可以判断出主要的瓶颈点在对象存储侧。不难想象，编译前期产生了大量的临时文件，而这些文件又会被编译的后几个阶段读取，以通常对象存储的性能很难直接满足要求。好在

平均查询耗时，超出最初设定的测试目标预期。之前长期存在的大数据组件不稳定的问题也得到解决。值得注意的是，整个测试流程也很顺畅，JuiceFS

通常应用在实时分析场景，这个场景对于数据实时更新的要求比较高，在分析时也需要经常性地查询新数据。因此数据具有比较明显的冷热特征，即一般新数据是热数据，随着时间推移历史数据逐渐变为冷数据。利用

juicefs.test.meta中的test为JuiceFs的文件系统的名字，HDFS可以通过jfs://test访问这个文件系统。不需要重启

使用的元数据引擎，是专为文件系统打造的数据库，我们已经积累了丰富的运维经验，仍然如履薄冰。如果开源的话，让社区用户自己运维仍然会是一个大的挑战和负担，一旦运维失误导致数据丢失，后果非常严重。

年何帆在他的《变量》一书中写的，无论你从事什么行业，你在哪里，你在做什么，了解小趋势都是你获得新机会的钥匙。那些能够被观察到的事物才是属于你的。接下来说几个我们在一年里经历和观察到的变化。

我们在这里从多个维度来做比较，首先作为一个云服务，表格中的前三行是非常重要的。全托管服务是云的优势，如果还要自己从代码开始构建、维护，就体验不到云的优势了。第二个是存算分离，因为传统的

为代表的元数据和数据分离的系统设计能够有效平衡系统的复杂度，有效解决大规模数据的存储问题（通常也都是大文件），有更好的可扩展性。这个架构下支持元数据的分布式存储的

如果能够在迁移过程中为数据访问提供统一的路径来屏蔽实际的数据位置，实现元数据和真实数据位置的解耦，将会大大降低整体迁移的风险。文件系统的符号链接就可以达到这个效果，JuiceFS

近年来，云计算越来越流行，企业从自身利益出发，或是不愿意被单一云服务商锁定，或是业务和数据冗余，或是出于成本优化考虑，会尝试将部分或者全部业务从线下机房迁移到云或者从一个云平台迁移到另一个云平台。

读出来的数据会自动缓存到客户端所在节点（虚拟机或容器都可以）的本地存储上，下次再访问这份数据，就会直接从本地存储中读取，不再经过网络。在大数据的查询分析场景中，数据通常是有热点的，在

[3]，也就是说当创建了一个新文件以后，并不一定能立即看到它；当对一个文件执行删除或者更新操作后，有可能还是会读到旧的数据。这些一致性问题会导致程序崩溃，比如常见的

XtraBackup全量备份：https://www.percona.com/doc/percona-xtrabackup/2.4/backup_scenarios/full_backup.html

的初衷是多集群管理比较方便。由于离线计算引擎两者是有区别的，迁移会有兼容性问题，两套集群一直并存，集群间资源完全隔离。集群维护痛点数据量持续增长，成本一定的情况下做集群扩容耗时耗力从

作为路径名的一部分，没有考虑同一个主机里多个并发任务的冲突问题，会导致多个测试任务重复创建和删除文件，不太符合大数据工作负载的实际情况，我们改成使用