多模态“卷王”阶跃星辰：如何利用 JuiceFS 打造高效经济的大模型存储平台

主要观点总结

本文主要介绍了阶跃星辰团队在使用JuiceFS存储系统解决大模型研发中对存储的需求和挑战，包括数据采集、模型训练和推理等场景。文章详细描述了JuiceFS的使用和优化实践，以及在多云环境下模型同步与缓存优化、read性能优化等方面的具体解决方案。作者还介绍了针对异构环境兼容性、S3 Gateway多租户支持、冷热数据沉降与预热以及writeback写缓存与跨机房数据访问优化等问题的解决方案。

关键观点总结

关键观点1: 大模型研发对存储系统的核心诉求

包括高带宽、低延迟的处理能力，支持百亿到千亿级文件数量，单个文件系统的容量需覆盖PB至数十PB级别，要求具备标准POSIX语义等。

关键观点2: JuiceFS在存储需求中的优势

可以无缝对接多云环境，支持极简开发，具备全栈兼容POSIX语义等优点。

关键观点3: 多云推理部署中的模型分发与缓存优化

采用JuiceFS企业版构建适配多云环境的模型同步与缓存体系，通过Juicesync实现模型的高效跨云分发和快速加载预热。

关键观点4: safetensors随机读性能优化

针对读放大问题，通过启用二级缓存机制、关闭默认的readahead机制等措施进行优化。

关键观点5: 社区版优化实践

涉及万级客户端的稳定性优化、Writeback写缓存相关优化等，通过解决TiKV的瓶颈、优化读请求路径等策略实施优化。

关键观点6: 异构环境下的兼容性挑战

通过JuiceFS CSI Node实现良好适配，简化存储管理工作。

关键观点7: S3 Gateway多租户支持问题

扩展Gateway实例以支持多卷请求处理，实现多租户环境下的资源复用。

关键观点8: 冷热存间的数据沉降与预热解决方案

通过复用JuiceFS的缓存管理能力实现热数据的自动迁移，并构建二级缓存机制提升读性能。

关键观点9: writeback写缓存与跨机房数据访问优化

使用Writeback机制提升写入性能，通过配置Writeback缓存目录在GPFS上解决数据安全性和可见性问题，并新增P2P读取功能实现跨机房数据共享。

免责声明