一次缓存引发的文件系统数据不一致问题排查与深度解析

主要观点总结

本文详细描述了由自研分布式文件系统客户端EFC的缓存架构更新所引发的严重数据不一致问题的完整排查过程。从起因、错误类型判断、日志调查、问题复原、部分POSIX接口底层揭秘到心得体会，文章提供了详细的解析和解决方案。

关键观点总结

关键观点1: 问题起因

EFC客户端缓存架构更新后，读缓存会读到旧数据，导致本地文件和远端文件系统文件内容不一致。

关键观点2: 错误类型判断

最初认为是读数据错误，实际上是写数据错误，表现为文件系统中的字符被替换为空字符。

关键观点3: 日志调查与问题分析

通过日志调查发现读缓存的引入导致pagecache被写坏，进而造成文件系统数据不一致。根本原因是版本号发生回退，客户端使用了旧版本号从缓存中读到了旧数据。

关键观点4: 问题复原与解决方案

复原了写坏文件系统数据的整个流程，并分析了部分POSIX接口底层的工作原理。最终通过维护递增的缓存版本号，丢弃RPC收到的发生回退的版本号来修复问题。

关键观点5: 心得体会

错误排查过程坎坷，但学到了很多新知识，如buffer写的读写机制、append写对文件系统的操作以及网络上慢请求的影响等。