15 种高级 RAG 技术大比拼，值得收藏！

主要观点总结

本文介绍了15种核心的分块策略，包括逐行分块法、定长分块法、滑动窗口分块法等，每种策略都附有详细解析、真实案例和可落地的分块方案。这些分块策略对于让大语言模型检索到真正有意义的上下文具有重要意义。

关键观点总结

关键观点1: 分块策略的重要性

为了让大语言模型（LLM）检索到真正有意义的上下文，必须精心设计数据分块策略。本文介绍了15种核心的分块策略，包括不同的分块方法和应用场景。

关键观点2: 逐行分块法

逐行分块法以每一行作为分块边界，每行独立成为一个分块。这种方法适用于聊天记录、文字转录稿等每行代表一个完整想法的数据。

关键观点3: 定长分块法

定长分块法将文本按固定的字数或字符数拆分，不考虑内容的语义逻辑。这种方法适用于结构混乱的非结构化文本，如OCR识别结果、网页爬取的原始文本、老旧扫描文档等。

关键观点4: 滑动窗口分块法

滑动窗口分块法通过设定固定字数/token重叠区域来拆分文本，以保留上下文连贯性。这种方法适用于语义逻辑跨文本边界的内容，如长句、连续论述。

关键观点5: 其他分块策略

除了以上三种策略外，还包括句子分块法、段落分块法、页面分块法、基于章节或标题的分块、基于关键词的分块、基于实体的分块、基于Token的分块、表格分块、递归分块、语义分块、层级分块和内容类型感知分块等。每种策略都有详细的解析、真实案例和可落地的分块方案。