RAG文档切片（Chunking）核心策略

RAG文档切片（Chunking）核心策略

一、核心选型思路

切片目的：兼顾上下文完整性和模型上下文窗口限制、向量语义独立，减少跨‑chunk语义割裂，提升召回准确率；分基础策略、高级策略。

1. 基础切分策略（落地最常用）

（1）固定长度切片（Fixed‑size Chunking）

1. 逻辑：设定chunk长度+重叠值（overlap）。

• 示例：chunk_size=512 tokens，overlap=100 tokens；按token顺序截断。

2. 优点：实现最简单；适配大部分通用文档。

3. 缺点：极易切断句子、段落、逻辑单元；同一段语义被拆分，召回效果差。
   适用：纯零散文本、聊天记录。
   （2）基于分隔符分层切分（RecursiveCharacterTextSplitter，LangChain默认）

分层分隔符优先级：“\n\n” > “\n” > “.” > “，”

1. 逻辑：优先按段落分割；段落太长再换行；换行过长再按句子切；最后按标点切；切完仍控制在chunk‑size内，同时保留overlap。

2. 优点：优先保证段落完整，效果远好于固定切片；工程成熟。

3. 缺点：长表格、代码、公式场景依旧容易被拆分。
   适用：Word、PDF、手册、业务文档、技术文档（最推荐通用方案）。
   （3）按语义句子切分（Sentence‑level split）

4. 逻辑：先用NLP分句，再连续聚合多个句子直到接近chunk_size，不会割裂单句。

5. 实现工具：NLTK、spaCy、Llama‑Index SentenceSplitter。

6. 优点：句子不会被拆开；语义单元完整。

7. 缺点：句子过多时，远距离上下文关联性丢失；长文档上下文断裂。

8. 进阶高级切片策略（生产环境优化方案）

（1）基于标题层级拆分（Hierarchical Chunking，分层索引）

1. 原理：解析文档目录、一级标题、二级标题，把同一章节的内容划分为一个chunk；构建父子层级：

◦ 大块（父chunk：整个章节，用于粗召回）

◦ 小块（子chunk：512‑1024token用于精细向量检索）

2. 典型结构示例：

1 产品介绍（父块3000token）

1.1 功能1（子chunk1）

1.2 功能2（子chunk2）

3. 检索方式：先匹配父章节，再匹配子片段；大幅度减少跨chunk问题。
   适用：带目录的PDF、技术手册、规章文档、API文档，企业文档首选高级方案。
   （2）语义聚类切片（Semantic Chunking）

4. 逻辑：
   1）对每句话生成向量；
   2）计算相邻句子向量相似度；
   3）相似度明显下降就切分，自动识别话题边界，而不是依靠字符数量。

5. 优点：完全依据话题变化切分，同一个话题内容全部放在一块，RAG召回效果最好。

6. 缺点：计算量大；耗时更长；消耗更多embedding调用。
   适用：长篇随笔、方案、调研报告、叙事类文档。
   （3）基于LLM智能切片（Agent‑Split）

让大模型判断在哪里分割：提示LLM识别话题变化点输出分割位置。

• 优势：理解深层逻辑，表格、代码、业务复杂文档效果最好；

• 劣势：成本最高，速度慢，不适合百万级海量文档。

（4）结构化文档专属策略（表格、Markdown、代码）

1. Markdown：优先按#、##、###标题切分；代码文件按函数、类进行切片；

2. PDF表格：不要拆表格，整张表格作为一个chunk；如果表格过大，把表格转为文本描述。

3. PPT：单页PPT作为基础chunk单元。

4. Overlap重叠值怎么设置（关键参数）

• 通用场景：chunk_size = 512‑1024 tokens，overlap取chunk‑size的10%‑20%

◦ 512 chunk → overlap 60‑100

◦ 1024 chunk → overlap 150‑200

• 文档句子很长：提高overlap至25%；

• 短句居多：10%足够；
overlap过高：向量内容冗余；过低：上下文断裂。
4. Chunk‑Size选型经验（行业落地经验）

1. 小模型Embedding（bge‑small）：chunk_size = 512–768 token（主流）；

2. 高精度检索（bge‑large）：768‑1024；

3. 长摘要类问题：1500‑2000；

4. 代码、公式文档：512以内；

5. 注意：chunk不是越大越好：chunk过大，Embedding向量泛化，精准度下降；chunk过小丢失上下文。

6. 双层索引架构（工业界标准RAG架构）

7. 粗粒度chunk（3000‑4000token）：用于判断大章节；

8. 细粒度chunk（512‑1024token）：向量库检索；

9. 召回流程：
   用户问题 → 匹配粗块筛选章节 → 再在章节内检索细chunk → 送入LLM生成答案。

10. 不同文档类型最优切片策略总结
    文档类型 推荐切片方案 chunk_size overlap
    普通Word、PDF文档 递归字符分割RecursiveSplitter 768 120
    带目录手册、规章制度 标题分层Hierarchical Chunking 800 150
    调研报告、长篇文章 语义分割Semantic Chunking 1024 180
    Python/Java代码文件 按函数类分割 512 80
    表格较多文档 LLM识别整块表格 不拆分表格 10%

11. 避坑要点

12. 禁止只使用固定长度切片做企业RAG，效果普遍很差；

13. 中文文档：尽量以token计算，不要按字符，1token≈1.8‑2个汉字；

14. 切片后要做清洗：去掉多余换行、空格、页眉页脚、页码，减少噪声；

15. 长段落优先分层切片，其次语义切片，最后才是固定长度。

如果你需要，我可以给你一份Python示例代码：递归切片 + 语义切片二选一（LangChain版本）。