语义切片

详细解释

Semantic Chunking（语义切片，也叫 Semantic Splitting / Intelligent Chunking） 是 RAG 领域里”投入产出比最高的优化项”——大多数团队从”固定 512 Token 一刀切”切换到语义切片后，Recall@5 直接涨 15–30%，不用改模型不用换向量库，只换切分逻辑就行。

传统固定长度切片的问题：用 RecursiveCharacterTextSplitter(chunk_size=512, chunk_overlap=50) 硬切，很容易把：

• 一个完整的”问题+答案”拦腰切成两段；
• 表格的表头和表体分开；
• 法律合同的”条款 3.2”标题和正文分家；
• 代码块的函数头和函数体切断。

最后 Embedding 出来的向量是”半句话”，检索时相似度当然不高。

语义切片的核心原则是——在”语义边界”上切分，而不是在字符数 N 上切分。常见的语义边界（按优先级）：

1. Markdown / HTML 的层级标题（# 一级 → ## 二级 → ### 三级）
2. 段落分隔（空行 \n\n）
3. 句子分隔（句号、问号、感叹号，中文 。！？ / 英文 .?!）
4. 代码块边界（```）
5. 表格边界（<table> / Markdown Table 表头）
6. 页面/章节/页眉页脚（PDF 切分尤其重要）

进阶版语义切片还会利用 Embedding 相似度本身做判断：

“按句子切出候选边界，计算相邻两段的 Embedding 余弦相似度。相似度低于阈值 0.7 时——说明话题变了，就在这里切一刀；高于 0.9 时——说明是同一个话题，继续合并。“（这种叫 Embedding-aware Chunking / LlamaIndex 的 SemanticChunker）

不同切片策略的效果对比（真实业务 RAG 召回率基准）

实现一份”实用主义”语义切片器（伪代码 30 行）

# 依赖：markdown-it-py 解析 markdown 结构
from markdown_it import MarkdownIt
from sentence_transformers import SentenceTransformer  # 或调 [Embedding API](/support/glossary/embedding/)
import numpy as np

def semantic_split(markdown_text: str, max_tokens=512, sim_threshold=0.70, embed_model=None):
    """先按 markdown 结构切候选块，再按 embedding 相似度合并。"""
    md = MarkdownIt().enable("table").enable("strikethrough")
    tokens = md.parse(markdown_text)

    # 第 1 步：按标题/段落/代码块/表格 切"原子候选块"
    chunks = []  # List[str]
    cur, cur_level = "", None
    for tok in tokens:
        if tok.type in ("heading_open",):
            if cur.strip(): chunks.append(cur.strip())
            cur, cur_level = tok.markup + " ", "h" + tok.tag[1:]
        elif tok.type in ("fence", "code_block"):  # 代码块整体一块
            if cur.strip(): chunks.append(cur.strip())
            chunks.append("```" + tok.info + "\n" + tok.content + "```")
            cur, cur_level = "", None
        elif tok.type == "inline":
            cur += tok.content
    if cur.strip(): chunks.append(cur.strip())

    # 第 2 步：相邻块的 Embedding 相似度高就合并
    if embed_model is None:
        embed_model = SentenceTransformer("BAAI/bge-m3")  # 中文好用
    vecs = embed_model.encode(chunks, normalize_embeddings=True)
    merged, i, N = [chunks[0]], 1, len(chunks)
    while i < N:
        sim = float(np.dot(vecs[i - 1], vecs[i]))
        if sim >= sim_threshold and token_count(merged[-1] + chunks[i]) < max_tokens:
            merged[-1] = merged[-1] + "\n\n" + chunks[i]
        else:
            merged.append(chunks[i])
        i += 1
    return merged

切片的 4 条”不要”（避坑红宝书）

1. 不要一刀切所有文档类型用同一套参数：产品 FAQ chunk_size=256（短 Q&A 要精）、合同/白皮书 chunk_size=1024 至 2048（上下文长要全）、API 文档按 endpoint 切天然语义完整。
2. 不要丢元数据：每个 Chunk 存 DB 时带上 {source_file: xxx.pdf, page: 12, section: "条款3.2 付款", chunk_index: 17}，否则最后 LLM 引用你找不到原文在哪。
3. 不要切完就 Embedding，先做清洗：PDF 解析的页眉页脚/目录/图注噪音先去掉，HTML 的广告/侧边栏/ Cookie 提示语先剔除，垃圾切 1000 条不如干净切 100 条。
4. 不要只看 Recall，要端到端 Answer Accuracy：有的切片策略 Recall@5 好看（召回来了一堆块），但都是碎片 LLM 拼不起来 → 最终回答准确率反而低。所以评测要端到端看 Answer F1 而不是只看 Recall。

唯元智创 的企业知识库服务已经集成了上表所有切片策略，控制台直接选”按 Markdown 切 / 语义切片 / 表格单独保护”三个复选框即可，不用写代码。

常见问题