自洽性多路径投票

详细解释

Self-Consistency（简称 SC，自洽性） 是 Google Brain 团队 2022 年在论文《Self-Consistency Improves Chain of Thought Reasoning in Language Models》中提出的，至今仍是”纯靠 Prompt Engineering 提升复杂任务准确率”的 TOP 3 有效手段之一，且对代码生成、数学、逻辑推理特别有效。

它的直觉非常简单：

• 一道复杂数学题，人类学生可能会用不同路径推导，只要最终答案一致，这个答案大概率是对的；
• 模型也一样：同一个问题，用 Temperature 稍高（如 0.7）的参数生成 20 条”推理过程 + 答案”，最后 20 条里有 14 条答案是 278，3 条是 231，2 条是 279，1 条是 1080——那我们相信”278 是对的”，因为它更自洽（自洽 = 多条推理路径都得出它）。

这和 思维链 CoT 的差异：

一个小注意：Self-Consistency 只适合”有唯一正确答案”的任务，比如数学、代码、选择题、多跳事实 QA。开放式写作、文案润色没有”正确答案”，投票没有意义。

落地 Self-Consistency 的标准代码骨架

# 伪代码：SC 40 条投票示例
from collections import Counter
from openai import OpenAI
client = OpenAI(api_key="wm-xxxx", base_url="https://api.weimeta.cn/v1")

def solve_with_self_consistency(question, K=40, temperature=0.7):
    answers = []
    for _ in range(K):
        # 每条用不同 [Seed](/support/glossary/seed/) 保证多样性，或用高温度+无 Seed
        resp = client.chat.completions.create(
            model="gpt-4o",
            messages=[
                {"role":"system","content":"你是数学竞赛金牌选手。请先给出多步推理过程，最后一行输出：答案 = [数字]"},
                {"role":"user","content": question}
            ],
            temperature=temperature, max_tokens=2048,
        )
        text = resp.choices[0].message.content or ""
        # 用正则抽出"答案 = x"
        m = re.search(r"答案\s*=\s*([\-]?\d+(\.\d+)?)", text)
        if m:
            answers.append(m.group(1))
    # 答案频次投票
    counter = Counter(answers)
    best_answer, votes = counter.most_common(1)[0]
    confidence = votes / K  # 置信度 = 票数 / K
    return best_answer, confidence, counter.most_common(3)

几个关键设计点：

1. K 取多少？：经验值 K=20 是甜点（40 条的边际收益会递减）。对准确率要求极高的安全关键场景可以 K=40。
2. Temperature / Seed：Temperature 0.6 至 0.8 比较好（太低大家都走同一条路径，多样性不够；太高大家都胡扯，没意义）。搭配 Seed 每轮不同，或者不设 Seed。
3. 答案归一化：“278”、“278 个”、“答案：278。“其实是一个答案，抽答案时先做 trim + 去标点再投票。代码场景可以用 AST 解析 + black 格式化再投票，效果更好。
4. 置信度阈值兜底：如果票数最高的答案只拿到 3/40 票（3 个答案各 3 票，其他零散）——说明这题模型完全没搞懂，置信度低，走【需要人审】或【降级提示”我不确定”】分支。

进阶变体（更上一层）

常见问题