思维树

详细解释

Tree of Thoughts（ToT，思维树） 是普林斯顿 + Google DeepMind 2023 年论文《Tree of Thoughts: Deliberate Problem Solving with Large Language Models》的成果，也是当前 Agent 框架做复杂规划时默认采用的推理结构之一。

它直接针对 CoT（Chain-of-Thought 思维链）的天生短板——CoT 是线性的，一步错步步错，没法回头。举个例子：解 24 点（4 个数字用加减乘除凑 24），人类会”试一条路 → 发现走不通 → 回溯 → 换一条路”，这是树状搜索；CoT 是”赌一次从头到尾的推理对不对”，不对就没了。

ToT 的三要素：

1. 思维状态（State，即树的节点）：对 24 点来说 State = “当前已用了哪些数，得到哪些中间值”；对创意写作 State = “已经写好的前 3 段故事大纲”。每个节点都能继续”生长”。
2. 思维生成器（Thought Generator）：给定当前节点，让 LLM 生成 B 个候选下一步（Branch Factor B = 3 至 5 常用）。
3. 状态评估器（State Evaluator / Value Function）：给定 K 个候选节点，让 LLM 打分（1 分 至 10 分，或”投票打分”），分数低的剪枝剪掉（别再往下走，省 token）。
4. 搜索算法（Search）：常见是 BFS（广度优先，每层保留 Top-N）/ DFS + 回溯 / MCTS（蒙特卡洛树搜索，AlphaGo 同款）。

和其他推理范式的对比：

典型 ToT 落地场景（真实工程上哪些真的有用）

注意：普通 1 步抽取 / 摘要 / 翻译不要上 ToT，纯浪费 Token，CoT 或 Zero-Shot 就够了。ToT 只适合”需要反复尝试+回溯”的多步决策类任务。

最小可运行 ToT 伪代码

# 用 BFS 做 3 层 ToT：每层保留 Top-N 高分状态
def tree_of_thoughts(problem, N_per_level=5, depth=3):
    frontier = [initial_state(problem)]  # 初始节点
    for level in range(depth):
        candidates = []
        for state in frontier:
            # 每个状态用 LLM 生成 B=3 个下一步思维
            thoughts = llm_generate_thoughts(state, branch=3)
            candidates.extend(thoughts)
        # 让 LLM 对每个候选打分 1-10（或让多 LLM 投票）
        scored = [(c, llm_score(problem, c)) for c in candidates]
        # 剪枝：只保留 Top-N 高分
        scored.sort(key=lambda x: x[1], reverse=True)
        frontier = [s[0] for s in scored[:N_per_level]]
    # 最后从叶子层选最高分 / 结合 SC 做最终答案抽取
    return extract_best_answer(frontier)

工程上可配合 唯元智创 做三件事进一步压成本：

1. Thought Generator 用便宜模型（如 gpt-4o-mini、Qwen2.5 14B）——“写点子”对模型大小不敏感；
2. Evaluator 用强模型（如 Claude 3.5 Sonnet、GPT-4o）——“判好坏”很吃智商；
3. 高并发异步化：N_per_level=5, branch=3, depth=3 共有 45 次 LLM 调用，全异步能在 3 至 5 秒内跑完（不是 45 秒）。

常见问题