不只看终点，更看路径：面向推理过程的数学数据新供给

每当讨论大模型推理能力，数学几乎是绕不开的第一站：答案客观、明确、可验证，相比开放问答或创作任务，似乎更容易自动评估，对就是对，错就是错。也正因为如此，数学常被当作推理能力的代理指标——能解出更难的题，仿佛就意味着更强的逻辑与问题求解能力。

但这张「成绩单」背后，有一个常被低估的问题：答案容易验证，并不意味着推理过程已经被验证。

当训练与评估过度依赖最终答案时，模型容易被推向结果驱动的学习方式：它未必掌握推导过程，却更擅长在题型、数字与公式分布之间找捷径。更深层的问题是，最终答案只是推理链的末端节点，无法约束中间步骤是否严谨——正确答案可能来自误用定理或模式匹配，而思路正确也可能因最后一步计算错误被判全盘皆错。

如果我们希望模型参与更复杂、更开放的数学推理，训练数据就必须提供比答案更丰富的监督信号。SoTALab 认为，真正有价值的数学训练数据不应只记录「是否给出最终结果」，更应刻画「如何到达结果」——是否理解题意结构、选择合法推理路径、在长链中识别并修正错误。只有当训练信号从「答案是否正确」扩展到「推理过程是否可靠」，模型才可能真正帮助人类数学研究。

一、公开 benchmark 已经给出信号：现有评测还不够贴近研究

这也是近年高难数学 benchmark 迅速出现的原因。Epoch AI 的 FrontierMath 将数学问题推进到更接近现代数学研究的层级。它不是在问「AI 会不会做数学题」，而是在问「AI 能不能面对数学研究中真正困难的推理结构」。

几何领域的公开数据也指向同样的问题。Geometry3K 的提出者强调，几何解题需要抽象问题理解、符号推理和公理化知识；GeoQA 则强调，几何题需要同时理解文字描述、视觉图形和定理知识，并给出程序化的解题过程标注。更近的几何多模态研究显示，在零样本条件下，GPT-4 在 GPSM4K、PGPS9K、Geometry3K 上分别为 60%、36%、51%，Gemini-Pro 分别为 44%、30%、47%，而部分 LLaVA 系列模型在多个几何数据集上仍处于个位数或低双位数区间。MathVista 也显示，即使 GPT-4V 达到 49.9% 的整体准确率，仍低于人类表现，并且常在复杂图形理解和严格推理上出错。

这说明一个问题：如果我们只用「题目—答案」的格式训练模型，模型也许会更会猜答案，却未必更会做数学。

二、我们做了一个小实验：五道题，暴露五类失败

为了更具体地观察这个问题，SoTALab 选取了五道代表性数学样例，覆盖全纯辛几何、代数几何与符号计算、数值 PDE 与算子学习、微分几何、符号积分等方向。我们让多个前沿模型在同一套题上完成解答，并采用统一 Rubric 做五次运行后的均分统计，再由人工进行复核。

这不是为了证明某个模型「不行」，而是为了回答另一个更关键的问题：模型到底错在哪里？

1. 四次根式积分：模型不是不会算，而是看不见隐藏结构

第一道题是一个看起来像常规积分技巧题的四次根式积分：

$$I=\int \frac{dx}{(x-1)\sqrt[4]{x^3+x}}.$$

这道题真正困难的地方，不是积分式很长，而是它的解法入口非常隐蔽。常规代换会很快卡住，真正有效的突破口是识别隐藏恒等式：

$$(x+1)^4-8(x^3+x)=(x-1)^4.$$

这个恒等式提示我们使用非显然的归一化变量

$$u=\frac{\sqrt[4]{8x^3+8x}}{x+1}.$$

一旦找到这个变量，四次根式结构会被压缩成有理积分，问题才真正变得可解。

这个样例暴露的是模型在符号计算中的一个典型问题：模型往往会尝试很多熟悉套路，却不一定能发现题目真正的结构。

在实验中，有的模型会直接判断这个积分「没有初等原函数」，把本来可以初等求解的问题推给特殊函数或数值方法；有的模型能走到接近正确的变量，但在最终系数、回代或定义区间上出错。前一种错误说明模型缺少结构识别能力，后一种错误说明模型缺少结果自检能力。

这类题的重要性在于，数学中的复杂计算并不只是机械运算。很多高阶计算题的关键，是先看出隐藏结构，再进行合法变形。对于训练数据来说，这道题不能只给最终答案，而必须标注：

• 哪个恒等式是突破口；
• 为什么普通代换不足；
• 哪一步把根式变成有理积分；
• 哪些答案虽然形式相似但系数错误；
• 如何通过求导回检判断最终结果是否正确。

这类数据可以训练模型从「套公式」走向「识别结构」。

2. 椭圆柱面测地线：模型能做局部计算，却容易忘记全局最短性

第二道题来自微分几何。题目给出椭圆柱面：

$$\mathbf r(u,v)=(a\cos u,b\sin u,v),$$

要求求出任意测地线；进一步在 $a=b$ 的圆柱情形下，求两点之间的最短曲线。

这道题第一步并不难。模型通常可以算出第一基本形式：

$$ds^2=(a^2\sin^2u+b^2\cos^2u)\,du^2+dv^2.$$

然后引入椭圆弧长变量：

$$s(u)=\int_0^u\sqrt{a^2\sin^2t+b^2\cos^2t}\,dt.$$

在 $(s,v)$ 坐标下，曲面局部像一个平面，因此测地线局部对应直线。

但真正容易出错的是第二问。对于圆柱面，展开成平面后，一个点并不只有一个副本。由于圆柱可以绕圈，同一个终点在展开平面上对应很多位置：

$$Q,\quad Q+2\pi a,\quad Q-2\pi a,\quad Q+4\pi a,\ldots$$

每一个副本都对应圆柱面上一条不同的路径：直接过去、绕一圈过去、反方向绕一圈过去、绕两圈过去。真正的最短曲线，必须比较这些候选直线的长度，而不能只看到某一条展开后的直线。

所以这道题考的不是「会不会写测地线方程」，而是模型能否区分：

• 局部测地线；
• 全局最短曲线；
• 展开平面中的不同绕圈副本；
• 参数范围 $-\pi<u_0<\pi$ 对最短性的作用。

在实验中，模型通常能完成局部微分几何计算，但容易把「展开后是一条直线」直接等同于「这条线一定是最短路径」。这是一种很典型的几何推理错误：局部正确不代表全局正确。

这类题对训练数据很重要，因为它能训练模型理解几何问题中的空间结构、周期性、参数化和全局约束。高质量样例不能只写「答案是一条直线」，而要明确说明为什么其他绕圈路径不是最短路径。

3. 参数 RUR 的特化稳定性：模型会说结论，却跳过真正的证明

第三道题来自代数几何与符号计算，讨论参数化 Rational Univariate Representation（RUR）的特化稳定性。

题目的核心是：给定一个参数理想、一个 Gröbner 基、一个分离元和一组 RUR，证明在

$$F(p)\Delta_S(p)\neq0$$

时，特化后的元组仍然是 $I_p$ 的有效 RUR。

很多模型看到这个条件后，会很自然地写出一句话：

「由于 $F(p)\neq0$，Gröbner 基特化良好；由于 $\Delta_S(p)\neq0$，根保持分离，所以 RUR 有效。」

这句话听起来非常合理，但在数学上还远远不够。

真正的证明必须同时说明：

1. $F(p)\neq0$ 如何保证 leading coefficients 不消失；
2. leading monomials 为什么在特化后保持不变；
3. 标准单项式基为什么保持不变；
4. 商空间维数为什么保持不变；
5. 分离元的乘法矩阵为什么可以逐项特化；
6. 特征多项式为什么特化为对应的 $X_S(\lambda)$；
7. $\Delta_S(p)\neq0$ 如何保证平方自由和分离性；
8. 分母 $G_S(1,\lambda)$ 为什么在相关根上不为零；
9. 最终坐标比值为什么确实给出 $V(I_p)$ 的点。

这道题的价值在于，它能暴露模型在抽象代数证明中的一种常见问题：知道 theorem 的名字，但不会补齐 theorem 使用所需的条件链条。

在实验中，模型往往能识别两个非零条件，却容易把最关键的稳定性证明压缩成「specialization works」。这类错误很危险，因为表面上答案流畅、方向正确，但实际上跳过了整道题最需要验证的部分。

因此，这类样例尤其适合训练模型的证明严谨性。它要求数据中不仅有标准证明，还要把每个技术桥梁拆成 Rubric：是否保留首项、是否保留标准单项式基、是否说明维数稳定、是否处理乘法矩阵、是否处理分母、是否严谨陈述最终 RUR 有效性。

如果没有这些过程标注，模型很容易学会「像证明一样说话」，却没有真正学会证明。

4. 无固定点辛作用：模型必须把多个定理连接成闭合证明链

第四道题来自全纯辛几何。题目给出一个 projective Lagrangian fibration germ $f:M\to X$，其中 $M$ 是全纯辛流形，有限群 $G$ 等变作用在 $f$ 上，保持辛形式，并且在 $M$ 上自由作用。若 $x\in X$ 被 $g\in G$ 固定，要求证明：

$$\det(\operatorname{id}_{T_xX}-dg|_x)=0.$$

这道题的难点在于：模型必须把多个给定事实组织成一条闭合证明链。

完整推理大致是：

第一步，因为 $G$ 在 $M$ 上自由作用，所以 $g$ 在纤维 $F=f^{-1}(x)$ 上没有固定点。

第二步，对这个无固定点的有限阶自同构使用 Lefschetz 迹公式，得到 $\sum_i(-1)^i\operatorname{Tr}(g|H^i(F,\mathcal O_F))=0$。

第三步，用等变基变换：$H^i(F,\mathcal O_F)\cong R^if_*\mathcal O_M|_x$。

第四步，用 Lagrangian fibration 的上同调识别：$R^if_*\mathcal O_M|_x\cong \Omega_X^i|_x\cong \wedge^iT_x^*X$。

第五步，把交错迹变成外幂上的 determinant identity：$\det(\operatorname{id}-A)$。

最后，再说明从余切空间到切空间的对偶表示不会改变 $\det(\operatorname{id}-A)$ 的零性，从而得到目标结论。

这道题暴露的是模型在高阶证明题中的核心能力：能否把多个局部事实连接成一个没有断点的证明链。

在实验中，模型往往会知道每个单独事实，但容易漏掉连接处。例如：没有说明为什么自由作用能推出纤维上无固定点；没有说明基变换是等变的；没有说明为什么 $\Omega_X^i|_x$ 是 $\wedge^iT_x^*X$；没有说明切空间与余切空间上的 determinant 为什么一致。

这类题的重要性在于，它更接近研究型数学证明。研究型证明通常不是单步技巧，而是把多个概念、定理和同构准确拼接起来。只要中间一个桥梁没有搭好，最后结论就不可靠。

5. D2D 与 D2E 正则性：低误差不一定代表数学上更好

第五道题来自数值 PDE 与算子学习。题目比较两类神经算子策略：

• D2D：先在参考域上预测，再通过逆变换映射回物理域；
• D2E：先在更大的环境域上预测，再限制到目标区域。

给定变换 $D_\alpha(s,t)=(s,t^\alpha)$，$\alpha>1$，参考域预测为 $\widehat u_{\rm ref}(s,t)=t$。那么 D2D 映射回物理域后得到 $\widehat u_{\rm D2D}(x,y)=y^{1/\alpha}$。

表面上，这看起来只是一个简单计算。但真正的数学问题在边界附近。它的一阶导数是 $\frac1\alpha y^{1/\alpha-1}$。因为 $\alpha>1$，所以当 $y\to0$ 时，这个导数会无界。进一步看二阶导数 $\partial_{yy}\widehat u_{\rm D2D}\sim y^{1/\alpha-2}$。

要判断它是否属于 $H^2((0,1)^2)$，不能只看「导数无界」，而要检查二阶导数平方是否可积。平方后需要判断 $\int_0^1 y^{2/\alpha-4}\,dy$ 是否收敛。收敛条件是 $\frac{2}{\alpha}-4>-1$，即 $\alpha<\frac23$。但题设中 $\alpha>1$，因此 D2D 预测不属于 $H^2$。相比之下，D2E 给出的 $\widehat u_{\rm D2E}(x,y)=y$ 是光滑的。

这道题还给出标量误差：$E_{\rm D2E}=3.51\%$，$E_{\rm D2D}=3.46\%$，$E_{\rm GeoFNO}=6.52\%$。如果只看 $L^2$ 标量误差，D2D 略优；但如果评测考虑函数正则性、导数稳定性和 PDE 后处理需求，D2E 可能更值得偏好。

这道题的价值在于，它挑战了一个常见直觉：分数更低的误差指标，不一定代表数学上更可靠。

在实验中，模型通常能算对逆映射和误差百分比，但容易跳过二阶导数可积性检查，或者不能解释为什么正则性-aware 的评测会改变模型排序。这个样例提醒我们，数学训练数据不能只训练模型算出一个指标，还要训练模型理解指标背后的数学含义。

对于科学计算和 PDE 场景来说，这一点尤其重要。模型输出不仅要数值接近，还要在函数空间意义上合理；否则，它可能在标量误差上表现不错，却在边界导数、物理残差、通量计算或后续数值模拟中失败。

这五道题共同说明：当前模型的问题并不是简单的「知识覆盖不足」。更准确地说，是在复杂数学任务中，模型经常缺少三种能力：

第一，发现解题入口的能力。

第二，维护推理链合法性的能力。

第三，定位并修正过程错误的能力。

三、为什么「推理过程」比「最终答案」更重要

这并不是 SoTALab 单方面的判断。已有研究已经反复证明，中间推理步骤对大模型复杂推理能力非常关键。

Chain-of-Thought 研究表明，生成一系列中间推理步骤能够显著提升大模型在算术、常识和符号推理任务上的表现。OpenAI 的 process supervision 研究进一步指出，相比只奖励最终答案，对每一步推理给予反馈能够更可靠地提升数学推理表现，并使模型产生更容易被人类认可的推理链。Let's Verify Step by Step 也在 MATH 数据集上显示，过程监督优于结果监督，并释放了包含 800,000 个 step-level human feedback labels 的 PRM800K 数据集。

最新的 ProcessBench 则把问题推进到「错误定位」：它包含 3,400 个以竞赛和奥赛数学为主的测试样例，要求模型判断逐步解答中最早出现错误的位置，或者判断所有步骤都正确。

这些工作共同说明：未来数学模型能力的提升，不可能只靠更多题目和更多答案。更重要的是，让模型看到高质量的推理路径、高风险的错误步骤，以及专家如何判断一条推理链是否可信。

四、SoTALab 要做的事情：从答案数据集走向过程数据集

这正是 SoTALab 构造数学训练数据集的出发点。

我们不是简单收集题目和答案，而是围绕数学推理中的真实瓶颈，构造可训练、可评测、可追错、可复盘的数学样例。每道题不仅包含 Problem、Solution、Answer，还包含 Hint、Comment、Classification、模型错误输出、错误位置、错误类型、分步评分细则和人工复核记录。

换句话说，我们希望构造的不是「题库」，而是「数学推理训练样本」。

在领域覆盖上，我们会持续扩展代数、几何、分析、数值计算、概率统计、组合与数论等方向。代数题用于训练抽象结构和证明严谨性；几何题用于训练空间建模、图形理解和局部—全局转换；计算类题用于训练结构识别、合法变形和结果自检；数值 PDE 与科学计算题则用于训练模型理解误差指标背后的数学意义。

在评测方式上，我们会坚持多模型、多次运行、统一 Rubric、人工复核。我们关心的不只是模型总分，而是它为什么失分：是题意解析错误，是定理调用错误，是局部结论外推，是分母条件漏检，还是最后回代错误。

在数据生产上，我们会让数学研究者、竞赛命题专家、数学教研专家和 AI 评测工程师共同参与。数学专家保证题目和解法的专业性，教研专家保证拆解颗粒度和教学可迁移性，评测工程师保证 Rubric 可以稳定执行，人工复核保证结果可信。

这也是高质量数学数据和普通问答数据的本质区别。普通问答更关注知识召回；数学训练更关注结构化推理。普通数据告诉模型「答案是什么」；过程型数学数据告诉模型「为什么这样做，哪里容易错，怎样检查这一步是否成立」。

五、未来：AI 不是替代数学家，而是需要先学会像数学家一样被检验

我们相信，未来 AI 有机会成为数学研究者的协作工具。它可以帮助提出猜想、搜索例子、整理证明、检查边界条件，甚至在某些方向上协助发现新的结构。

但前提是，它必须先学会接受数学共同体最基本的要求：每一步都要能被检查，每个结论都要有合法来源，每一次失败都要能被定位。

这就是 SoTALab 数学训练数据集要解决的问题。

我们希望用专家构造的高质量样例，把模型从「会给答案」推向「会组织推理」；从「结果看起来对」推向「过程经得起检查」；从「偶尔答对难题」推向「稳定形成可复核的数学判断」。

数学题不是答案题。真正有价值的数学数据，也不应该只是答案数据。