【AI Talk】15 尽早开始构建验证流

围绕大模型的各类工作，越靠近应用层，重点越要放在验证上。推进验证的规模化自动化，是AI原生公司需尽早投入的关键工作。

1. 当前大模型及应用研发中，最影响用户实际使用体感的环节并非预训练和后训练，而是验证过程。常规的人工验证方式是研发者用自身熟悉的少量场景提问，对比不同阶段模型的表现差异。

2. 当前大量依赖人工验证的核心原因是，传统数学层面的损失极小值指标已经无法匹配模型实际使用效果，没有明确的数学指标可以直接判定训练到哪个阶段的模型效果最优。如果仅用固定的有限验证集按训练步长抽检模型，会因为验证题数量不足无法得到可靠结果，直接用训练集验证也没有太大的实际意义。

3. 大模型验证领域当前的核心难点，是如何实现验证过程的规模化与自动化。搭建出可规模化验证评比的体系，相当于找到了新的损失函数，能为模型研发指明新的优化方向。

4. 验证体系需要对齐验证集和用户实际使用的核心场景，不同场景的验证落地难度存在差异。代码场景的验证相对容易落地，因为软件工程领域长期积累了大量规范、可复用的工程资产，而设计这类偏主观的场景，很难搭建出普适的验证体系。

5. 对于AI原生公司而言，搭建有竞争力的数据流程或模型的逻辑简单又复杂。简单点在于只需找到足够多的场景加入验证体系，复杂点在于多场景下的模型调整容易出现连锁反应，效果并非呈稳定向上的递增曲线。

6. 当大模型参数量提升后，目前公开的通用验证方法已经失效。各头部公司内部积累的专属验证技巧都是投入大量成本换来的，几乎不会完全对外公开，愿意分享这类技术经验的主体具备很高的公共价值（对说的就是 DeepSeek）。

7. 对于大模型相关从业者而言，不管是做后训练、微调、技能开发还是工程修改，都需要搭建属于自己的上下文和验证题来验证工作成果。市面上很多公开跑分榜单的场景脱离实际使用场景，跑分高的模型不代表实际体验更好，就像性能参数高的手机可能很快出现发热问题影响体验。

8. 搭建适配自身业务的验证体系是一项需要长期推进的工作。AI原生公司应当在成立初期就投入资源开展相关验证体系的建设工作。