【AI Talk】18 模型越大，模型越小

后训练仙人的含金量还在升高。

当前最顶级的开源模型（如Kimi、k3）性能已经非常强大，但个人部署成本高达数百万美元，与直接调用API相比差距显著。这使得个人用户难以承担部署成本，转而依赖API服务。

而数据类工作需要稳定的版本、可控的标注、快速响应和低成本，这些需求更适合用小模型来解决。通过小模型加上后训练，在特定垂直领域可以比通用大模型更具性价比，同时实现更快、更准确的效果。

构建自己的数据闭环可以持续优化和迭代模型。例如，使用4B模型进行微调，搭配消费级显卡（虽然最近涨价）可以在标注满载的情况下快速收回成本。对企业而言，尽早掌握后训练技术至关重要。

尽管不少人会认为"微调已死"，但实际上微调可能才刚刚找到最适合的路径。严肃的工程实践需要好的小模型作为工具。未来半年内，小模型微调和后训练的会再次火热。

成功的微调需要公司的综合能力，包括产品侧的数据生产、数据流程中的损失降低和噪声减少，以及数据正常回流到模型的微调迭代上线。这种Agentic研发团队围绕本地模型工作，注重工程灵感和踏实执行苦活累活的能力，而非技术前瞻性。

做微调或者后训练，其实有一个邪修的路线，就是先去做图像生成模型的微调，你会在很短的时间内建立起构建数据集验证和去做市场营销的闭环。这里有一篇我的老文章，说的就是如何花一个月的时间冲到全球新人榜第一。看后视镜做不到第一名