【AI Talk】17 概率、成本与确定性

大模型应用看编程语言，就好像编程语言看机器代码。更高层级的抽象带来了新的研发衡量标准。以前因为输入和输出的确定性，研发的标准是执行效率。现在因为带来了不确定性，研发的标准是稳定交付结果。

1. 大模型应用和编程语言从本质上是一回事，二者都是用机器能理解的语言向机器传达执行指令的载体。编程语言从汇编逐步演化出 C Python JavaScripts，在易用性、运行时智能类型推导、组件化封装完善度、运行时效率上都有各自的权衡，但总体来说是越来越开发者友好的。
2. 当前AI可以替换部分产品流程，以往需要编写大量多重条件分支或决策树的场景，现在可以用skill来实现决策树、循环等相关逻辑。Skill subagent loop 本质上是对传统判断逻辑的升级，以往的判断条件是布尔计算式，现在变为由大模型判断是否完成，核心本质没有改变，只是判断方式发生了变化。
3. 编程语言演化过程中形成的软件工程相关思路，比如对象、继承、组合的实现方式，错误处理方案等，都可以为新的软件研发思路提供参考。传统软件工程的核心关注点之一是降低运行时偏差，这类偏差以往常来自 CPU 的 分支预测失效，会造成时钟周期浪费，而基于大模型的软件工程不需要在意分支预测问题，核心关注点变为实际输出的结果是否符合预期。
4. 编程语言的流程分支是确定的，大模型的流程分支是不确定的，实践中可以将确定的逻辑交由传统代码实现，不确定的部分交由大模型处理，具体的划分方式完全取决于实际的场景和功能需求。如果大模型直接做流程控制不够稳定，那么可以让大模型把判断依据输出成多维度的参数，再通过代码组合和控制这些参数。这是非常行之有效的 work around。
5. 工程的管理核心是考量管理成本，任何模块的封装最终都需要平衡灵活度和通用性，这一关系类似公平和效率的关系。这类问题不存在通用的金科玉律，没有绝对标准的答案，只有适配特定场景的最优解。如何找到这样的最优解，需要建立决策前后的完整上下文数据流程，这样大模型本身就可以参与到自进化的过程，但强化学习的奖励信号需要专业经验的人来把控，不然往往大模型会找到邪修的路线。

白盒子的系统，最终比的是成本。黑盒子的系统，最终比的就是归因和可解释性。因为，概率中的确定性就是价值。