让下一次
测量更有价值

分数最高的，
总该先测吗？

如果只能再测三个候选，你会全部选择预测分数最高的吗？这取决于你最想得到高性能对象，还是更快了解系统。

模型预测完成后，还有一个决策问题：把有限资源分配给哪些候选。利用倾向于选择当前看起来更好的对象；探索倾向于获得对模型有帮助的新信息。两者可以结合，但探索不是盲目挑最奇怪的候选，也不意味着越不确定越值得测。

主动学习通常关心用更少标签改善模型；贝叶斯优化通常关心有限评价预算下找到更好的目标值。二者可能共享概率预测和选样方法，但目标并不完全相同。判断一种方法是否合适，先看它优化的是什么。[1]

实际决策还要考虑候选能否构建、测量是否可靠、能否并行以及反馈要多久。计算上最有价值的一个候选，如果根本无法评价，就不一定值得进入下一轮。预算应对应真实消耗单位，而不是仅记录模型调用次数。

不确定性，
需要有出处

偶然不确定性常与观测噪声等有关；认知不确定性与知识或模型不足有关。新增信息可能降低后者，但无法保证消除前者。在实际模型中，两者的区分需要假设，不能仅凭一个数值名称就认定估计可信。

概率模型、模型集合或其他方法可以给出不确定性估计。校准关注报告的概率或区间与实际频率是否相符，例如声称 90% 的预测区间，在适用数据上是否接近覆盖 90% 的观测。校准也依赖测试分布，不能自动保证分布外可靠性。

语言模型写下“我有 95% 信心”并不是 assay 误差模型，也不是经过校准的预测区间。同样，序列距离可以提醒我们某个对象离已知样本较远，却不能直接等同于概率意义的不确定性。

采集函数把预测、探索偏好等信息转为选样标准。即使采用成熟方法，也需要说明目标、可行域、批量规则和噪声处理。今天使用一个刻意简单的距离加分启发式，目的只是比较策略，不把它称作完整贝叶斯优化。

在同一预算下，
重放一次决策

比较策略必须公平：初始信息、候选池、预算和终测规则相同。随机策略要用多个固定种子展示波动，不能只挑某一条最好看的运行轨迹。若某策略更复杂，还应说明计算和实际测量成本是否可比。

图中的“已发现最好分数”回答当前拿到了多好的对象；终测 MAE 回答模型预测如何。改善其中一个，不保证改善另一个。这也是为什么主动学习与目标优化不能只用一个含糊的“效率”指标概括。

候选的完整标签由模拟器持有，但选择函数只接收特征、已揭示标签和预先固定的规则。若选样代码偷看未测标签，曲线再漂亮也只是信息泄漏。检查信息在何时可用，是闭环代码审查的关键。

离线回放留下了什么空白

历史或模拟数据里的候选池是固定的；现实中可能会出现构建失败、测量缺失、新环境与成本变化。离线回放无法证明新设计的真实表现，也不能反映未记录的实验选择偏差。需要前瞻验证，才能观察策略如何应对新的实验反馈。

停止条件也应该提前写下：例如预算耗尽、改进小于可区分的噪声范围，或可行候选不足。不要只写“继续直到找到最好”，因为真实设计空间通常无法穷尽，最优值也往往未知。

把理解，
留在一份记录里

运行回放，比较三个种子的预算—最好分数曲线，以及两种策略的终测 MAE。任选一次策略差异，写出可能解释；再列出至少三个模拟器没有覆盖的真实实验问题。用脚本复现同一过程。

带走三个判断