先建立基线,
再谈大模型
今天怎么学 · 约 2 小时
35 分钟读正文,20 分钟拆解案例,45 分钟完成练习,20 分钟自测与复盘。
过关目标:运行一个均值与线性基线对比,解释 MAE 和残差,并明确它未验证的场景。
一个模型给出很高的测试分数,你首先应该问:它比什么更好,又在哪些对象上更好?
蛋白质序列由氨基酸组成,不同侧链的性质、残基之间的接触和环境共同影响结构与功能。单个位置的改变可能影响折叠、相互作用或其他性质;组合改变的效果也未必等于各单独效果之和,这种非加和关系称为上位性。
所以“序列越相似,功能就一定越相似”并不是保证。相似性可提供先验线索,但关键位点、环境和测量目标会影响关系。对于工程预测,序列背景和具体 assay 与模型类型一样重要。
把序列变成模型能用的输入
one-hot 可以表示每个位点是哪类氨基酸;简单理化特征可以概括组成,但会损失位置与相互作用信息。蛋白语言模型从序列数据中学习表征,embedding 可以作为下游模型的输入。不同表示保留和压缩的信息不同,没有一种表示自动适合所有标签。
预训练学到的规律不等于目标测定的答案;结构预测也不等于活性、表达量或可制造性测量。先确认任务目标,再决定是直接使用已有分数、训练小模型,还是值得进行昂贵的微调。[1]
本章使用模拟短片段,只让你练习评估链路。它们不是完整功能蛋白,合成标签也不代表真实序列功能规律。真实项目需要先补齐数据来源、许可、实验定义和与使用场景匹配的划分。
一个足够小、
可以检查的模型
常数基线把所有测试对象都预测为训练集均值。它不会理解序列,但能给出最低限度的比较:你的模型是否至少学到了比“永远猜平均值”更有用的关系?如果没有,先检查数据量、标签噪声和特征,不要用更复杂的模型掩盖问题。
我们的线性基线只使用“相对于教学参考片段的不同位置数”作为特征,拟合 y = a + bx。它不是可靠的蛋白功能模型,只用于展示从训练数据估计参数、预测留出对象、检查误差的流程。模拟标签被有意设置为带噪声的近似线性关系,因此线性基线有优势,不应拿这个优势宣传真实应用能力。
均值预测与线性预测
先按变体 ID 固定划分,再在训练集合上拟合。重复测量按变体汇总;样本数显示的是变体数。
平均绝对误差(MAE)保留标签的单位,描述平均偏离多少。预测—观测图可以显示总体偏差;残差是观测减预测,能帮助发现模型在哪些输入区域系统性高估或低估。一个单独的平均数会掩盖这些模式。
如果业务需要“选出少量更好的候选”,排名可能比全局误差更直接。Spearman 关注顺序一致性,固定预算下的 top-k 表现关注被选中的对象。但二者也不能互相替代:总体排序不错,不保证最前面的少数候选可靠。
测试分数的
适用范围
训练集用于拟合,验证集用于选择方案,测试集用于最后估计表现。本演示只比较预先固定的两个方法,不进行调参;如果你开始尝试大量特征并据此挑选最好结果,就需要另设验证过程,不能不断用当前测试集作选择。
样本少时,误差估计本身会波动。报告每个测试对象的预测,比仅保留一个汇总数更容易审查。后续可加入分组交叉验证或合适的不确定性区间,但重采样必须保持重复与同源分组关系,不应重新制造泄漏。
适用域描述模型有依据工作的范围。若训练数据只来自某一背景的少量变体,预测新骨架、全新宿主或不同测定时就可能超出这个范围。模型依然能输出一个数,并不意味着那个数值得相信。
会输出,不等于有证据;
赢过基线,也不等于能落地。
对一个真实项目,至少报告样本筛选、目标单位、划分依据、预处理、基线、指标和失败案例。DOME 用数据、优化、模型与评价四个方面组织这类审查。它不是保证正确的清单,但能让别人看见你的依据。[2]
今天的产出不是“最强模型”,而是一个可检查的实验。即使模型没有赢过均值预测,只要你准确解释了原因与边界,这次学习仍然有效。明天会把视野从分子扩展到整个细胞的资源分配。
把理解,
留在一份记录里
点击运行,记录训练/测试变体数、两个模型的 MAE 与最大残差对象。下载同一模拟数据,用 experiments.py 在终端复现。手算一个测试点的预测,再写一个模型无法支持的真实生物学结论。
完成后,再看示例
均值与线性模型都只能用训练数据估计参数。线性模型在这个人为近似线性的数据上更好并不意外;它不能证明突变越多,真实蛋白功能就一定越差。迁移前需重新定义 assay 标签和合理划分。
带走三个判断
回到一手资料
本章图解与练习为原创教学设计,数值演示均为模拟;来源支持相应基础与方法,不代表对教学参数的实证验证。
- ProteinGym · 基准与表征任务 ↗
区分零样本与监督预测、assay 和评价。
- DOME · 作者预印本 ↗
建立可复核的生物机器学习报告。
资料复核:2026-09-11。外链需要联网;部分文献仅核对摘要或可访问正文,完整范围见 SOURCES.md。
让下一步,
有依据。
带着今天的记录进入下一天,把局部理解接回完整的研究问题。