首页 / 战略
奥卡姆剃刀 Occam's Razor
如无必要，勿增实体
奥卡姆的威廉（约1287至1347，英格兰方济各会修士，简洁性原则因他得名，那句拉丁文格言其实是后人替他总结的） · 艾萨克·牛顿（1687年在《自然哲学的数学原理》写下推理法则一：除真实且足以解释现象者外，不多设原因） · 赤池弘次（1974年提出AIC准则，把勿增实体变成一个可以计算的统计公式）
场景钩子 · 加一颗行星，一次成功一次落空
1846年9月，勒维耶发现天王星轨道有偏差，他假设外面还有一颗没人见过的行星，算出位置，柏林天文台的伽勒当晚就在预言位置附近找到了海王星。1859年，类似的偏差又出现了：水星近日点每百年比牛顿理论多转43角秒。勒维耶照方抓药，提出水星轨道内侧藏着一颗火神星。天文学家找了几十年，有人声称目击，有人忙着命名，始终没有实锤。1915年11月，爱因斯坦用广义相对论算出恰好43角秒的附加进动，不需要任何新行星。同样是往宇宙里加一个实体，一次名垂青史，一次空手而归，区别在于有没有观测兜底。
原理图
剃刀不判断对错，它只在解释力打平时帮你下注，先比解释力，再数假设。
数据证据 · 多项式阶数越高，训练误差越低，预测越差 草稿示意
训练误差随复杂度单调下降，测试误差先降后升，最低点就是剃刀该下刀的地方。
来源：偏差方差权衡的经典教学曲线，示意数据，参考 Hastie 等人《统计学习基础》第7章
交互演示 · 拖动噪声和样本量，看剃刀的刀口怎么移动
噪声越大、数据越少，最优模型越简单；数据充足时过度挥刀，反而吃亏。
怎么用
- 把候选解释全部列出来先不筛选，每个假设写清楚它依赖哪些前提和实体。
- 先比解释力，再谈简单能覆盖全部事实的才留下，解释力差一截的直接淘汰，剃刀不参与这一步。
- 解释力打平时，数假设新增的、观测不到的、专门为这个现象定制的，每一条都记下来。
- 选假设最少的，并写下推翻条件比如火神星只要被拍到一次，结论立刻作废。
- 新证据出现就重跑一遍剃刀给的是当前最优赌注，不是终审判决。
失效边界
| 情境 | 模型的说法 | 现实 |
|---|---|---|
| 异常真的来自未知实体，比如1846年的海王星 | 先别假设新行星，找更简单的解释 | 勒维耶加了一颗行星，当晚就被望远镜证实。剃刀是启发式，赌错要认。 |
| 两个解释的解释力有明显差距 | 为了简单，牺牲一点解释力也值 | 剃刀只在解释力相当时生效。爱因斯坦提醒过，凡事力求简单，但不能更简单。 |
| 拿简单当武器攻击异见 | 你的理论更复杂，所以更可能错 | 简单不是证据。量子力学比经典物理复杂，但它是对的。复杂度不是真伪判据。 |
| 生态、经济这类多因系统 | 一个原因就够了 | 单因解释常常砍掉真实存在的机制，简单在这里容易滑向错误。 |
关联模型
出处
- 托马斯·利文森《猎取火神星》(2015)，海王星与火神星始末 可靠二手
- 牛顿《自然哲学的数学原理》推理法则一（1687） 可靠二手
- 赤池弘次, A New Look at the Statistical Model Identification, IEEE Transactions on Automatic Control, 1974 一手核实
- Hastie, Tibshirani, Friedman《统计学习基础》第7章，偏差方差权衡 可靠二手
