阅读

在机器学习实践中，面对昂贵的黑盒函数评估（如超参数调优），如何高效寻找最优解是一个核心难题。Distill发布的《Exploring Bayesian Optimization》一文，通过“金矿开采”这一生动类比，将复杂的贝叶斯优化拆解为可理解的模块。文章指出，现代算法拥有大量超参数，有效使用它们需要挑选好的数值，而贝叶斯优化正是用于调整这些参数的技术套件。

文章首先区分了两个相关但不同的问题：主动学习（Active Learning）和贝叶斯优化（Bayesian Optimization）。在金矿类比中，主动学习的目标是准确估计整条线上的黄金分布，因此它倾向于选择不确定性最高的点进行钻探，以最大化信息获取。相比之下，贝叶优化的目标仅仅是找到黄金含量最大的位置。如果为了找到最大值而花费昂贵成本去精确建模低价值区域，显然是浪费。因此，贝叶斯优化的核心问题是：“基于目前所知的信息，下一个应该评估哪个点？”

为了解决这个问题，贝叶斯优化依赖两个关键组件：代理模型（Surrogate Model）和采集函数（Acquisition Function）。代理模型通常选用高斯过程（GP），因为它灵活且能提供不确定性估计。随着新数据点的加入，模型根据贝叶斯规则更新后验分布。然而，仅靠模型不足以决定下一步行动，我们需要一个启发式规则来衡量评估某一点的期望价值，这就是采集函数。它负责在“探索”（尝试未知区域）和“利用”（聚焦已知高值区域）之间取得平衡。

以概率改进（Probability of Improvement, PI）为例，该采集函数选择当前最大值之上改进概率最高的点。公式中的epsilon参数控制着这种平衡：较小的epsilon倾向于利用已知的高潜力区域，而较大的epsilon则鼓励探索不确定性高的区域。文章通过可视化演示表明，当epsilon过大时，算法可能过度探索而无法收敛到全局最大值；当epsilon适中时，能在少数几次迭代内快速定位峰值。这揭示了贝叶斯优化的本质：不需要构建完美的函数模型，只需智能地引导搜索方向。

对于读者而言，理解这一机制有助于在实际项目中选择合适的调优策略。如果你关心的是模型性能的最大化而非对损失曲面的完整理解，贝叶斯优化比网格搜索或随机搜索更高效。它特别适用于评估成本极高、维度较低的场景。掌握采集函数的直觉，能帮助工程师调试为何优化器陷入局部最优或探索不足。

推荐Apoorv Agnihotri和Nipun Batra于2020年发表的《Exploring Bayesian Optimization》。这篇Distill文章适合希望深入理解超参数调优原理的机器学习工程师和研究者。建议从“Mining Gold!”章节开始阅读，重点关注主动学习与贝叶斯优化的对比，以及后续关于采集函数（特别是PI和EI）的直观解释部分。

在2001年的致股东信中，沃伦·巴菲特重申了衡量投资成功的关键标准并非绝对收益，而是相对于市场基准的表现。他引用了1956年创立合伙基金时的“基本规则”，指出“Whether we do a good job or a poor job is to be measured against the general experience in securities.”这一观点强调，长期投资者应关注是否持续跑赢大盘指数，而非单纯看账面数字的涨跌。

针对“相对表现无法当饭吃”的质疑，巴菲特通过类比进行了反驳。他认为如果预期持有标普500指数能带来合理回报，那么每年小幅超越该指数的优势累积起来将非常可观。他写道：“can you regularly feast on investment returns that beat the averages, however variable the absolute numbers may be.”这种思维模式将短期波动置于长期复利的框架下，解释了为何伯克希尔即使某一年亏损（如2001年每股账面价值下降6.2%），只要优于同期标普500的跌幅，仍被视为相对成功。

除了业绩基准，巴菲特还强调了管理层与股东利益的深度绑定。他承诺不领取现金薪酬、限制性股票或期权，确保自身经济结果与股东完全一致。他在信中直言：“We will not take cash compensation, restricted stock or option grants that would make our results superior to yours.”这种安排旨在消除代理人风险，使管理者像所有者一样思考，避免为了短期股价而损害长期价值。

对于新读者而言，理解这些原则有助于建立正确的投资预期。假设一位投资者面临市场下跌，若其持仓跌幅小于指数，这符合巴菲特定义的“良好工作”。反之，若盲目追求绝对正收益而忽视基准比较，可能错失对管理能力的真实评估。这种基于相对表现的视角，是区分运气与能力的重要工具。

《Berkshire Hathaway Shareholder Letter 2001》由Warren E. Buffett于2002年2月28日发布。适合希望深入理解价值投资中绩效评估逻辑及公司治理结构的投资者阅读。建议从信中关于“Ground Rules”和利益绑定的段落入手，结合后续年份的信函对比阅读，以观察这些原则在不同市场环境下的应用。