阅读

1992年，英国爱丁堡大学认知科学中心的Peter Dayan与伦敦的Christopher J. C. H. Watkins在《机器学习》期刊上发表了经典论文《Q-Learning》。这篇技术说明文旨在解决智能体如何在受控马尔可夫域中通过试错学习最优行动策略的问题。

该研究的核心贡献在于提出并详细证明了Q-Learning的收敛定理。文章指出，Q-Learning是一种简单的让智能体在受控马尔可夫域中学习如何采取最优行动的方法。它本质上是一种对动态规划的增量式实现，计算需求有限。其工作原理是通过逐步改进对特定状态下特定行动质量的评估来实现这一目标。只要在所有状态下反复采样所有行动，且行动值以离散方式表示，Q-Learning就能以概率1收敛到最优行动值。此外，作者还简要探讨了非折扣但吸收型马尔可夫环境以及每次迭代可改变多个Q值的扩展情况。

对于现代读者而言，理解这一机制有助于把握深度强化学习的基础逻辑。例如，假设一个机器人需要在迷宫中寻找出口，它最初不知道哪条路径最好。通过Q-Learning算法，机器人每走一步都会根据是否接近出口（奖励）来更新它对当前状态和动作的价值估计（Q值）。经过多次重复尝试，即使没有预先知道地图，机器人也能逐渐学会选择那些能带来最高长期回报的动作序列，最终找到最短路径。这种从局部经验积累全局最优策略的过程，正是Q-Learning所确立的理论基石。

推荐阅读Watkins和Dayan于1992年发表的《Q-Learning》原文。对于希望深入理解强化学习数学基础、特别是收敛性保证及其与传统动态规划关系的AI研究人员和学生，这是一篇必读的经典文献。建议从摘要和引言部分开始，重点关注其对“增量方法”和“收敛条件”的定义。

罗伯特·席勒在1981年的论文《Do Stock Prices Move Too Much to be Justified by Subsequent Changes in Dividends?》中挑战了有效市场假说。他构建了一个估值模型，认为实际股价应等于未来股息现值的理性预期。如果这一模型成立，股价的波动应当受到基本面变化的严格限制。

为了验证这一观点，席勒引入了“事后理性价格”（p*）的概念，即基于后来实际发生的股息计算出的理论价值。通过对比历史数据中的实际股价指数（p）与p*，他发现两者存在显著差异。这种差异并非源于短期信息噪音，而是结构性的偏离。

核心机制在于方差界限检验。根据有效市场理论，预测误差应与预测值不相关，这意味着实际价格的方差必须小于或等于事后理性价格的方差。然而，数据显示标准普尔和道琼斯指数的实际波动率远远超过了这一理论上限。席勒指出，这种巨大的偏差表明市场并非总是对信息进行理性反应。

例如，1929年至1932年的股市崩盘无法用随后几年的股息变化来合理解释。尽管大萧条期间企业状况糟糕，但实际股息的下降幅度远不足以支撑如此剧烈的股价下跌。席勒在文中明确写道：“the stock market decline beginning in 1929 and ending in 1932 could not be rationalized in terms of subsequent dividends!”

假设当前投资者面临类似的市场剧烈震荡，若仅依据股息折现模型，可能会低估风险或误判机会。席勒的研究提示我们，当价格波动显著偏离基本面时，可能存在行为金融学所描述的过度反应或泡沫成分，而非单纯的信息更新。这为理解市场异象提供了重要的理论框架。

这篇经典论文适合希望深入理解市场异象、行为金融基础以及资产定价局限性的读者。建议从引言部分开始阅读，重点关注图1和图2的数据对比及方差不等式的推导过程。作品名为《Do Stock Prices Move Too Much to be Justified by Subsequent Changes in Dividends?》，发表于1981年。