阅读

在自然语言处理领域，无监督预训练是提升下游任务性能的关键。长期以来，自回归（AR）语言模型和基于去噪自动编码器的模型（如BERT）是两种最成功的方法。然而，它们各自存在明显的局限性。传统的AR模型只能单向编码上下文，难以捕捉深度双向信息；而BERT虽然能利用双向上下文，但其依赖掩码符号导致预训练与微调阶段的数据分布不一致（即“预训练-微调差异”），且假设被预测的词之间相互独立，忽略了自然语言中普遍存在的长距离依赖。

针对这些痛点，卡内基梅隆大学与谷歌AI团队提出了XLNet。这是一种广义自回归预训练方法，旨在结合AR模型和BERT的优势并规避其缺陷。XLNet的核心创新在于“排列语言建模”。不同于传统AR模型固定的前向或后向分解顺序，XLNet最大化所有可能排列顺序下的期望对数似然。这意味着对于序列中的每个位置，其上下文可以包含左右两侧的词。从统计期望上看，模型学会了利用来自所有位置的信息，从而在不破坏自回归性质的前提下实现了双向上下文的捕捉。

此外，由于XLNet保持了自回归形式，它不依赖于输入数据的损坏（如BERT的[MASK]操作），因此消除了预训练与微调之间的差异。同时，自回归目标允许使用乘积法则来分解联合概率，自然地建模了词与词之间的依赖关系，克服了BERT独立性假设的简化问题。为了进一步提升性能，XLNet还集成了Transformer-XL的段递归机制和相对位置编码，使其在处理长文本序列时表现更佳。实验表明，在可比设置下，XLNet在问答、自然语言推理、情感分析和文档排序等20项任务上均优于BERT，往往具有显著优势。

建议阅读《XLNet: Generalized Autoregressive Pretraining for Language Understanding》（2019年）。这篇论文深入剖析了BERT和传统自回归模型的优缺点，并展示了如何通过排列语言建模这一巧妙设计，在保持自回归特性的同时实现双向上下文学习。对于希望理解大规模语言模型预训练机制演进、特别是如何平衡双向性与自回归优势的读者，这是一篇必读的经典技术文献。

纳西姆·尼古拉斯·塔勒布在2007年出版的《黑天鹅》中，提出了一个关于不确定性的核心框架。书中定义，“黑天鹅”是一种极不可能发生的事件，具有三个主要特征：它是不可预测的；它带来巨大的影响；事后我们编造解释，使其看起来比实际更随机性更少、更可预测。这一概念挑战了传统风险管理中对“已知未知”的依赖，强调那些未被纳入模型但足以颠覆世界的极端事件。

塔勒布指出，人类天生倾向于关注具体细节而非普遍规律，这导致我们无法真正评估机会，容易陷入简化、叙述和分类的冲动，且对能够想象“不可能”事物的人不够宽容。这种认知偏差使得我们在黑天鹅事件发生前往往忽视其存在，而在发生后则通过叙事谬误来合理化结果，从而低估了随机性的作用。作者认为，华尔街的许多失败源于人们高估了自己的解释能力和技能，却未能意识到自己并不了解世界运行的真实机制。

假设一位投资者构建了一个基于历史数据高度稳定的投资组合，认为市场波动遵循正态分布。当一家新兴科技公司突然因一项意外技术突破而市值飙升，同时引发整个行业估值逻辑的重构时，该投资者因未将此类“不可预测”的高影响事件纳入风险考量，导致组合遭受重大相对损失或错失巨大收益。这正是《黑天鹅》所警示的情景：过度依赖过去的确定性会使人对未来的极端不确定性变得脆弱。

对于希望深入理解不确定性本质、避免被伪专家误导的读者，《黑天鹅》提供了重要的思维工具。建议从书中关于“稳健性与脆弱性”的新章节入手，结合塔勒布对概率论与认知心理学的跨学科分析，重新审视个人决策与投资判断中的盲区。本书由纳西姆·尼古拉斯·塔勒布于2007年出版，适合关注风险管理与认知科学的读者阅读。