阅读

Hamel Husain是AI评估领域的实践者，他与Isaac Flath在直播中用Anthropic新发布的Claude Code评估插件处理了一组公寓租赁助手的真实对话记录。这个插件包含build_eval和hill-climb两个命令，号称能帮助用户构建评估、检查评分器并改进应用。Hamel平时不写评估工具评测，因为软件变化太快、评测保质期很短；但Anthropic作为模型厂商发布的第一方工具，很可能影响人们做评估的方式，所以他决定试一下。

结果并不理想。第一个问题出现在最开始的环节：Claude浏览对话后直接列出几个潜在失败点，让用户立刻选一个来建评估，推荐的是呼叫转接规则。两人此时还没自己看过那些对话，无法判断这是否是一个真正值得优先处理的失败。Hamel认为正确做法是先看数据、做错误分析，再决定哪些失败值得写评估——工具应该辅助发现问题，而不是跳过理解直接要求承诺。

第二个问题是标注体验。Claude生成了一个Markdown文件列出与呼叫转接失败相关的数据，让用户浏览inputs.md并告诉它哪些标签是错的。这意味着在编辑器里读长对话，再切回聊天窗口报告修正。Hamel觉得这很荒谬——既然用的是编程代理，它本可以直接构建一个标注应用，让对话易于阅读、反馈就地提交。他们最终要求Claude建了一个网页应用来替代。

第三个问题是评估器范围过宽。工具生成的呼叫转接评估器同时检查四种失败：是否重复询问确认或未确认就转接（LLM评判）、是否在用户同意和转接之间说了什么（代码评估）、是否在转接期间或之后说了什么（代码评估）、是否把工具机制念出来比如正在触发转接（代码评估）。Hamel认为应该一次聚焦一个错误，或者至少把需要LLM评判和代码评估的分开。更糟的是，工具用protocol_ok是标题、一个案例只有四项检查全部通过才算通过这样的描述来解释评估逻辑，Hamel称之为AI垃圾——他宁愿直接看代码或评判提示词。

不过也有值得肯定的地方。Hamel承认这个插件在开箱即用的问题发现能力上超出了他见过的其他自动评估方案，它发现了人工交接、格式和语音代理等方面的问题。他仍然认为用代理迭代地看数据更好，但这是他在一次性问题发现方式上见过的最强表现。

Hamel的结论是暂时不用这个插件。他已经有自己和Shreya整理的Eval skills工作流，更灵活也更少预设。他后来与插件作者交谈，对方感谢反馈并表示会更新，所以他认为将来值得再看。但他提炼的原则适用于任何评估工具：确保工具帮你在选择评估之前理解数据，仔细检查它的判断。他相信评估工作流的大部分应该在网页应用中完成而非聊天窗口，以减少数据探索和标注的摩擦。如果评估工具不把看数据放在工作流中心，就不值得使用。

桥水联合（Bridgewater Associates）作为全球最大的对冲基金之一，其内部如何利用AI处理海量信息一直备受关注。在最新一期节目中，桥水Applied AI团队负责人Sam Green和产品工程主管Aaron Linsky详细介绍了公司名为“Vault”的内部知识库系统。该系统整合了来自135个外部来源的超过1亿份文档，以及公司内部的会议记录和备忘录，经过清洗、权限设置和本体标签化后，成为支持投资决策的核心基础设施。

两位嘉宾分享了构建这一系统的三个主要经验。首先，人类研究员和AI代理对搜索系统有不同的需求，不能简单套用同一套逻辑。其次，最大的效率提升来自于开发一个能够同时服务人类和代理的统一工具，而不是为两者分别建立隔离的系统。最后，真正的价值在于让AI代理能够主动地将值得投资者关注的信息推送给他们，而不仅仅是被动响应查询。

节目还提到了一个具体的技术突破：通过一个手工构建的基准测试，桥水团队将搜索系统在Top-10结果中的精度从大约60%提升到了90%以上。这显示了在特定垂直领域，定制化评估标准对于优化AI性能的重要性。虽然本期内容未提供完整的技术实现细节，但作为来自顶级金融机构的一线实践分享，它为理解企业级AI在非结构化数据处理和智能投研中的应用提供了宝贵的视角。

LangChain于2026年10月13日发布了一期关于“Agent Harness”的视频内容。该资源旨在澄清一个关键工程概念：原始的AI模型本身并不是智能体（Agent），只有当它被包裹在一个特定的工程系统中时，才能成为可工作的引擎。这个包裹层被称为Harness，包含了除模型权重之外的所有代码、配置和执行逻辑。

根据视频描述，Harness的核心作用是赋予模型状态管理、工具执行、反馈循环以及可执行的约束条件。具体而言，一个完整的Harness通常包括系统提示词（System Prompts）、工具与技能定义（Tools, Skills, MCPs）、捆绑的基础设施（如文件系统、沙箱、浏览器）、编排逻辑（子智能体生成、交接、模型路由）以及用于确定性执行的钩子或中间件（Hooks/Middleware）。

该视频不仅提供了理论定义，还关联了LangChain的开源项目Deep Agents。对于希望理解如何将LLM转化为实际生产力工具的开发者而言，这一资源提供了清晰的架构视角，强调了工程化封装在智能体开发中的必要性，而非仅仅依赖模型能力的提升。

在深度学习早期，网络架构的设计高度依赖专家经验，如从AlexNet到ResNet的演进。Barret Zoph和Quoc V. Le在2016年提出的《Neural Architecture Search with Reinforcement Learning》论文，开创性地使用循环神经网络（RNN）作为控制器来生成其他神经网络的架构描述，并通过强化学习优化这一过程。

该方法的核心在于将架构设计视为一个序列生成问题。控制器RNN逐步预测子网络的超参数（如层数、滤波器大小等），形成一个变长的字符串描述。一旦子网络构建并训练完成，其在验证集上的准确率被用作奖励信号。由于准确率指标不可微分，作者采用REINFORCE策略梯度算法更新控制器的参数，使得控制器随着时间推移学会生成更高准确率的架构。为了降低梯度估计的高方差，引入了指数移动平均作为基线函数。

实验结果显示，该方法在CIFAR-10数据集上从零开始设计的架构达到了3.65%的测试错误率，优于当时许多人工设计的架构。在Penn Treebank语言建模任务中，它发现了一种新的递归单元，其困惑度为62.4，超越了广泛使用的LSTM单元。这表明自动化搜索可以产生具有竞争力的模型结构。

然而，该方法的计算成本极高。每个控制器的梯度更新都需要训练一个完整的子网络直至收敛，这通常需要数小时。尽管使用了分布式训练和异步参数更新来加速，但整体搜索过程依然缓慢且资源密集。此外，搜索空间的设计仍然需要人为定义，例如限制最大层数或指定可能的操作类型，这意味着“完全”的自动化仍受限于预设的规则框架。

对于今天的读者而言，理解NAS的历史背景有助于把握当前AI工程化的趋势。假设我们面临一个新领域的数据集，传统做法是花费数周尝试不同的CNN变体。而基于此论文的思想，我们可以配置一个搜索空间，让算法在后台运行数天以寻找最优架构。虽然现代NAS方法已大幅降低了计算需求，但Zoph和Le的工作确立了“用机器学习优化机器学习”的基本范式，即元学习在架构层面的应用。

推荐Barret Zoph和Quoc V. Le于2016年发表的《Neural Architecture Search with Reinforcement Learning》给希望深入理解自动化机器学习起源的研究者和工程师。这篇论文不仅展示了如何用强化学习解决离散组合优化问题，更奠定了后续高效NAS算法的基础。建议从引言和方法论部分开始阅读，重点关注控制器与子网络的交互机制及REINFORCE算法的应用细节。

在1978年的致股东信中，沃伦·巴菲特（Warren E. Buffett）深入探讨了伯克希尔·哈撒韦公司（Berkshire Hathaway Inc.）与多元化零售公司（Diversified Retailing Company, Inc.）合并后带来的财务呈现复杂性。巴菲特指出，虽然会计准则要求将蓝带邮票公司（Blue Chip Stamps）等子公司的销售、费用、应收账款等完全合并入资产负债表和损益表，但这种聚合往往“掩盖了经济现实而非阐明它”。他强调，这种合并报表形式并非管理层内部使用的视角，因此他在信中提供了分部门的信息，旨在以“管理者看待它们的同一视角”来呈现各个运营实体。这一观点提醒投资者，不应盲目依赖标准化的会计汇总数据，而应关注业务单元的实际经济特征和管理层如何评估其绩效。

信中关于纺织业务的讨论是理解资本配置逻辑的经典案例。巴菲特坦言，尽管纺织厂的设备账面价值远低于重置成本，且设备功能与新设备相似，但该行业的资本周转率相对较低，因为相对于销售额，应收账款和存货需要较高的投资水平。“缓慢的资本周转加上低利润率，必然导致资本回报率不足。”他进一步分析道，生产相对无差异化产品的资本密集型企业，除非在供应紧张或真正短缺的情况下，否则必须赚取不足的回报。只要存在过剩的生产能力，价格往往反映直接运营成本而非已投入的资本。这一机制解释了为何伯克希尔即使拥有廉价资产，也难以在纺织业获得超额收益，从而确立了避开此类结构性劣势行业的重要性。

对于当下的读者而言，这封信提供了一个审视企业护城河与资本效率的框架。假设一家现代科技公司拥有大量固定资产但产品同质化严重，投资者可借鉴巴菲特的逻辑：检查其资本周转率是否因高库存或长账期而受阻，以及其定价权是否仅能覆盖运营成本而无法提供合理的资本回报。这种基于原始文本的分析方法，比单纯查看净利润更能揭示企业的长期生存能力。

《伯克希尔·哈撒韦1978年股东信》由沃伦·巴菲特撰写，发布于1978年（信件落款日期为1979年3月26日）。适合希望深入理解财务报表局限性、学习如何识别资本密集型行业陷阱以及培养所有者思维的投资者阅读。建议从信中关于“Sources of Earnings”和“Textiles”的部分开始，结合当时的历史背景体会管理层的决策逻辑。