a16z投RL训练环境公司

a16z宣布投资Preference Model，一家为AI实验室构建强化学习训练环境的公司。该公司本周在GitHub开源了框架Karotte，用于防止模型在训练中通过读取答案、修改测试或崩溃评分器等方式欺骗系统。

Karotte的防御手段包括评分前终止多余进程、拒绝恶意文件等。a16z称该框架经过超过百万次评估运行和对抗性红队测试验证，但这一说法来自投资方自己的公告，尚无独立复现。

投资金额、轮次和估值均未披露。