Fireworks AI DevRel负责人Sophia Yang演示Glimmer模型在Kalshi预测市场的训练与表现
Fireworks AI开发者关系负责人Sophia Yang在视频中展示了如何训练30B参数开源模型Glimmer以在Kalshi预测市场中超越Jev。视频列出了使用约6500个已结算事件进行训练、在8765个后续事件上测试的数据集规模，以及K-way交叉熵加LoRA的微调方法。据称，调整后的Glimmer准确率为64.8%，高于基线的56.4%和Jev的45.9%。
Fireworks AI开发者关系负责人Sophia Yang发布了一段视频，详细说明了其团队如何训练名为Glimmer的30B参数开源模型，使其在Kalshi预测市场上的表现优于竞争对手Jev。这一内容属于Fireworks AI“Free Weights Club”的首个实验项目，旨在提供可免费微调的模型配方。
根据视频描述，该实验使用了约6500个已结算的Kalshi事件作为训练数据，并在随后的8765个事件上进行测试。采用的技术路线包括K-way交叉熵损失函数配合单个LoRA适配器，随后进行温度调节。
Fireworks AI声称，经过调整的Glimmer模型达到了64.8%的准确率，相比之下，基础模型为56.4%，而Jev为45.9%。此外，当模型置信度至少为80%时，其校准准确率达到86.8%，且服务速度比标准聊天补全快2到3倍。
需要注意的是，上述性能指标均为厂商自报数据，且基于模拟交易（paper trading）而非实际资金操作。该视频主要作为技术演示和资源推荐，供对AI在预测市场应用感兴趣的读者参考。