可解释性研究有了更干净的小词表合成语料

个人研究者在LessWrong发布Small World 345.6k合成数据集，词表仅8,873个词，全部词至少出现16次。

对比之下，TinyStories有49,187个唯一词，其中15%到24%的词出现不足2次；新数据集通过词表封顶和低频词加权重采样解决这一问题，并声称文本经词典校验无拼写错误。

生成用unsloth的gemma-4-26B量化模型在一张16GB的5060 Ti上完成，流程可本地复现。注意这是作者第一方结果，数据集尚未见独立训练验证，语料总量也小于现有同类数据集。