Tiny 2.1:运行在486DX和Pentium软盘上的367K参数Transformer模型
开发者发布Tiny 2.1,一个仅需540KB内存即可在DOS时代硬件上运行的超小型问答Transformer模型。
开发者WollyMonjac发布了Tiny 2.1,这是一个用Turbo C 2.0编写的微型问答Transformer,专为在DOS系统下的486DX和Pentium个人电脑上运行而设计。该项目并非大型语言模型(LLM),但采用了Transformer架构,仅包含367,000个参数,分为4层,每层宽度为96,逐字母读写。
整个项目被压缩到一张标准的1.44MB软盘中,充分利用了有限的存储空间。模型权重采用8位整数量化(每行一个缩放因子),总大小约为380 KB。该系统基于约3,500条事实进行训练,每条事实以多种措辞呈现。运行时,主机需要约540KB的可用常规内存。
Tiny 2.1提供了一个简洁的用户界面,包括对话历史窗格、神经监控面板和“Ask Tiny”提示窗口,并配有典型的DOS程序F键快捷键。其显著特点是能够使用PC扬声器朗读回答,产生一种复古未来的机器人声音。
GitHub仓库说明代码是“由Fable 5.2编写并由Opus 5.5训练”。开发者承认,在其特定训练数据之外,该模型会“自信地编造内容”,这种行为类似于LLM幻觉,但在此处被视为一种有趣的功能。该项目采用MIT许可证,并包含一个训练文件夹,允许用户潜在地为特定主题构建定制的问答Transformer。