极客用英特尔Optane持久内存跑通2.8万亿参数Kimi K3模型，警告高温可能烧毁邻近DRAM
Reddit用户利用已停产的Intel Optane PMem 200在CPU上运行2.8万亿参数的Kimi K3模型，虽解决了内存容量瓶颈，但需强制风冷以防高温损坏硬件。
据Tom's Hardware报道，一位Reddit用户在r/homelab板块展示了一项实验：使用40核第三代Xeon Scalable处理器和已停产的第二代Intel Optane Persistent Memory 200（PMem 200）模块，成功在纯CPU环境下运行了Moonshot AI推出的2.8万亿参数大模型Kimi K3。这一配置旨在绕过当前高昂的DRAM价格，利用二手Optane内存以较低成本达到运行超大模型所需的至少610GB内存容量。
然而，该构建方案面临严峻的热管理挑战。Optane DIMM模块在持续推理过程中会产生极高热量，单条功耗可达12W至15W，若未进行有效散热，高温可能导致相邻的标准DDR4服务器内存过热甚至“烧毁”。为此，该用户必须安装双12W鼓风机风扇直接对准内存模块进行强制冷却，并建议其他尝试者将“主动DIMM冷却视为强制性要求”。
性能方面，即便采用1-bit量化技术，该系统的生成速度仅为0.85 tokens/秒，远低于此前基于第一代Optane和GPU混合架构实现的约4 tokens/秒。尽管速度缓慢，但对于夜间批量处理等非实时任务仍具一定可行性。目前该实验尚未进行线程数或NUMA亲和性调优，开发者计划后续引入GPU加速及更复杂的分层内存策略以提升效率。