KIMI 开源发布中间件Checkpoint-Engine

品玩9月11日讯，据KIMI官方消息，KIMI已推出专为大语言模型（LLM）推理引擎设计的开源轻量级中间件 Checkpoint-Engine 。

Checkpoint-Engine通过创新技术架构实现算力资源的极致利用：可在数千块 GPU 集群环境下，约 20 秒内完成万亿级参数模型的权重更新，较传统方案大幅提升效率。Checkpoint-Engine 支持广播（同步）与点对点（P2P，动态）两种更新模式，适配不同训练拓扑需求，并通过通信与数据拷贝重叠的流水线优化技术，最大化硬件利用率。其轻量级设计与灵活部署特性，可显著降低大规模集群的资源消耗与运维成本，为企业级 LLM 推理部署提供标准化解决方案。

目前项目已正式开源，旨在通过社区协作推动大模型推理优化技术的生态发展。