Запуск модели Kimi K3 на CPU через движок kimi-k3-in-c

Представлен портативный движок kimi-k3-in-c для выполнения вывода модели Kimi K3 с 2,78 триллионами параметров на одном процессоре.

Программа написана на языке C99 и не требует использования BLAS, фреймворков или GPU, обеспечивая независимость от внешних библиотек и оборудования. Для работы требуется быстрый NVMe SSD с минимум 1,56 ТБ свободного места для хранения контрольной точки модели.

Основные характеристики проекта

• Язык программирования: C99
• Отсутствие зависимости от GPU и сторонних библиотек
• Требование к накопителю: NVMe SSD объемом от 1,56 ТБ
• Скорость генерации: около 32,7 секунды на токен при использовании 8 ГБ оперативной памяти

Проект доступен по адресу https://github.com/FareedKhan-dev/kimi-k3-in-c