llama-modchip: запуск LLM на CPU без GPU
Инструмент llama-modchip позволяет запускать крупные языковые модели, включая DeepSeek-V4-Flash и 30B MoE, на системах с ограниченными ресурсами без использования GPU.
Оптимизация для процессоров AMD Zen 5 и Zen 4
Программа поддерживает различные архитектуры процессоров, обеспечивая ускорение вычислений за счет специфических инструкций и кэширования. Это делает ее эффективной для работы с моделями смешанных экспертов (MoE) на гибридных системах.
Ключевые возможности llama-modchip
- Запуск LLM на CPU с 64 ГБ RAM без GPU
- Поддержка архитектур AMD Zen 5 и Zen 4
- Динамическое распределение нагрузки между CPU и GPU
Проект написан на языке Python и доступен по адресу https://github.com/synchopate/llama-modchip.













