К ленте

llama-modchip: запуск LLM на CPU без GPU

Инструмент llama-modchip позволяет запускать крупные языковые модели, включая DeepSeek-V4-Flash и 30B MoE, на системах с ограниченными ресурсами без использования GPU.

Оптимизация для процессоров AMD Zen 5 и Zen 4

Программа поддерживает различные архитектуры процессоров, обеспечивая ускорение вычислений за счет специфических инструкций и кэширования. Это делает ее эффективной для работы с моделями смешанных экспертов (MoE) на гибридных системах.

Ключевые возможности llama-modchip

  • Запуск LLM на CPU с 64 ГБ RAM без GPU
  • Поддержка архитектур AMD Zen 5 и Zen 4
  • Динамическое распределение нагрузки между CPU и GPU

Проект написан на языке Python и доступен по адресу https://github.com/synchopate/llama-modchip.

7,3 тыс. просмотров

Ещё из канала Open Source

Похожие в категории Технологии