К ленте

Llama for Windows: запуск локальных ИИ в Windows 11

Компании Hugging Face и llama.cpp представили утилиту Llama for Windows на конференции Microsoft .NET Conf. Это легковесное приложение для системного трека Windows 11 весом всего 1 МБ позволяет запускать локальные нейросети в один клик.

Приложение работает как локальный сервер инференса с полной совместимостью API OpenAI и Anthropic (порт localhost:9931). Это дает возможность подключать кодинг-агенты, IDE и расширения без использования облачных API-ключей.

Автоматическая оптимизация ресурсов

Движок автоматически анализирует конфигурацию ПК и подбирает оптимальные параметры под объем доступной памяти:

  • Уровень квантования весов
  • Лимит контекста
  • Пакетный размер
  • Режим декодирования

Все веса хранятся в едином экземпляре в глобальном кэше Hugging Face и используются совместно с другими инструментами. При простое более 5 минут модель автоматически выгружается из памяти для экономии системных ресурсов.

Способы установки и интеграции

Помимо классического веб-интерфейса чата, доступна установка одной командой в PowerShell. В ближайшее время ожидается релиз приложения в официальном магазине Microsoft Store.

1,2 тыс. просмотров

Ещё из канала Метаверсище и ИИще

Похожие в категории Технологии