Llama for Windows: запуск локальных ИИ в Windows 11
Компании Hugging Face и llama.cpp представили утилиту Llama for Windows на конференции Microsoft .NET Conf. Это легковесное приложение для системного трека Windows 11 весом всего 1 МБ позволяет запускать локальные нейросети в один клик.
Приложение работает как локальный сервер инференса с полной совместимостью API OpenAI и Anthropic (порт localhost:9931). Это дает возможность подключать кодинг-агенты, IDE и расширения без использования облачных API-ключей.
Автоматическая оптимизация ресурсов
Движок автоматически анализирует конфигурацию ПК и подбирает оптимальные параметры под объем доступной памяти:
- Уровень квантования весов
- Лимит контекста
- Пакетный размер
- Режим декодирования
Все веса хранятся в едином экземпляре в глобальном кэше Hugging Face и используются совместно с другими инструментами. При простое более 5 минут модель автоматически выгружается из памяти для экономии системных ресурсов.
Способы установки и интеграции
Помимо классического веб-интерфейса чата, доступна установка одной командой в PowerShell. В ближайшее время ожидается релиз приложения в официальном магазине Microsoft Store.








