Вышел релиз llama.cpp v1.0.0 с оптимизациями для CUDA и Vulkan
Проект llama.cpp и библиотека ggml официально выпустили мажорную версию v1.0.0 (сборка b12359). Релиз закрепил очистку устаревшего кода и серию низкоуровневых оптимизаций для различных аппаратных архитектур.
Оптимизации инференса
В бэкенде CUDA добавлены ядра few-row MMQ для малых батчей размером 2-24. Оптимизирован prefill для чекпоинтов в формате NVFP4 за счет слияния масштабов w_s в эпилоге MMQ. Для графики Intel в бэкенде Vulkan интегрировано ядро FlashAttention на этапе prefill.
Поддержка процессоров и NPU
На стороне CPU и NPU реализованы следующие улучшения:
- Добавлены тайлы 4x4 simd_gemm для ARM NEON
- Реализована маршрутизация GATED_DELTA_NET на векторные ядра SpacemiT RVV (RISC-V)
- Добавлена поддержка квантования Q5_0/Q5_1 и сборка хоста на Windows ARM64 для Qualcomm Hexagon
Безопасность серверной части
В серверной части llama-server реализована отмена вызовов MCP-инструментов при обрыве или таймауте клиента. Закрыты SSRF-уязвимости в CORS-прокси, а также ужесточен доступ к инструментам с нелокальных адресов. Исправлены конвертация моделей Qwen3.5 и мультимодальных проекторов.














