К ленте
Вышел релиз llama.cpp v1.0.0 с оптимизациями для CUDA и Vulkan

Вышел релиз llama.cpp v1.0.0 с оптимизациями для CUDA и Vulkan

Проект llama.cpp и библиотека ggml официально выпустили мажорную версию v1.0.0 (сборка b12359). Релиз закрепил очистку устаревшего кода и серию низкоуровневых оптимизаций для различных аппаратных архитектур.

Оптимизации инференса

В бэкенде CUDA добавлены ядра few-row MMQ для малых батчей размером 2-24. Оптимизирован prefill для чекпоинтов в формате NVFP4 за счет слияния масштабов w_s в эпилоге MMQ. Для графики Intel в бэкенде Vulkan интегрировано ядро FlashAttention на этапе prefill.

Поддержка процессоров и NPU

На стороне CPU и NPU реализованы следующие улучшения:

  • Добавлены тайлы 4x4 simd_gemm для ARM NEON
  • Реализована маршрутизация GATED_DELTA_NET на векторные ядра SpacemiT RVV (RISC-V)
  • Добавлена поддержка квантования Q5_0/Q5_1 и сборка хоста на Windows ARM64 для Qualcomm Hexagon

Безопасность серверной части

В серверной части llama-server реализована отмена вызовов MCP-инструментов при обрыве или таймауте клиента. Закрыты SSRF-уязвимости в CORS-прокси, а также ужесточен доступ к инструментам с нелокальных адресов. Исправлены конвертация моделей Qwen3.5 и мультимодальных проекторов.

6,8 тыс. просмотров

Ещё из канала Метаверсище и ИИще

Похожие в категории Технологии