К ленте
Библиотека ggml для эффективного машинного обучения

Библиотека ggml для эффективного машинного обучения

ggml — это библиотека тензоров для машинного обучения, разработанная с акцентом на простоту использования, портативность и высокую эффективность при минимальных настройках.

Реализация на C++ без внешних зависимостей обеспечивает совместимость с широким спектром архитектур: x86, ARM, RISC-V, LoongArch, PowerPC, s390x и WebAssembly.

Оптимизация под SIMD-инструкции позволяет эффективно работать на CPU, GPU, NPU и в браузерах. Библиотека поддерживает квантование от 2 до 8 бит, а также форматы MXFP4 и NVFP4.

Ключевой особенностью является отсутствие выделения памяти во время выполнения, что существенно повышает общую производительность системы.

4,5 тыс. просмотров

Ещё из канала Open Source

Похожие в категории Технологии