AI-Toolkit получил функцию генерации контента

Разработчик Ostris обновил AI-Toolkit, добавив в интерфейс для тренировки LoRA функционал генерации контента. Теперь пользователи могут работать с популярными открытыми моделями прямо в одном приложении.

Поддерживаемые модели

• Генерация изображений: Krea 2, Flux 1/2, Qwen Image 2512, Qwen Image 2.1, SDXL, Z-Image Turbo.

• Создание видео: MiniMax H3, LTXV 2.3/2.5, Wan 2.2.

• Генерация музыки: Ace-Step 1.5XL, MiniMax Music 3 (в тестировании), Ye2.

Доступны различные варианты квантизации для трансформера и текстового энкодера: bf16, int-8 convrot, fp8, qfp8, nvfp4. Также реализована возможность слияния LoRA с базовой моделью.

Преимущество решения заключается в объединении процессов обучения лор и генерации контента без необходимости перемещения чекпоинтов в ComfyUI. Однако гибкость и экосистема нодового интерфейса Comfy пока остаются вне конкуренции.

На текущем этапе альфа-версия имеет минимальные настройки и проблемы со скоростью. Например, генерация изображения 1024x1024 через fp8 Krea 2 занимает 13 секунд на RTX 4090, тогда как аналогичный процесс в ComfyUI на bf16 выполняется за 5 секунд. Создание изображений высокого разрешения (2048x2048) может занимать более минуты или приводить к зависанию.

Установка и обновление AI-Toolkit осуществляется через скрипт AI-Toolkit-Easy-Install.