Открытая нейросеть FLUX 3 Image Klein для домашних видеокарт

Немецкая компания Black Forest Labs выпустила открытую нейросеть FLUX 3 Image Klein для генерации изображений, которая работает на потребительских видеокартах без использования облачных вычислений.

Основные характеристики модели

• Модель содержит 5,6 млрд параметров и запускается локально на одной видеокарте, например, RTX 4070, где генерация занимает менее 9 секунд.

FLUX 3 Image Klein решает три основные задачи: генерирует изображения по текстовому описанию, редактирует их с возможностью точечных правок за один проход и собирает картинку из нескольких референсов.

Пользователь может задать раскладку кадра, указав рамки и описания для каждого объекта на сетке 1000×1000 пикселей.

Особенности обучения и применения

Нейросеть обучалась на данных из изображений, видео и аудио, что позволяет ей справляться с различными стилями: от фотографий и гравюр до пиксель-арта, аниме и инфографики.

1. Недистиллированная версия предназначена для дообучения и научных исследований.
2. Дистиллированная версия оптимизирована для быстрой генерации изображений.

Веса моделей доступны на платформе Hugging Face, а работа осуществляется через интерфейс ComfyUI. Через платный API предоставляются функции улучшения промптов и генерации в разрешении 4K.

Лицензионные условия

Наличие открытых весов не означает бесплатное использование в коммерческих целях. Для интеграции модели в коммерческий продукт требуется отдельная лицензия, условия которой согласовываются напрямую с отделом продаж разработчика.