Чёрный ТреугольникЗапуск нейросети Qwen3.8 на 27 млрд параметров на PlayStation 5
Разработчик abhi245y представил проект PS5LM Plus, позволяющий запускать языковые модели непосредственно на графическом процессоре консоли PlayStation 5. Приложение использует вычислительные мощности видеокарты для обработки запросов без обращения к облачным серверам.
Основная модель Qwen3.8-27B от Alibaba в 2-битном квантовании генерирует около 20 токенов в секунду. По качеству и производительности она сопоставима с флагманскими моделями Anthropic Claude Opus 4.6/4.7, превосходя их в задачах программирования и работы с агентами.
Изначально проект базировался на порте движка llama.cpp от Мерта Кобанова, где модели работали через центральный процессор со скоростью около одного токена в минуту. Новая версия переносит вычисления на GPU с использованием Vulkan, что значительно ускоряет работу.
Приложение потребляет до 12 ГБ видеопамяти и поддерживает несколько способов загрузки моделей: с внутреннего диска, USB-накопителей, M.2 SSD или напрямую с Hugging Face. Пользователи получают OpenAI-совместимый API для интеграции с внешними клиентами.
Управление осуществляется через веб-интерфейс, доступный с любого устройства в локальной сети. На экране телевизора отображается статистика генерации, энергопотребления и температуры системы.
Более легкие модели демонстрируют высокую скорость: Gemma 4 E4B выдает 61 токен в секунду, а Llama 3.2 3B — 124 токена в секунду.
Для работы приложения требуется взломанная консоль с установленными компонентами etaHEN, kstuff и ShadowMountPlus. Исходный код проекта доступен под лицензией GPL-3.0.
