К ленте
Apple готовит Harbor для локального запуска ИИ на Mac

Apple представит Harbor для локального запуска ИИ на Mac

Apple разрабатывает нативное приложение Harbor для macOS, превращающее компьютеры на чипах Apple Silicon в автономные серверы для запуска открытых нейросетей. Инструмент решает проблему нехватки памяти за счет объединения ресурсов нескольких устройств.

Горизонтальное масштабирование памяти

Ключевая особенность Harbor — объединение унифицированной памяти (Unified Memory) нескольких Mac в общий пул через прямое подключение по Thunderbolt 5. Это позволяет запускать тяжелые языковые модели и мультимодальные сети, которые физически не помещаются в память одного компьютера.

При связке двух и более устройств суммируется объем доступной оперативной памяти. Такая архитектура обеспечивает обслуживание увеличенного потока параллельных запросов без потери скорости генерации данных.

Простота настройки и использование

Приложение ориентировано на работу без сложной серверной конфигурации или использования командной строки (CLI). Harbor автоматически обнаруживает подключенные компьютеры и за несколько минут настраивает распределенный кластер инференса.

В графическую оболочку интегрирован каталог открытых весов моделей. Пользователь может в один клик искать, загружать и исполнять нейросети без необходимости обращаться к терминалу.

Основные преимущества решения:

  • Кластеризация по Thunderbolt 5 для объединения памяти нескольких Mac
  • Zero-CLI настройка с автоматическим развертыванием сервера
  • Встроенный менеджер весов для работы с open-weight моделями
  • Полная локальная изоляция данных без передачи промптов в облако
6,2 тыс. просмотров

Ещё из канала Метаверсище и ИИще

Похожие в категории Технологии