Обучение LLM на Apple Silicon с помощью MLX-GRPO

MLX-GRPO — это фреймворк для обучения больших языковых моделей, использующий исключительно платформу MLX от Apple.

Проект изначально разработан для работы на чипах Apple Silicon с использованием бэкенда Metal.

Групповая относительная оптимизация политики

Решение реализует алгоритм Group-based Relative Policy Optimization (GRPO) с цепочкой подсказок. Процесс включает подготовку набора данных, определение функции вознаграждения и обучение модели.

Преимущества использования

• Работа в чистой среде MLX без необходимости в CUDA
• Оптимизация под архитектуру Apple Silicon
• Полный цикл обучения LLM на одном устройстве