Sony представила ИИ для предсказания кадров в играх

Компания Sony подала патентную заявку на технологию искусственного интеллекта, способную предсказывать следующий кадр в видеоигре и выводить его на экран раньше, чем это сделает графический процессор.

В отличие от традиционных методов генерации кадров, которые создают промежуточные изображения между двумя реальными кадрами и увеличивают задержку, новый подход не требует ожидания полной отрисовки.

Модель анализирует уже отображенный кадр и последние команды с геймпада пользователя, чтобы мгновенно сформировать прогноз следующего изображения. Это позволяет сократить время отклика системы.

Процесс включает несколько этапов: энкодер сжимает текущий кадр в компактный набор данных, а декодер восстанавливает из него следующее изображение для вывода на дисплей.

• Декодирование происходит на основе сжатых данных текущего кадра
• Система может генерировать сразу несколько будущих кадров
• Обучение модели происходит автоматически на видеопотоке без ручной разметки

Альтернативным вариантом технологии является использование блоков пикселей, которые перемещаются по векторам движения без применения нейросетей. Разработчики обещают стабильную частоту кадров в ресурсоемких играх и отсутствие фризов.

На данный момент в заявке отсутствуют точные данные о приросте производительности и качестве изображения. В демонстрационных примерах предсказанные кадры могут терять некоторые детали по сравнению с оригиналом.

Технология дополняет стратегию Sony по внедрению ИИ-масштабирования на свои консоли, указывая на возможное будущее развитие игр, где часть графики генерируется нейросетью в реальном времени.