LensErase от Microsoft стирает водяные знаки и объекты с изображений

Компания Microsoft представила модель LensErase, предназначенную для удаления водяных знаков, логотипов, надписей и объектов вместе с их тенями из изображений. Инструмент работает по принципу ввода исходного изображения и маски выделения без необходимости использования текстовых промптов.

Основные возможности

Модель обучена распознавать и удалять различные типы наложений: полупрозрачные водяные знаки, повторяющиеся символы, диагональные надписи и угловые отметки. Она способна обрабатывать как мелкие детали, так и крупные объекты, закрывающие значительную часть кадра, включая людей, животных и мебель.

• Одновременное удаление нескольких объектов в разных частях изображения
• Устранение связанных теней и отражений, выходящих за границы выделения
• Стирание текста с сохранением поверхности под ним и соседних элементов
• Редактирование готовых постеров путем удаления заголовков и логотипов

Технология TraceFusion отвечает за восстановление остальной части изображения, определяя фактическую область изменений и сохраняя исходное содержимое за ее пределами. Это предотвращает нежелательную переработку всего кадра при запросе на удаление небольшого элемента.

Обучение модели

Для обучения исследователи собрали датасет из более чем 101 миллиона примеров формата «исходник, маска, чистый результат». Из них около 10 миллионов примеров содержат водяные знаки, а также использовались отдельные наборы данных для текста, постеров и больших областей удаления.

Особенность подхода заключается в том, что модель использует видимые сквозь полупрозрачные наложения детали фона для восстановления изображения. Внешний вид удаляемого объекта помогает алгоритму определить принадлежность теней и отражений.

Текущее состояние проекта

На данный момент код модели недоступен, авторы анонсировали его скорое появление. В репозитории указаны ограничения: точное возвращение утраченных деталей в закрытых участках не гарантировано, а подготовка качественных обучающих данных для сверхвысоких разрешений (включая 4K) представляет сложность.