Нейросеть восстановила изображение по снимку мозга

Исследователи из израильского Института Вейцмана создали искусственный интеллект, способный по данным МРТ восстанавливать визуальные образы, которые видит человек.

Архитектура декодера состоит из двух ветвей: первая определяет структуру изображения, включая расположение цветовых пятен, а вторая распознает конкретное содержание сцены. Полученные данные передаются в диффузионную модель для генерации итогового визуального результата.

Модель обучалась на данных восьми добровольцев, каждый из которых просмотрел около 9000 изображений. При этом примерно 70% обучающей выборки составляли синтетические данные.

Процесс настройки системы на нового пользователя значительно ускорился и теперь занимает всего один час сканирования. Ранее для калибровки требовалось до 40 часов, что при стоимости МРТ от 600 до 1000 долларов в час делало предыдущие методы экономически нецелесообразными.

Технология все еще подвержена ошибкам реконструкции. Известны случаи, когда торт превращался в бутерброды, а собака в ванной — в козу схожего цвета.

Авторы проекта планируют расширить возможности системы для восстановления видео, звука, воображаемых образов и даже снов. Аналогичные подходы уже тестируются на базе ЭЭГ с использованием шапочек с электродами или устройств в форме наушников.

В медицинской сфере технология может помочь врачам устанавливать контакт с парализованными пациентами. Однако эксперты предупреждают о рисках несанкционированного получения информации из мозга без согласия человека.