Ученые из Техасского университета в Остине опубликовали в журнале Nature Neuroscience статью о методах работы их нового изобретения — «семантического декодера». Это аналогичная ChatGPT нейросеть, которая использует языковую модель для анализа снимков МРТ и «расшифровки» мыслей пациентов. В отличие от аналогов, ей не требуются данные об активности нейронов, то есть испытуемым не нужно имплантировать электроды в мозг.
Функциональная магнитно-резонансная томография (фМРТ) позволяет определять активность нейронов головного мозга по усилению тока крови, который необходим для снабжения их кислородом. Томограф получает снимки с высоким разрешением с частотой около десяти секунд: за это время человек успевает произнести около 20 слов. Именно поэтому для расшифровки данных ученым понадобилась крупномасштабная языковая модель-трансформер.
Авторы работы обучали нейросеть на результатах фМРТ трех добровольцев, активность мозга которых отслеживали во время чтения аудиокниг. Модель научилась определять нейронные паттерны, активирующиеся в ответ на разные последовательности слов, а не на каждое слово по отдельности, то есть реконструировала общий смысл мыслей. Точность работы «семантического декодера» была удивительно высокой, к примеру, звучащая в голове фраза «Я еще не получил водительские права» превращалась в «Она еще не начала учиться водить».
Обученная система также с успехом справилась и с более сложной расшифровкой: например, если человек слышал одновременно два текста, но мысленно концентрировался только на одном из них или проговаривал фразы про себя. Даже при демонстрации видеороликов (без звука) активность нейронов, зарегистрированная фМРТ, позволила нейросети реконструировать последовательность событий на записи. Но все же считывать данные любого пациента на данный момент «семантический декодер» не в силах.
Во-первых, система отдельно обучается на данных томографии каждого человека индивидуально. Во-вторых, подопытный должен фокусироваться на соответствующих мыслях, активно помогая нейросети — самостоятельно она не справится. В случаях, когда подопытных просили намеренно отвлекаться, ИИ продемонстрировал крайне низкую точность расшифровки фМРТ. Однако в медицине — например, для помощи парализованным пациентам, которые остаются в сознании — декодер может оказаться исключительно полезным.
Недавно созданный нейросетью кадр признали лучшим на престижном фотоконкурсе Sony World Photography Awards 2023. Его «соавтор» от награды отказался.
Олеся Маевская
