В последнее время специалистами созданы десятки нейроинтерфейсов, которые трансформируют активность мозга в устную и письменную речь. Таким образом, при помощи систем синтеза речи, люди с инвалидностью могут общаться с окружающими. Однако передавать эмоции и интонации с помощью таких средств пока что невозможно. Сотрудники Университета Беркли в Калифорнии решили это исправить.
Ученые наблюдали за работой мозга 29 пациентов с эпилепсией, в череп которых имплантировали по 2,6 тысячи электродов — так врачи могут отслеживать изменения в активности нервной системы в ответ на определенные сигналы. Исследователи решили применить данные внутричерепных электроэнцефалографов (ЭЭГ), чтобы декодировать музыку. Добровольцам предложили послушать композицию группы Pink Floyd под названием Another Brick in the Wall.
Специалисты проследили за изменением активности разных участков нервной системы, которая отвечает за обработку речи, и сопоставили всплески активности с нотами, аккордами и голосом Роджера Уотерса (лидером группы Pink Floyd), которые звучали в каждый момент прослушивания композиции. Оказалось что сигналы, производимые нейронами верхней височной извилиной, полностью отражали то, какие слова и звуки слышали пациенты.
Также в ходе исследования ученые разработали нейросеть, которая способна почти полностью реконструировать прослушанную песню по собранным данным электродов. С помощью программы исследователи проанализировали сигналы и выделили конкретные наборы нейронов и области в мозге, отвечающие за восприятие ритма, музыкальных инструментов, голоса людей.
Ученые надеются, что в будущем это новаторское исследование поможет создать нейроинтерфейсы, которые смогут считывать как мысли, так и распознавать интонации и эмоции говорящего.
Музыка также влияет на подсознание всех людей. Композиции не только могут вызывать приятные и не очень воспоминания и провоцировать выделение дофамина, но и помогать в выведении из комы.
Анна Морозова
