Эксперименты по визуализации мыслей
Восстановление визуальных впечатлений из мозговой деятельности, вызванных естественными фильмами
править- Оригинал статьи „Reconstructing Visual Experiences from Brain Activity Evoked by Natural Movies“, 2011
- Посмотреть пример „визуализации мыслей“ можно на youtube.com: Reconstruction from brain activity, Reconstructions from brain activity: 3 subjects
- Домашняя страница профессора Jack Gallant's, работающего в лаборатории университета Калифорнии в Беркли
Данное исследование позволяет восстанавливать динамические зрительные образы, которые возникают в мозгу человека во время просмотра случайно отобранных видеороликов. Это первый шаг к созданию технологий наблюдения на экране галлюцинаций пациентов, снов людей, и "чтению мыслей". Но прежде чем ознакомится с результатами данного исследования, следует рассмотреть, предшествующие исследования сделанные в этой области.
Предшествующие исследования
правитьНейрохирургические имплантанты
править- Достаточно известные эксперименты проводились в 2001 году Мигелем Николелисом (Miguel Nicolelis) из университета Дюка (Durham, South Carolina). Николелис вводя электроды в мозг и «перекодируя сигналы», сумел синхронизировать движения «руки» обезьяны и «киборг-руки» — искусственного механизма, повторяющего форму и функции «руки».
- Нейрохирург Джон Доног (Dr. John Donoghue) из Университета Брауна (Brown University, Rhode Island) со своей исследовательской группой в эксперименте наблюдали за макаками-резус, играющими в одну компьютерную игру, смысл которой — «поймать» одним мячиком другой, что-то наподобие пинбола. В эксперименте участвовали три обезьянки, и всем трём в мозг были введены электроды размером с горошину, которые фиксировали мозговую активность во время игры. «Чипы» были расположены непосредственно в доле мозга, отвечающей за координацию «рук». Имплантанты постоянно транслировали нейронные импульсы в процессе игры обезьянок. Для того, чтобы контролировать движение мячиков, изображённых на мониторе, обезьянки использовали джойстик. Но в определённый момент игры исследователи — незаметно для «испытуемых» — отсоединили джойстик. Ни о чём не подозревающие мартышки продолжали играть, а мячик продолжал двигаться, будто ничего не произошло, причём двигался он, не меняя характера движения — никаких рывков, пауз и скачков. Приборы показывали нормальную мозговую активность, никаких аномальных проявлений.
- Исследователи из университета Вашингтона в Сент-Луисе (см. Washington University in St. Louis) провели на людях, больных эпилепсией эксперимент: поместили на поверхность мозга пациентов электронную сетку, чтобы собрать моторные сигналы. При записи поверхностных сигналов мозга учёные использовали технологию «агрессивной» электрокардиограммы. Затем подключив пациентов к системе, исследователи предложили им сыграть в простые одномерные компьютерные игры, вроде перемещения курсора к одной из двух целей. И действительно — пациенты смогли управлять курсором сигналами своего мозга.
Анализ электроэнцефалограмм
правитьОтказавшись от хирургического метода имплантирования электродов в мозг, другие учёные взяли за основу электроэнцефалограмму (ЭЭГ) [1], которая требует лишь внешнего контакта с головой.
- Так, в институте перцепционного искусственного интеллекта (см. Dalle Molle Institute for Perceptual Artificial Intelligence) Швейцарии проводили следующие исследование:
- К голове человека прикрепляются электроды, считывающие ритмы электроэнцефалограммы („мозговой активности“). Сигналы от электродов поступают в прибор, который распознаёт структуру ЭЭГ ритмов, а компьютер сопоставляет предложенный ему «образ» с тем, который соответствует выполнению какого-либо задания — например, включить свет, или даже написать письмо с помощью виртуальной клавиатуры. Директор института Жан-Альбер Феррес (Jean-Albert Ferrez) говорит, что, их технология расшифровки ЭЭГ ритмов позволяет компьютеру определить, думает ли человек о вычислениях, о каком-либо месте, о цвете или об ужине. Однако, о каком именно цвете человек думает, компьютер определить не в состоянии. Сотрудников института — Хосе Миллан (Jose Millan), говорит, что в отдалённой перспективе, возможно, удастся интегрировать системы управления техникой посредством ЭЭГ ритмов с системами распознавания голоса, дистанционного управления движениями рук и так далее.
Магнито-резонансное сканирование
правитьСледующий этап развития технологии позволил отказаться от электродов, внедрённых в мозг, и даже просто от контактов (например, которыми снимают энцефалограмму), да и вообще — какого-либо соприкосновения с человеком.
- В 2006 году команда доктора Юкиясу Камитани (Yukiyasu Kamitani) из международного института передовых телекоммуникационных исследований (ATR), расположенного близ Киото, совместно с компанией Honda, разработала и продемонстрировала в действии новый тип связи между человеком и машиной - интерфейс мозг-машина (Brain Machine Interface — BMI). Благодаря этому интерфейсу происходит ежесекундный анализ активности участков мозга, получаемый через магнитно-резонансную томографию (fMRI), после чего компьютерная программа по этим данным анализирует нервные сигналы в мозге, распознавая по ним выполняемые человеком движения (кисти и пальцев). Задержка между жестом человека и повторением движения робототехническим манипулятором составляла около 7 секунд, а точность распознавания достигла 85% (см. пресс-релиз от Honda).
- В конце 2009 года доктор Юкиясу Камитани, разработал новый эксперимент, в котором разработчики научились определять, что видит испытуемый. В эксперименте показывались чёрно-белые изображения 10 х 10 крупных пикселей. Томограф способен показать изменение в кровотоке через определённые зоны коры, связанные с активностью тех или иных групп нейронов. Но, поняв закономерности в таких изменениях, можно научиться выполнять обратное преобразование — от возбуждения нейронов к тому, что вызвало эту реакцию — будь то голоса, мысли или те же самые картинки, стоящие перед глазами.
- Для этого компьютерная программа должна была выявлять в картине активности нейронов практически каждый пиксель увиденной человеком картинки по отдельности. Компьютер сначала должен был выявить закономерности в отклике тех или иных нейронов на предъявляемые картинки. Чтобы обучить машину, экспериментаторы показывали испытуемым 440 «стопиксельных» изображений (сгенерированных случайным образом), в течение 6 секунд каждое b с 6-секундными паузами. Томограф поставлял компьютеру рисунки активности групп нейронов в зрительной коре (в трёхмерном пространстве). Затем последовала ещё серия изображений, но уже не со случайным шумом, а с простыми геометрическими фигурами или отдельными буквами. После такого обучения программа нашла корреляцию между пикселями на тестовом изображении и включающимися нейронами.
- Ключом к успеху стало построение моделей отклика групп нейронов на разном масштабе для одной и той же картинки. То есть, получив сигнал с томографа, программа разбивала гипотетическое поле 10 х 10 пикселей (которое ей предстояло заполнить) на перекрывающиеся зоны разного размера (1 х 1 пиксель, 1 х 2 пикселя, 2 х 1, 2 х 2 и так далее). Затем, пользуясь своими шаблонами, она определяла, какова вероятность, что данная группа пикселей белая, чёрная или является комбинацией двух этих цветов. Множество таких оценок позволяло машине выставлять цвет уже для каждого пикселя по отдельности, и такое реконструированное изображение оказывалось очень близким к тому, что видел человек на самом деле, хотя и не совпадало полностью. [2]
Ссылки
править- Машина считала зрительный образ с мозга человека - Не вводя в мозг какие-либо электроды, экспериментаторы научились чётко определять — что видит испытуемый.
- Японцы создали мысленный интерфейс между мозгом человека и роботом - Человек, лежащий в кольце томографа, показывает рукой различные жесты, а компьютер, опираясь только на картинки мозговой активности, распознает движения пальцев и выдает соответствующие команды руке робота, которая повторяет жесты за человеком.
Примечания
править- ↑ Электроэнцефалограмма - график электрической активности головного мозга, характеризующийся амплитудой и частотой, позволяющий определить степень возбуждённости/активности мозга, а соответственно, — и состояние сознания.
- ↑ Visual Image Reconstruction from Human Brain Activity using a Combination of Multiscale Local Image Decoders