Нейронное кодирование с помощью неконтролируемой пиковой сверточной нейронной сети

Dec 10, 2023

Биология связи, том 6, Номер статьи: 880 (2023) Цитировать эту статью

2 Альтметрика

Подробности о метриках

Точное предсказание реакции мозга на различные стимулы представляет собой серьезную задачу в нейробиологии. Несмотря на недавние прорывы в нейронном кодировании с использованием сверточных нейронных сетей (CNN) в исследованиях фМРТ, между вычислительными правилами традиционных искусственных нейронов и реальными биологическими нейронами остаются критические пробелы. Чтобы решить эту проблему, в этом исследовании представлена ​​структура на основе пиковой CNN (SCNN), позволяющая достичь нейронного кодирования более биологически правдоподобным способом. Структура использует неконтролируемую SCNN для извлечения визуальных особенностей стимулов изображения и использует алгоритм регрессии на основе восприимчивого поля для прогнозирования ответов фМРТ на основе функций SCNN. Экспериментальные результаты с рукописными символами, рукописными цифрами и естественными изображениями показывают, что предложенный подход может обеспечить удивительно хорошую производительность кодирования и может использоваться для задач «чтения мозга», таких как реконструкция и идентификация изображений. Эта работа предполагает, что SNN может служить многообещающим инструментом нейронного кодирования.

Цель нейронного кодирования — предсказать реакцию мозга на внешние раздражители, предоставляя эффективные средства для изучения механизма мозга по обработке сенсорной информации и служа основой для систем интерфейса мозг-компьютер (BCI). Визуальное восприятие, являющееся одним из основных способов получения внешней информации, было основным направлением исследований нейронного кодирования. Благодаря развитию неинвазивных методов визуализации мозга, таких как функциональная магнитно-резонансная томография (фМРТ), за последние два десятилетия ученые добились замечательного прогресса в нейронном кодировании, основанном на зрении1,2,3,4, что сделало эту тему горячей темой в нейробиология.

Процесс кодирования на основе изображения обычно включает в себя два основных этапа: извлечение признаков и прогнозирование ответа5. Целью извлечения признаков является создание визуальных характеристик стимулов путем стимуляции зрительной коры. Точный экстрактор признаков, который аппроксимирует реальные визуальные механизмы, имеет решающее значение для успешного кодирования. Прогнозирование ответа направлено на предсказание воксельных ответов фМРТ на основе извлеченных визуальных особенностей. На этом этапе обычно используется линейная регрессия6, поскольку взаимосвязь между признаками и ответами должна быть максимально простой. Предыдущие исследования показали, что ранняя зрительная кора обрабатывает информацию аналогично вейвлетам Габора7,8,9. На основе этого открытия были предложены модели кодирования на основе фильтров Габора, которые успешно применяются в таких задачах, как идентификация изображений и реконструкция фильмов1,3. В последние годы сверточные нейронные сети (CNN) привлекли значительное внимание благодаря своим впечатляющим достижениям в области компьютерного зрения. В нескольких исследованиях10,11 использовался анализ репрезентативного сходства12 для сравнения моделей несходства представлений CNN и фМРТ, обнаружив, что зрительная кора человека имеет схожие иерархические представления с CNN. В результате модели кодирования на основе CNN получили широкое распространение и продемонстрировали отличную производительность2,4,13,14. Однако важно отметить, что, несмотря на успех CNN в приложениях кодирования, нельзя упускать из виду различия между CNN и мозгом в обработке визуальной информации15.

С точки зрения вычислительных механизмов существует фундаментальное различие между искусственными нейронами в CNN и биологическими нейронами: первые распространяют непрерывные цифровые значения, а вторые — потенциалы действия (пики). Внедрение пиковых нейронных сетей (SNN), считающихся третьим поколением нейронных сетей16, значительно сократило эту разницу. В отличие от традиционных искусственных нейронных сетей (ИНС), SNN передают информацию посредством синхронизации импульсов. В SNN каждый нейрон объединяет импульсы предыдущего слоя и излучает импульсы на следующий слой, когда его внутреннее напряжение превышает пороговое значение. Алгоритм пластичности, зависящей от времени всплеска (STDP)17,18, который представляет собой неконтролируемый метод обновления веса и был обнаружен в зрительной коре млекопитающих19,20,21, является наиболее часто используемым алгоритмом обучения для SNN. Недавние исследования применили SNN на основе STDP для распознавания объектов и достигли значительной производительности22,23,24. Биологическая достоверность SNN дает им преимущество в нейронном кодировании.