Алексей Серенко

Ментор
Алексей Вячеславович Серенко — младший научный сотрудник НИЦ Курчатовский институт

Контакты
serenko@phystech.edu
aserenko@bk.ru
https://t.me/aserenko

Проект
Мотивацию задач см. в поле «Комментарий».

Возможных задач две.

Для тех, кого совсем не привлекает нейробиология, а интересует только опыт в традиционных нейросетях — задача с более практической мотивацией: вы обучаете обычную нейросеть (задаче, например, классификации аудиозаписей) с ограничениями, которые налагают современные нейропроцессоры (на количество нейронов и синапсов, значения синаптических весов и т. д.), я конвертирую её в импульсную, и мы смотрим, можно ли запустить её на нейропроцессоре (если повезёт, даже энергопотребление померяем).

Задача с более биологической мотивацией: исследовать методы обучения импульсных нейронных сетей (а не конвертации их из обычных нейросетей) биологически-мотивированными механизмами синаптической пластичности. Выберем с вами вместе новую и интересную статью, воспроизведём её и, если успеем, исследуем, можно ли метод обучения реализовать на нейропроцессоре — в этот момент и возникнет научная новизна.

Технически работа заключается в вычислительных экспериментах путем программирования на Python. При этом в первой задаче используются существующие фрейморки для обучения нейронных сетей (tensorflow или pytorch), во второй задаче — существующие программные пакеты для моделирования импульсных сетей (Brian, NEST, bindsnet или snntorch), так что небольшой порог вхождения есть, но мне он не кажется серьёзным ограничением.

Комментарий
Тематика проекта относится одновременно к двум дисциплинам: импульсные (они же спайковые) нейронные сети являются математической моделью процесса испускания нейронами потенциалов действия, и применение таких к задачам машинного обучения с биологической точки зрения является моделированием информационных принципов обучения в мозге.

С точки же зрения машинного обучения, импульсные нейронные сети отличаются от обычных внутренней динамикой нейронов, а главное, функцией активации (выходом нейрона в каждый момент времени является один бит — наличие/отсутствие потенциала действия), но практическая привлекательность таких сетей обусловлена сверхнизким энергопотреблением, какое они способны демонстрировать, когда реализованы на специализированных нейроморфных процессорах.

Чтобы не тратить много места на введение в тематику импульсных сетей, позвольте просто сослаться, что тем же, чем мы, в МФТИ также занимается лаборатория нейробиоморфных технологий под руководством В. Б. Казанцева.