Достижения суперкомпьютеров: использование нейроморфных оптических сетей

В последние несколько десятилетий некогда хорошо известная и точная тенденция, закон Мура, предсказанная Гордоном Муром из IBM в 1965 году, теперь постепенно становится несуществующей мерой вычислительной производительности. Закон Мура предсказывал, что примерно каждые два года количество транзисторов в интегральной схеме будет удваиваться, что будет больше транзисторов на том же самом пространстве, что приведет к увеличению вычислительной мощности и, следовательно, производительности компьютера. В апреле 2005 года в интервью сам Гордон Мур заявил, что его прогноз, скорее всего, больше не будет устойчивым: «С точки зрения размера [транзисторов] вы можете видеть, что мы приближаемся к размеру атома, который является фундаментальным барьером, но это пройдет два или три поколения, прежде чем мы доберемся до этого — но это так далеко, как мы когда-либо могли видеть. У нас есть еще от 10 до 20 лет, прежде чем мы достигнем фундаментального предела».   

Хотя закон Мура обречен зайти в тупик, другие показатели вычислительной техники становятся все более применимыми. Благодаря технологиям, которые мы используем в повседневной жизни, мы все можем видеть, что компьютеры становятся все меньше и меньше, а батареи устройств работают все дольше и дольше. Последняя тенденция с батареями называется законом Куми, названным в честь профессора Стэнфордского университета Джонатана Куми. Закон Куми предсказывает, что «… при фиксированной вычислительной нагрузке количество необходимой батареи будет уменьшаться в два раза каждые полтора года». Таким образом, электронное энергопотребление или энергоэффективность компьютеров удваиваются примерно каждые 18 месяцев. Итак, все эти тенденции и изменения указывают и раскрывают будущее вычислений.

Будущее вычислений

Мы подошли к моменту в истории, когда нам приходится переопределять вычислительную технику, поскольку тенденции и законы, предсказанные несколько десятилетий назад, больше не применимы. Кроме того, по мере продвижения вычислений к нано- и квантовым масштабам возникают очевидные физические ограничения и проблемы, которые необходимо преодолеть. Возможно, самая заметная попытка суперкомпьютинга, квантовые вычисления, имеет очевидную проблему, состоящую в том, чтобы по-настоящему использовать квантовую запутанность для параллельных вычислений, то есть выполнять вычисления до квантовой декогеренции. Однако, несмотря на проблемы квантовых вычислений, за последние несколько десятилетий был достигнут значительный прогресс. Можно найти модели традиционной компьютерной архитектуры Джона фон Неймана, применяемые к квантовым вычислениям. Но есть еще одна не очень известная область (супер)вычислений, называемая нейроморфными вычислениями, которая не соответствует традиционной архитектуре фон Неймана. 

Нейроморфные вычисления были предложены профессором Калифорнийского технологического института Карвером Мидом в его основополагающей статье в 1990 году. По сути, принципы нейроморфных вычислений основаны на теоретических биологических принципах действия, подобных тем, которые, как считается, используются человеческим мозгом в вычислениях. Краткое различие между нейроморфной теорией вычислений и классической теорией вычислений фон Неймана было резюмировано в статье Дона Монро в журнале The New York Times. Ассоциации по вычислительной технике журнал. Утверждение звучит так: «В традиционной архитектуре фон Неймана мощное логическое ядро ​​(или несколько параллельно) работает последовательно с данными, извлеченными из памяти. Напротив, «нейроморфные» вычисления распределяют как вычисления, так и память между огромным количеством относительно примитивных «нейронов», каждый из которых общается с сотнями или тысячами других нейронов через «синапсы».  

Другие ключевые особенности нейроморфных вычислений включают отказоустойчивость, целью которой является моделирование способности человеческого мозга терять нейроны и при этом продолжать функционировать. Аналогично, в традиционных вычислениях потеря одного транзистора влияет на нормальное функционирование. Еще одно предполагаемое преимущество нейроморфных вычислений заключается в том, что их не нужно программировать; эта последняя цель снова моделирует способность человеческого мозга учиться, реагировать и адаптироваться к сигналам. Таким образом, нейроморфные вычисления в настоящее время являются лучшим кандидатом для задач машинного обучения и искусственного интеллекта. 

Достижения нейроморфных суперкомпьютеров

Оставшаяся часть этой статьи будет посвящена достижениям в области нейроморфных суперкомпьютеров. В частности, недавно опубликованное исследование Arxiv от Alexander Tait et. др. из Принстонского университета показывает, что модель фотонной нейронной сети на основе кремния превосходит традиционный вычислительный подход почти в 2000 раз. Эта нейроморфная фотонная вычислительная платформа может привести к сверхбыстрой обработке информации. 

Тейт и др. др. статья под названием Нейроморфная кремниевая фотоника начинается с описания плюсов и минусов использования фотонной световой формы электромагнитного излучения для вычислений. Первоначальные основные положения статьи заключаются в том, что свет широко использовался для передачи информации, но не для преобразования информации, т.е. для цифровых оптических вычислений. Аналогично квантовым вычислениям, перед цифровыми оптическими вычислениями стоят фундаментальные физические проблемы. Затем в статье подробно рассматриваются ранее предложенная платформа нейроморфных фотонных вычислений Tait et. др. команда, опубликованная в 2014 году под названием Вещание и вес: интегрированная сеть для масштабируемой обработки фотонных пиков. Их новая статья описывает результаты первой экспериментальной демонстрации интегрированной фотонной нейронной сети. 

В вычислительной архитектуре «вещания и веса» «узлам» назначается уникальная «несущая длина волны», которая является «мультиплексированной с разделением по длине волны (WDM)», а затем передается на другие «узлы». «Узлы» в этой архитектуре предназначены для имитации поведения нейронов в человеческом мозгу. Затем сигналы «WDM» обрабатываются с помощью фильтров с непрерывными значениями, называемых «банками весов микрокольца (MRR)», а затем электрически суммируются в измеренное значение обнаружения полной мощности. Нелинейность этого последнего электрооптического преобразования/вычисления как раз и есть нелинейность, необходимая для имитации функциональности нейронов, необходимой для вычислений по нейроморфным принципам. 

В статье они обсуждают, что эта экспериментально подтвержденная динамика электрооптических преобразований математически идентична модели «двухузловой рекуррентной нейронной сети с непрерывным временем» (CTRNN). Эти новаторские результаты предполагают, что инструменты программирования, которые использовались для моделей CTRNN, могут быть применены к нейроморфным платформам на основе кремния. Это открытие открывает путь к адаптации методологии CTRNN к нейроморфной кремниевой фотонике. В своей статье они делают именно такую ​​адаптацию модели к своей архитектуре «вещания и веса». Результаты показывают, что модель CTRNN, смоделированная на их 2-узловой архитектуре, позволяет архитектуре нейроморфных вычислений превосходить классические вычислительные модели на 49 порядка.