Досягнення суперкомп’ютерів: використання нейроморфних оптичних мереж

За останні кілька десятиліть колись добре відома і точна тенденція, закон Мура, передбачена Гордоном Муром з IBM у 1965 році, тепер поступово стає неіснуючим показником продуктивності обчислень. Закон Мура передбачив, що приблизно кожні два роки кількість транзисторів в інтегральній схемі буде подвоюватися, що буде більше транзисторів у тому самому просторі, що призведе до збільшення обчислень і, отже, до продуктивності комп’ютера. У квітні 2005 року в інтерв’ю Гордон Мур сам заявив, що його прогноз, ймовірно, більше не буде стійким: «З точки зору розміру [транзисторів] ви бачите, що ми наближаємося до розміру атома, який є фундаментальним бар’єром, але це мине два чи три покоління, перш ніж ми зайдемо так далеко, але це так далеко, як ми коли-небудь могли бачити. У нас є ще 10-20 років, перш ніж ми досягнемо фундаментальної межі».   

Незважаючи на те, що закон Мура приречений зайти в глухий кут, інші індикатори обчислювальної техніки стають все більш застосовними. Завдяки технологіям, які ми використовуємо у повсякденному житті, ми всі бачимо тенденції зменшення розмірів комп’ютерів, а також те, що батареї пристроїв працюють усе довше. Остання тенденція щодо акумуляторів називається законом Кумі, названим на честь професора Стенфордського університету Джонатана Кумі. Закон Кумі передбачає, що «… при фіксованому обчислювальному навантаженні необхідний обсяг акумулятора буде зменшуватися в два рази кожні півтора року». Таким чином, електронне енергоспоживання або енергоефективність комп’ютерів подвоюється приблизно кожні 18 місяців. Отже, те, на що вказують і розкривають усі ці тенденції та зміни, — це майбутнє обчислювальної техніки.

Майбутнє обчислювальної техніки

Ми настали в історичний період, коли нам доводиться переосмислювати обчислення, оскільки тенденції та закони, передбачені кілька десятиліть тому, більше не застосовуються. Крім того, оскільки обчислення просуваються до нано- та квантових масштабів, існують очевидні фізичні обмеження та проблеми, які потрібно подолати. Можливо, найпомітніша спроба суперкомп’ютерів, квантові обчислення, має очевидну проблему справжнього використання квантової заплутаності для паралельних обчислень, тобто виконання обчислень до квантової декогеренції. Однак, незважаючи на виклики квантових обчислень, за останні кілька десятиліть було досягнуто значного прогресу. Можна знайти моделі традиційної комп’ютерної архітектури Джона фон Неймана, застосовані до квантових обчислень. Але є ще одна не дуже відома сфера (супер)обчислень, яка називається нейроморфними обчисленнями, яка не відповідає традиційній архітектурі фон Неймана. 

Нейроморфні обчислення були передбачені професором Каліфорнійського технологічного інституту Карвером Мідом ще в його основоположній статті в 1990 році. Загалом, принципи нейроморфних обчислень базуються на теоретичних біологічних принципах дії, подібних до тих, які, як вважають, використовує людський мозок під час обчислень. Коротке розходження між нейроморфною теорією обчислень і класичною теорією обчислень фон Неймана було підсумовано в статті Дона Монро в Асоціація обчислювальної техніки журнал. Заява звучить так: «У традиційній архітектурі фон Неймана потужне логічне ядро ​​(або декілька паралельно) працює послідовно з даними, отриманими з пам’яті. Навпаки, «нейроморфні» обчислення розподіляють і обчислення, і пам’ять серед величезної кількості відносно примітивних «нейронів», кожен з яких спілкується із сотнями або тисячами інших нейронів через «синапси».  

Інші ключові особливості нейроморфних обчислень включають нетерпимість до помилок, яка спрямована на моделювання здатності людського мозку втрачати нейрони і залишатися здатним функціонувати. Аналогічно, у традиційних обчисленнях втрата одного транзистора впливає на належне функціонування. Ще одна передбачувана та цілеспрямована перевага нейроморфних обчислень полягає в тому, що немає необхідності програмувати; ця остання мета знову моделює здатність людського мозку навчатися, реагувати та адаптуватися до сигналів. Таким чином, нейроморфні обчислення наразі є найкращим кандидатом для завдань машинного навчання та штучного інтелекту. 

Досягнення нейроморфних суперкомп’ютерів

У решті цієї статті буде розглянуто досягнення нейроморфних суперкомп’ютерів. Зокрема, нещодавно опубліковане дослідження Arxiv від Alexander Tait et. al. Прінстонського університету показує, що модель фотонної нейронної мережі на основі кремнію перевершує звичайний обчислювальний підхід майже у 2000 разів. Ця нейроморфна фотонна платформа обчислень може призвести до надшвидкої обробки інформації. 

Tait et. al. стаття під назвою Фотоніка нейроморфного кремнію починається з опису переваг і недоліків використання форми фотонного світла електромагнітного випромінювання для обчислень. Початкові основні положення статті полягають у тому, що світло широко використовується для передачі інформації, але не для перетворення інформації, тобто цифрових оптичних обчислень. Подібно до квантових обчислень існують фундаментальні фізичні проблеми для цифрових оптичних обчислень. Далі в статті розглядаються деталі запропонованої раніше нейроморфної фотонної обчислювальної платформи Tait et. al. колектив опублікував у 2014 р. під заг Трансляція та вага: інтегрована мережа для масштабованої обробки фотонних спайків. Їхня нова стаття описує результати першої експериментальної демонстрації інтегрованої фотонної нейронної мережі. 

В обчислювальній архітектурі «широкомовлення та ваги» «вузлам» призначається унікальна «несуча довжини хвилі», яка є «мультиплексованою за довжиною хвилі (WDM)», а потім транслюється на інші «вузли». «Вузли» в цій архітектурі призначені для імітації поведінки нейронів у людському мозку. Потім сигнали «WDM» обробляються за допомогою фільтрів безперервного значення, які називаються «мікрокільцевими (MRR) ваговими банками», а потім електрично підсумовуються в виміряне значення загальної потужності виявлення. Нелінійність цього останнього електрооптичного перетворення/обчислення є саме нелінійністю, необхідною для імітації функціональності нейрона, важливої ​​для обчислення за нейроморфними принципами. 

У статті вони обговорюють, що ця експериментально перевірена динаміка електрооптичних перетворень математично ідентична моделі «2-вузлової рекурентної нейронної мережі безперервного часу» (CTRNN). Ці піонерські результати свідчать про те, що інструменти програмування, які використовувалися для моделей CTRNN, можуть бути застосовані до нейроморфних платформ на основі кремнію. Це відкриття відкриває шлях до адаптації методології CTRNN до нейроморфної кремнієвої фотоніки. У своїй статті вони роблять саме таку адаптацію моделі до своєї архітектури «трансляції та ваги». Результати показують, що модель CTRNN, змодельована на їх 49-вузловій архітектурі, забезпечує нейроморфну ​​обчислювальну архітектуру, яка перевершує класичні обчислювальні моделі на 3 порядки.