Fortschritte im Supercomputing: Verwendung neuromorpher optischer Netzwerke

In den letzten Jahrzehnten hat sich der einst bekannte und zutreffende Trend, das Mooresche Gesetz, das 1965 von Gordon Moore von IBM vorhergesagt wurde, langsam zu einem nicht mehr gültigen Maß für die Rechenleistung entwickelt. Moores Gesetz sagte voraus, dass sich die Anzahl der Transistoren in einem integrierten Schaltkreis etwa alle zwei Jahre verdoppeln würde, dass sich mehr Transistoren auf der gleichen Fläche befinden würden, was zu einer höheren Rechenleistung und damit zu einer höheren Computerleistung führen würde. Im April 2005 erklärte Gordon Moore selbst in einem Interview, dass seine Prognose wahrscheinlich nicht länger haltbar sein würde: „Anhand der Größe [der Transistoren] können Sie sehen, dass wir uns der Größe von Atomen nähern, was ein grundlegendes Hindernis darstellt, aber es Es wird zwei oder drei Generationen dauern, bis wir so weit sind – aber das ist so weit entfernt, wie wir jemals sehen konnten. Wir haben noch 10 bis 20 Jahre Zeit, bis wir eine fundamentale Grenze erreichen.“   

Obwohl das Mooresche Gesetz dazu verdammt ist, in eine Sackgasse zu geraten, verzeichnen andere Indikatoren der Informatik eine zunehmende Anwendbarkeit. Bei der Technologie, die wir in unserem täglichen Leben verwenden, können wir alle den Trend erkennen, dass Computer immer kleiner werden, aber auch, dass Gerätebatterien immer länger halten. Der letztere Trend bei Batterien wird als Koomey-Gesetz bezeichnet, benannt nach Jonathan Koomey, Professor an der Stanford University. Das Gesetz von Koomey sagt voraus, dass „… bei einer festen Rechenlast die benötigte Batteriemenge alle anderthalb Jahre um den Faktor zwei sinkt.“ Daher verdoppelt sich der elektronische Stromverbrauch bzw. die Energieeffizienz von Computern etwa alle 18 Monate. All diese Trends und Veränderungen deuten also auf die Zukunft der Datenverarbeitung hin und offenbaren sie.

Die Zukunft des Rechnens

Wir sind an einem Punkt in der Geschichte angelangt, an dem wir die Informatik neu definieren müssen, da die vor mehreren Jahrzehnten vorhergesagten Trends und Gesetze nicht mehr anwendbar sind. Da sich die Datenverarbeitung immer weiter in Richtung Nano- und Quantenskala bewegt, müssen außerdem offensichtliche physikalische Einschränkungen und Herausforderungen bewältigt werden. Der vielleicht bemerkenswerteste Versuch des Supercomputings, das Quantencomputing, steht vor der offensichtlichen Herausforderung, die Quantenverschränkung tatsächlich für parallele Berechnungen zu nutzen, d. h. Berechnungen vor der Quantendekohärenz durchzuführen. Doch trotz der Herausforderungen des Quantencomputings gab es in den letzten Jahrzehnten große Fortschritte. Man findet Modelle der traditionellen John-von-Neumann-Computerarchitektur, die auf Quantencomputer angewendet werden. Aber es gibt noch einen anderen, nicht so bekannten Bereich des (Super-)Computings, das sogenannte neuromorphe Computing, das nicht der traditionellen von Neumann-Architektur folgt. 

Neuromorphic Computing wurde 1990 von Caltech-Professor Carver Mead in seiner wegweisenden Arbeit vorgestellt. Im Wesentlichen basieren die Prinzipien des neuromorphen Computings auf theoretisierten biologischen Wirkprinzipien, wie sie vermutlich vom menschlichen Gehirn bei der Berechnung genutzt werden. Eine prägnante Unterscheidung zwischen der neuromorphen Computertheorie und der klassischen von Neumann-Computertheorie wurde in einem Artikel von Don Monroe in zusammengefasst Verband für Rechenmaschinen Tagebuch. Die Aussage lautet wie folgt: „In der traditionellen von Neumann-Architektur arbeitet ein leistungsstarker Logikkern (oder mehrere parallel) sequentiell mit den aus dem Speicher abgerufenen Daten. Im Gegensatz dazu verteilt das ‚neuromorphe‘ Computing sowohl die Berechnung als auch den Speicher auf eine enorme Anzahl relativ primitiver ‚Neuronen‘, die jeweils über ‚Synapsen‘ mit Hunderten oder Tausenden anderer Neuronen kommunizieren.“  

Zu den weiteren Schlüsselmerkmalen des neuromorphen Computing gehört die Fehlerintoleranz, die darauf abzielt, die Fähigkeit des menschlichen Gehirns zu modellieren, Neuronen zu verlieren und trotzdem funktionsfähig zu sein. Analog dazu wirkt sich beim herkömmlichen Rechnen der Verlust eines Transistors auf die ordnungsgemäße Funktion aus. Ein weiterer geplanter und angestrebter Vorteil des neuromorphen Computing besteht darin, dass keine Programmierung erforderlich ist. Dieses letzte Ziel besteht erneut darin, die Fähigkeit des menschlichen Gehirns zu modellieren, Signale zu lernen, zu reagieren und sich an sie anzupassen. Daher ist neuromorphes Computing derzeit der beste Kandidat für Aufgaben des maschinellen Lernens und der künstlichen Intelligenz. 

Fortschritte des neuromorphen Supercomputings

Der Rest dieses Artikels befasst sich mit den Fortschritten des neuromorphen Supercomputings. Insbesondere kürzlich veröffentlichte Forschungsergebnisse zum Arxiv von Alexander Tait et. al. von der Princeton University zeigt, dass ein siliziumbasiertes photonisches neuronales Netzwerkmodell einen herkömmlichen Computeransatz um fast das 2000-fache übertrifft. Diese neuromorphe photonische Computerplattform könnte zu einer ultraschnellen Informationsverarbeitung führen. 

Die Tait et. al. Papier mit dem Titel Neuromorphe Siliziumphotonik Zunächst werden die Vor- und Nachteile der Verwendung der photonischen Lichtform elektromagnetischer Strahlung für Computer beschrieben. Die ersten Hauptpunkte des Papiers sind, dass Licht in großem Umfang zur Informationsübertragung, jedoch nicht zur Informationstransformation, d. h. zum digitalen optischen Rechnen, verwendet wird. Ähnlich wie beim Quantencomputing gibt es auch beim digitalen optischen Computing grundlegende physikalische Herausforderungen. Der Artikel geht dann auf die Details einer früher vorgeschlagenen neuromorphen photonischen Computerplattform von Tait et al. ein. al. Team veröffentlicht im Jahr 2014 mit dem Titel Ausstrahlung und Gewicht: Ein integriertes Netzwerk für die skalierbare Verarbeitung photonischer Spitzen. Ihr neueres Papier beschreibt die Ergebnisse der ersten experimentellen Demonstration eines integrierten photonischen neuronalen Netzwerks. 

In der „Broadcast and Weight“-Rechenarchitektur wird den „Knoten“ ein eindeutiger „Wellenlängenträger“ zugewiesen, der „Wellenlängenmultiplex (WDM)“ ist und dann an andere „Knoten“ gesendet wird. Die „Knoten“ in dieser Architektur sollen das Verhalten von Neuronen im menschlichen Gehirn simulieren. Anschließend werden „WDM“-Signale über Filter mit kontinuierlichem Wert, sogenannte „Microring (MRR)-Gewichtsbänke“, verarbeitet und dann elektrisch zu einem gemessenen Gesamtleistungserkennungswert summiert. Die Nichtlinearität dieser letzten elektrooptischen Transformation/Berechnung ist genau die Nichtlinearität, die zur Nachahmung der Neuronenfunktionalität erforderlich ist und für die Berechnung nach neuromorphen Prinzipien wesentlich ist. 

In der Arbeit diskutieren sie, dass diese experimentell verifizierte elektrooptische Transformationsdynamik mathematisch identisch mit einem „2-Knoten-kontinuierlichen-zeitlich wiederkehrenden neuronalen Netzwerk“ (CTRNN)-Modell ist. Diese bahnbrechenden Ergebnisse legen nahe, dass Programmierwerkzeuge, die für CTRNN-Modelle verwendet wurden, auf siliziumbasierte neuromorphe Plattformen angewendet werden könnten. Diese Entdeckung eröffnet den Weg zur Anpassung der CTRNN-Methodik an die neuromorphe Siliziumphotonik. In ihrer Arbeit führen sie eine solche Modelladaption ihrer „Broadcast and Weight“-Architektur durch. Die Ergebnisse zeigen, dass das auf ihrer 49-Knoten-Architektur simulierte CTRNN-Modell zu einer neuromorphen Computerarchitektur führt, die klassische Computermodelle um drei Größenordnungen übertrifft.