Supercomputing-vooruitgang: gebruik van neuromorfe optische netwerken

In de afgelopen decennia is de eens zo bekende en accurate trend, de Wet van Moore, voorspeld door Gordon Moore van IBM in 1965, nu langzaamaan een ter ziele gegane maatstaf voor computerprestaties aan het worden. De wet van Moore voorspelde dat ongeveer elke twee jaar het aantal transistors in een geïntegreerde schakeling zou verdubbelen, dat er meer transistors in dezelfde hoeveelheid ruimte zouden zijn, wat zou leiden tot meer rekenkracht en dus computerprestaties. In april 2005 verklaarde Gordon Moore zelf in een interview dat zijn projectie waarschijnlijk niet langer houdbaar zou zijn: “In termen van grootte [van transistors] kun je zien dat we de grootte van atomen naderen, wat een fundamentele barrière vormt, maar het het zal nog twee of drie generaties duren voordat we zover zijn - maar dat is zo ver weg als we ooit hebben kunnen zien. We hebben nog 10 tot 20 jaar voordat we een fundamentele limiet bereiken.”   

Hoewel de wet van Moore gedoemd is om op een doodlopende weg te eindigen, zien andere indicatoren van informatica een toename in toepasbaarheid. Met de technologie die we in ons dagelijks leven gebruiken, kunnen we allemaal de trends zien dat computers steeds kleiner worden, maar ook dat de batterijen van apparaten steeds langer meegaan. De laatste trend met batterijen wordt de wet van Koomey genoemd, genoemd naar Stanford University-professor Jonathan Koomey. De wet van Koomey voorspelt dat "... bij een vaste computerbelasting, de hoeveelheid batterij die je nodig hebt elk anderhalf jaar met een factor twee zal afnemen." Daarom verdubbelt het elektronische stroomverbruik of de energie-efficiëntie van computers ongeveer elke 18 maanden. Dus waar al deze trends en veranderingen op wijzen en onthullend is, is de toekomst van computers.

De toekomst van computers

We zijn op een moment in de geschiedenis gekomen dat we computers opnieuw moeten definiëren, omdat de trends en wetten die enkele decennia geleden werden voorspeld, niet langer van toepassing zijn. En terwijl de computertechnologie steeds dichter bij de nano- en kwantumschaal komt, zijn er duidelijke fysieke beperkingen en uitdagingen die moeten worden overwonnen. Misschien wel de meest opmerkelijke poging tot supercomputing, quantum computing, heeft de voor de hand liggende uitdaging om kwantumverstrengeling echt te benutten voor parallelle berekeningen, dat wil zeggen, berekeningen uitvoeren vóór kwantumdecoherentie. Ondanks de uitdagingen van quantum computing is er de afgelopen decennia echter veel vooruitgang geboekt. Men kan modellen vinden van de traditionele computerarchitectuur van John von Neumann die wordt toegepast op kwantumcomputing. Maar er is nog een niet zo bekend gebied van (super)computing, genaamd neuromorphic computing, dat niet de traditionele von Neumann-architectuur volgt. 

Neuromorphic computing werd bedacht door Caltech-professor Carver Mead in zijn baanbrekende paper in 1990. Fundamenteel zijn de principes van neuromorphic computing gebaseerd op theoretische biologische principes van actie, zoals die waarvan wordt aangenomen dat ze door het menselijk brein worden gebruikt bij berekeningen. Een beknopt onderscheid tussen de neuromorfische computertheorie en de klassieke von Neumann-computertheorie werd samengevat in een artikel van Don Monroe in de Vereniging voor computerapparatuur logboek. De verklaring luidt als volgt: “In de traditionele von Neumann-architectuur werkt een krachtige logische kern (of meerdere parallelle kernen) achtereenvolgens op gegevens die uit het geheugen worden opgehaald. Daarentegen verdeelt 'neuromorfisch' computergebruik zowel rekenkracht als geheugen over een enorm aantal relatief primitieve 'neuronen', die elk communiceren met honderden of duizenden andere neuronen via 'synapsen'.”  

Andere belangrijke kenmerken van neuromorphic computing zijn onder meer foutintolerantie, die tot doel heeft het vermogen van het menselijk brein om neuronen te verliezen te modelleren en toch te kunnen functioneren. Op analoge wijze beïnvloedt bij traditioneel computergebruik het verlies van één transistor de goede werking. Een ander voorzien en gericht voordeel van neuromorphic computing is dat er niet geprogrammeerd hoeft te worden; dit laatste doel is opnieuw het modelleren van het vermogen van het menselijk brein om te leren, te reageren en zich aan te passen aan signalen. Daarom is neuromorphic computing momenteel de beste kandidaat voor taken op het gebied van machine learning en kunstmatige intelligentie. 

Vooruitgang van neuromorfe supercomputing

De rest van dit artikel gaat dieper in op de vorderingen van neuromorfe supercomputing. Met name recent gepubliceerd onderzoek naar de Arxiv van Alexander Tait et. al. van Princeton University laat zien dat een op silicium gebaseerd fotonisch neuraal netwerkmodel bijna 2000 keer beter presteert dan een conventionele computerbenadering. Dit neuromorfe fotonische computerplatform zou kunnen leiden tot ultrasnelle informatieverwerking. 

De Tait et. al. papier getiteld Neuromorfe Silicium Fotonica begint met het beschrijven van de voor- en nadelen van het gebruik van de fotonische lichtvorm van elektromagnetische straling voor computers. De eerste hoofdpunten van het artikel zijn dat licht op grote schaal is gebruikt voor informatietransmissie, maar niet voor informatietransformatie, dwz digitale optische computers. Evenzo zijn er bij kwantumcomputing fundamentele fysieke uitdagingen voor digitaal optisch computergebruik. Het artikel gaat vervolgens in op de details van een eerder voorgesteld neuromorfisch fotonisch computerplatform, de Tait et. al. team gepubliceerd in 2014, getiteld Uitzending en gewicht: een geïntegreerd netwerk voor schaalbare verwerking van fotonische pieken. Hun nieuwere paper beschrijft de resultaten van de eerste experimentele demonstratie van een geïntegreerd fotonisch neuraal netwerk. 

In de "broadcast and weight" computerarchitectuur krijgen de "nodes" een unieke "golflengtedrager" toegewezen die "wavelength division multiplexed (WDM)" is en vervolgens wordt uitgezonden naar andere "nodes". De "knooppunten" in deze architectuur zijn bedoeld om neurongedrag in het menselijk brein te simuleren. Vervolgens worden "WDM" -signalen verwerkt via filters met continue waarde, "microring (MRR) -gewichtbanken" genoemd, en vervolgens elektrisch opgeteld tot een gemeten totale vermogensdetectiewaarde. De niet-lineariteit van deze laatste elektro-optische transformatie/berekening is precies de niet-lineariteit die nodig is om neuronfunctionaliteit na te bootsen, essentieel voor computergebruik volgens neuromorfische principes. 

In de paper bespreken ze dat deze experimenteel geverifieerde elektro-optische transformatiedynamiek wiskundig identiek is aan een "2-node continuous-time recurrent neuraal netwerk" (CTRNN) -model. Deze baanbrekende resultaten suggereren dat programmeertools die zijn gebruikt voor CTRNN-modellen kunnen worden toegepast op op silicium gebaseerde neuromorfische platforms. Deze ontdekking opent de weg om de CTRNN-methodologie aan te passen aan neuromorfe siliciumfotonica. In hun paper doen ze precies zo'n modelaanpassing aan hun 'broadcast and weight'-architectuur. De resultaten laten zien dat het CTRNN-model, gesimuleerd op hun architectuur met 49 knooppunten, de neuromorfe computerarchitectuur oplevert die drie ordes van grootte beter presteert dan klassieke computermodellen.