NTT en de Universiteit van Tokio ontwikkelen 's werelds eerste optische computer-AI met behulp van een algoritme dat is geïnspireerd op het menselijk brein

Samenwerking bevordert de praktische toepassing van low-power, high-speed AI op basis van optische computing

TOKYO– (BUSINESS WIRE) -#TechforGood-NTT-bedrijf (President en CEO: Akira Shimada, “NTT”) en de Universiteit van Tokyo (Bunkyo-ku, Tokio, voorzitter: Teruo Fujii) hebben een nieuw leeralgoritme ontwikkeld, geïnspireerd op de informatieverwerking van de hersenen, dat geschikt is voor meerlagige kunstmatige neurale netwerken (DNN) met behulp van analoge bewerkingen. Deze doorbraak zal leiden tot een vermindering van het stroomverbruik en de rekentijd voor AI. De resultaten van deze ontwikkeling zijn gepubliceerd in het Britse wetenschappelijke tijdschrift Nature Communications Op december 26^th.

Onderzoekers bereikten 's werelds eerste demonstratie van efficiënt uitgevoerd optisch DNN-leren door het algoritme toe te passen op een DNN die optische analoge berekeningen gebruikt, wat naar verwachting apparaten voor machine learning met hoge snelheid en laag vermogen mogelijk zal maken. Bovendien hebben ze 's werelds hoogste prestatie bereikt van een meerlagig kunstmatig neuraal netwerk dat analoge operaties gebruikt.

In het verleden werden zware leerberekeningen uitgevoerd door digitale berekeningen, maar dit resultaat bewijst dat het mogelijk is om de efficiëntie van het leergedeelte te verbeteren door analoge berekeningen te gebruiken. In Deep Neural Network (DNN) -technologie wordt een terugkerend neuraal netwerk, deep reservoir computing genaamd, berekend door een optische puls aan te nemen als een neuron en een niet-lineaire optische ring als een neuraal netwerk met recursieve verbindingen. Door het uitgangssignaal opnieuw in hetzelfde optische circuit in te voeren, wordt het netwerk kunstmatig verdiept.

DNN-technologie maakt geavanceerde kunstmatige intelligentie (AI) mogelijk, zoals machinevertaling, autonoom rijden en robotica. Momenteel neemt het benodigde vermogen en de benodigde rekentijd toe met een snelheid die de groei van de prestaties van digitale computers overtreft. DNN-technologie, die analoge signaalberekeningen (analoge bewerkingen) gebruikt, zal naar verwachting een methode zijn om zeer efficiënte en snelle berekeningen te realiseren, vergelijkbaar met het neurale netwerk van de hersenen. De samenwerking tussen NTT en de Universiteit van Tokio heeft een nieuw algoritme ontwikkeld dat geschikt is voor een analoge operatie DNN die niet uitgaat van begrip van de leerparameters die zijn opgenomen in de DNN.

De voorgestelde methode leert door de leerparameters te wijzigen op basis van de laatste laag van het netwerk en de niet-lineaire willekeurige transformatie van de fout van het gewenste uitgangssignaal (foutsignaal). Deze berekening maakt het gemakkelijker om analoge berekeningen te implementeren in zaken als optische circuits. Het kan ook niet alleen worden gebruikt als model voor fysieke implementatie, maar ook als een geavanceerd model dat wordt gebruikt in toepassingen zoals machinevertaling en verschillende AI-modellen, waaronder het DNN-model. Dit onderzoek zal naar verwachting bijdragen aan het oplossen van opkomende problemen in verband met AI-computing, waaronder stroomverbruik en verhoogde rekentijd.

Naast het onderzoeken van de toepasbaarheid van de in dit document voorgestelde methode op specifieke problemen, zal NTT ook grootschalige en kleinschalige integratie van optische hardware bevorderen, met als doel een snel, energiezuinig optisch computerplatform tot stand te brengen voor toekomstige optische systemen. netwerken.

Ondersteuning voor dit onderzoek:

JST/CREST ondersteunde een deel van deze onderzoeksresultaten.

Tijdschriftpublicatie:

Magazine: Nature Communications (Online versie: 26 december)

Artikeltitel: Fysiek diep leren met biologisch geïnspireerde trainingsmethode: gradiëntvrije benadering voor fysieke hardware

Auteurs: Mitsumasa Nakajima, Katsuma Inoue, Kenji Tanaka, Yasuo Kuniyoshi, Toshikazu Hashimoto en Kohei Nakajima

Uitleg van terminologie:

1. Optisch circuit: een circuit waarin optische golfgeleiders van silicium of kwarts zijn geïntegreerd op een siliciumwafel met behulp van technologie voor het vervaardigen van elektronische circuits. Bij communicatie wordt het vertakken en samenvoegen van optische communicatiepaden uitgevoerd door optische interferentie, golflengtemultiplexing/demultiplexing en dergelijke.
2. Backpropagation (BP) -methode: het meest gebruikte leeralgoritme bij diep leren. Gradiënten van gewichten (parameters) in het netwerk worden verkregen terwijl het foutsignaal achterwaarts wordt doorgegeven, en de gewichten worden bijgewerkt zodat de fout kleiner wordt. Aangezien het backpropagation-proces omzetting van de gewichtsmatrix van het netwerkmodel en niet-lineaire differentiatie vereist, is het moeilijk te implementeren op analoge circuits, inclusief de hersenen van een levend organisme.
3. Analog computing: een computer die echte waarden uitdrukt gebruikt fysieke grootheden zoals de intensiteit en fase van licht en de richting en intensiteit van magnetische spins en voert berekeningen uit door deze fysieke grootheden te veranderen volgens de wetten van de natuurkunde.
4. Direct Feedback Alignment (DFA)-methode: een methode voor het pseudoberekenen van het foutsignaal van elke laag door een niet-lineaire willekeurige transformatie uit te voeren op het foutsignaal van de laatste laag. Aangezien het geen differentiële informatie van het netwerkmodel vereist en alleen kan worden berekend door parallelle willekeurige transformatie, is het compatibel met analoge berekening.
5. Reservoir computing: een type terugkerend neuraal netwerk met terugkerende verbindingen in de verborgen laag. Het wordt gekenmerkt door het willekeurig bevestigen van verbindingen in een tussenlaag die een reservoirlaag wordt genoemd. Bij deep reservoir computing wordt informatieverwerking uitgevoerd door reservoirlagen in meerdere lagen met elkaar te verbinden.

NTT en het NTT-logo zijn gedeponeerde handelsmerken of handelsmerken van NIPPON TELEGRAPH AND TELEPHONE CORPORATION en/of haar dochterondernemingen. Alle andere productnamen waarnaar wordt verwezen, zijn handelsmerken van hun respectieve eigenaars. © 2023 NIPPON TELEGRAPH AND TELEPHONE CORPORATION

Contacten

Stephan Russel

Wireside-communicatie®

Voor NTT

+ 1-804-362-7484

[e-mail beveiligd]