Analog maskininlärningshårdvara erbjuder ett lovande alternativ till digitala motsvarigheter som en mer energieffektiv och snabbare plattform. Vågfysik baserad på akustik och optik är en naturlig kandidat för att bygga analoga processorer för tidsvarierande signaler. I en ny rapport om Vetenskapliga framsteg Tyler W. Hughes och ett forskargrupp vid institutionerna för tillämpad fysik och elektroteknik vid Stanford University, Kalifornien, identifierad kartläggning mellan dynamiken i vågfysik och beräkning i återkommande neurala nätverk.

Kartan indikerade möjligheten att träna fysiska vågsystem för att lära sig komplexa funktioner i tidsdata med hjälp av standardträningstekniker som används för neurala nätverk. Som principbevis, de demonstrerade en omvänd designad, inhomogent medium för att utföra engelsk vokalklassificering baserat på råa ljudsignaler när deras vågformer sprids och sprids genom det. Forskarna uppnådde prestanda som är jämförbar med en vanlig digital implementering av ett återkommande neuralt nätverk. Resultaten kommer att bana väg för en ny klass av analoga maskininlärningsplattformar för snabb och effektiv informationsbehandling inom dess inhemska domän.

Det återkommande neurala nätverket (RNN) är en viktig maskininlärningsmodell som ofta används för att utföra uppgifter, inklusive bearbetning av naturligt språk och förutsägelse av tidsserier. Teamet utbildade vågbaserade fysiska system för att fungera som ett RNN och passivt bearbeta signaler och information i sin inhemska domän utan analog-till-digital konvertering. Arbetet resulterade i en betydande hastighetsökning och minskad strömförbrukning. I den nuvarande ramen, istället för att implementera kretsar för att avsiktligt leda signaler tillbaka till ingången, återkommande förhållande inträffade naturligt i fysikens tidsdynamik. Enheten gav minneskapacitet för informationsbehandling baserat på vågorna när de spridit sig genom rymden.

Ekvivalens mellan vågdynamik och ett RNN

För att visa ekvivalensen mellan vågdynamik och ett RNN, Hughes et al. introducerade funktionen för ett RNN och dess koppling till vågdynamik. Till exempel, en RNN kan omvandla en sekvens av ingångar till en sekvens av utgångar genom att tillämpa samma grundläggande operation på varje ingångssekvenselement i en stegvis process. RNN:s dolda tillstånd kommer sedan att koda minnet från tidigare steg som ska uppdateras vid varje steg. De dolda tillstånden kan behålla minnet av tidigare information och lära sig tidsstruktur och långdistansberoenden i data.

Vid ett givet steg, som ett exempel, RNN kan fungera på den aktuella ingångsvektorn i sekvensen (x _t ) och den dolda tillståndsvektorn från föregående steg (h _{t - 1} ), för att producera en utgångsvektor (y _t ) och ett uppdaterat dolt tillstånd (h _t ). Medan många varianter av RNN finns, Hughes et al. implementerat en gemensamt införlivad strategi i det nuvarande arbetet. Forskargruppen observerade ett olinjärt svar, som vanligtvis förekommer i en mängd olika vågfysiker, inklusive grunda vattenvågor, olinjära optiska material (studie av intensivt laserljus med materia) och akustiskt i mjuka material och bubbliga vätskor. Vid numerisk modellering på diskret tid, vågekvationen definierade en operation som mappades in i den för ett RNN.

Träna ett fysiskt system för att klassificera vokaler

Teamet demonstrerade sedan hur vågekvationsdynamiken kunde tränas för att klassificera vokaler genom att konstruera en inhomogen materialfördelning. För detta, de använde en dataset med 930 råa ljudinspelningar av 10 vokalklasser från 45 olika manliga högtalare och 48 olika kvinnliga högtalare. För inlärningsuppgiften, Hugh et al. valde en delmängd av 279 inspelningar motsvarande tre vokalklasser representerade av vokalljuden "ae, "" ei "och" iy, "i förhållande till deras användning i orden" hade, "" hayed "och" heed. "Den fysiska utformningen av vokaligenkänningssystemet innehöll en tvådimensionell domän i xy-planet och utsträckt oändligt i z-riktningen. De injicerade ljudvågformen för varje vokal via en källa på en enda rutnätcell på vänster sida av domänen för att avge vågformer för att föröka sig genom ett centralt område med en träningsbar fördelning av våghastigheten. De definierade tre sonder på höger sida av regionen och tilldelade var och en till en av de tre vokalklasserna Hugh et al. Mättes sedan den tidsintegrerade effekten vid varje sond för att bestämma systemets effekt.

Simuleringen utvecklades under hela vokalinspelningens varaktighet och teamet inkluderade ett absorberande gränsområde representerat av en mörkgrå region för att förhindra att energi byggs upp inom beräkningsdomänen. Våghastigheterna kan modifieras för att motsvara olika material i praktiken. I en akustisk miljö, till exempel, om materialfördelningen bestod av luft, ljudhastigheten var 331 m/s, medan poröst silikongummi utgjorde en ljudhastighet på 150 m/s. Valet av startstruktur tillät dem att flytta optimeraren mot något av de två materialen, att producera en binär struktur som endast innehåller ett av de två materialen. Hughes et al. tränade systemet genom att utföra back-propagation genom modellen för vågekvationen, i ett tillvägagångssätt matematiskt ekvivalent med den angränsande metoden som ofta används för omvänd design. Med denna designinformation, de uppdaterade materialtätheten via Adam -optimeringsalgoritmen, upprepas tills konvergens på en slutlig struktur.

Visualisera prestanda

Forskarna använde en förvirringsmatris för att visualisera prestandan över tränings- och testuppsättningarna för startstrukturerna, i genomsnitt över fem korsvaliderade träningspass. Förvirringsmatrisen definierade andelen korrekt förutsagda vokaler längs dess diagonala poster och andelen felaktigt förutsagda vokaler för varje klass i dess off-diagonalposter. De diagonalt dominerande utbildade förvirringsmatriserna indikerade att strukturen verkligen kunde utföra vokaligenkänning. Hughes et al. noterade korsentropiförlustvärdet och prediktionsnoggrannheten som en funktion av träningsepoken på test- och träningsdatauppsättningarna.

Den första epoken resulterade i den största minskningen av förlustfunktionen och den största vinsten i förutsägelsens noggrannhet, med en genomsnittlig noggrannhet på 92,6 procent på träningsdatauppsättningen och en genomsnittlig noggrannhet på 86,3 procent på testdatauppsättningen. Teamet observerade systemet för att få nästan perfekt förutsägelseprestanda på "ae" -vokalen vid sidan av möjligheten att skilja "iy" -vokalen från "ei" -vokalen-men med mindre noggrannhet inom de osynliga proverna från testdatauppsättningarna. På det här sättet, laget gav visuell bekräftelse på optimeringsproceduren för att leda det mesta av signalenergin till rätt sond. Som prestandamätmärke, de tränade ett konventionellt RNN på samma uppgift för att uppnå klassificeringsnoggrannhet som är jämförbar med vågekvationen. Dock, de krävde ett stort antal fria parametrar för uppgiften.

På det här sättet, Tyler W. Hughes och kollegor presenterade ett vågbaserat RNN med ett antal gynnsamma egenskaper för att bilda en lovande kandidat för att bearbeta temporärt kodad information. Användningen av fysik för att utföra beräkning kan inspirera en ny plattform för analoga maskininlärningsenheter för att utföra beräkning mycket mer naturligt och effektivt än dess digitala motsvarigheter. Forskargruppen bestämde storleken på det analoga RNN:s dolda tillstånd och dess minneskapacitet med hjälp av förökningsmediets storlek. De visade dynamiken i vågekvationen att vara begreppsmässigt ekvivalent med den för ett RNN. Den konceptuella anslutningen kommer att bana väg för en ny klass av analoga hårdvaruplattformar, där den utvecklande tidsdynamiken kommer att spela en stor roll i både fysiken och datamängden.

© 2020 Science X Network