North Carolina State University-forskare har utvecklat ett nytt ramverk för att bygga djupa neurala nätverk via grammatikstyrda nätverksgeneratorer. Vid experimentell testning, de nya nätverken – kallade AOGNets – har överträffat befintliga toppmoderna ramverk, inklusive de mycket använda ResNet- och DenseNet-systemen, i visuella igenkänningsuppgifter.

"AOGNets har bättre prediktionsnoggrannhet än något av de nätverk vi har jämfört det med, " säger Tianfu Wu, en biträdande professor i elektro- och datorteknik vid NC State och motsvarande författare till en artikel om arbetet. "AOGNets är också mer tolkningsbara, vilket innebär att användare kan se hur systemet når sina slutsatser."

Det nya ramverket använder en sammansättningsgrammatisk metod för systemarkitektur som bygger på bästa praxis från tidigare nätverkssystem för att mer effektivt extrahera användbar information från rådata.

"Vi fann att hierarkisk och sammansatt grammatik gav oss en enkel, elegant sätt att förena tillvägagångssätten från tidigare systemarkitekturer, och såvitt vi vet, det är det första verket som använder grammatik för nätverksgenerering, " säger Wu.

För att testa deras nya ramverk, forskarna utvecklade AOGNets och testade dem mot tre riktmärken för bildklassificering:CIFAR-10, CIFAR-100 och ImageNet-1K.

"AOGNets fick betydligt bättre prestanda än alla toppmoderna nätverk under rättvisa jämförelser, inklusive ResNets, DenseNets, ResNeXts och DualPathNets, "Säger Wu." AOGNets erhöll också den bästa modellen för tolkningsbarhet med hjälp av metoden för nätverksdissektion i ImageNet. AOGNets visar vidare stor potential inom kontradiktoriskt försvar och plattforms-agnostisk utplacering (mobil vs moln)."

Forskarna testade också AOGNets prestanda i objektdetektering och instanssemantisk segmentering, på Microsofts COCO benchmark, med vanilla Mask R-CNN-systemet.

"AOGNets fick bättre resultat än ResNet- och ResNeXt -ryggraden med mindre modellstorlekar och liknande eller något bättre slutsats, " säger Wu. "Resultaten visar effektiviteten av att AOGNets lär sig bättre funktioner i objektdetektering och segmenteringsuppgifter.

Dessa tester är relevanta eftersom bildklassificering är en av de grundläggande grundläggande uppgifterna inom visuell igenkänning, och ImageNet är standarden för storskalig klassificering. Liknande, objektdetektering och segmentering är två centrala synuppgifter på hög nivå, och MS-COCO är ett av de mest använda riktmärkena.

"För att utvärdera nya nätverksarkitekturer för djupinlärning i visuell igenkänning, de är de gyllene testbäddarna, " säger Wu. "AOGNets utvecklas under ett principiellt grammatikramverk och uppnår betydande förbättringar i både ImageNet och MS-COCO, visar således potentiellt breda och djupa effekter för representationsinlärning i många praktiska tillämpningar.

"Vi är glada över det grammatikstyrda AOGNet-ramverket, och undersöker dess prestanda i andra applikationer för djupinlärning, som djup förståelse av naturligt språk, djupt generativt lärande och djupförstärkande lärande, " säger Wu.

Pappret, "AOGNets:Compositional Grammatical Architectures for Deep Learning, "kommer att presenteras vid IEEE Computer Vision and Pattern Recognition Conference, hålls 16-20 juni i Long Beach, Kalifornien Första författare av tidningen är Xilai Li, en doktorsexamen student vid NC State. Tidningen var medförfattare av Xi Song, en oberoende forskare.