Forskare från Institute of Cyber ​​Intelligence Systems vid National Research Nuclear University MEPhI (Ryssland) har nyligen utvecklat en ny inlärningsmodell för den begränsade Boltzmann-maskinen (ett neuralt nätverk), som optimerar processerna för semantisk kodning, visualisering och dataigenkänning. Resultaten av denna forskning publiceras i tidskriften Optiskt minne och neurala nätverk .

I dag, djupa neurala nätverk med olika arkitekturer, såsom konvolutionerande, återkommande och autoencoder-nätverk, blir ett allt mer populärt forskningsområde. Ett antal högteknologiska företag, inklusive Microsoft och Google, använder djupa neurala nätverk för att designa intelligenta system.

I system för djupinlärning, processerna för val av funktioner och konfiguration är automatiserade, vilket innebär att nätverken kan välja mellan de mest effektiva algoritmerna för hierarkisk funktionsextraktion på egen hand. Djup inlärning kännetecknas av inlärning med hjälp av stora sampel med en enda optimeringsalgoritm. Typiska optimeringsalgoritmer konfigurerar parametrarna för alla operationer samtidigt, och effektivt uppskatta varje neural nätverksparameters effekt på fel med hjälp av den så kallade backpropagation-metoden.

"De neurala nätverkens förmåga att lära sig på egen hand är en av deras mest spännande egenskaper, " förklarade Vladimir Golovko, professor vid MEPhI Institute of Cyber ​​Intelligence Systems. "Precis som biologiska system, neurala nätverk kan modellera sig själva, försöker utveckla bästa möjliga beteendemodell."

Under 2006, sfären för neurala nätverksträning fick ett genombrott när Geoffrey Hinton publicerade en forskningsartikel om förträning av neurala nätverk. Han uppgav att flerlagers neurala nätverk kunde förtränas genom att träna ett lager i taget med hjälp av den begränsade Boltzmann-maskinen och sedan finjustera dem med hjälp av backpropagation. Dessa nätverk kallades för djupa trosnätverk, eller DBN.

Golovko analyserade huvudfrågorna och paradigmen för djup maskininlärning och föreslog en ny inlärningsmetod för den begränsade Boltzmann-maskinen. Forskaren visade att den klassiska regeln att träna detta neurala nätverk är ett särskilt fall av den metod han utvecklade.

"De amerikanska forskarna Minsky och Papert visade en gång att ur mönsterklassificeringssynpunkt, enkelskiktsperceptronen med tröskelaktiveringsfunktionen bildar en linjär separerande yta, vilket är anledningen till att det inte kan lösa problemet med "exklusiva eller" " Golovko noterade. "Detta ledde till pessimistiska slutsatser om den fortsatta utvecklingen av neurala nätverk. Dock, det sista påståendet är bara sant för en perceptron i ett lager med ett tröskelvärde eller en monoton kontinuerlig aktiveringsfunktion, till exempel, en sigmoidfunktion. När man använder signalaktiveringsfunktionen, enkelskiktsperceptronen kan lösa problemet med "exklusiva eller" eftersom den kan dela upp arean av ettor och nollor i klasser med hjälp av två raka linjer."

Forskningen involverade också en analys av möjligheterna att använda djupa neurala nätverk för komprimering, visualisering och igenkänning av data. Dessutom, Golovko föreslog också ett nytt tillvägagångssätt för implementering av semantisk kodning, eller hash, som är baserad på användningen av djupa autoassociativa neurala nätverk.

Denna metod för djupinlärning kan vara mycket användbar för att träna sökmotorers neurala nätverk, författaren säger, eftersom det kommer att förbättra hastigheten för att söka efter relevanta bilder.

Dessa fynd har stort praktiskt värde:de har redan funnit tillämpning inom datorseendes sfärer, taligenkänning och bioinformatik.