(Phys.org)—Medan man undersöker hur effektivt hjärnan kan lära sig ny information, fysiker har funnit att på neuronnivå, inlärningseffektiviteten begränsas i slutändan av termodynamikens lagar – samma principer som begränsar effektiviteten hos många andra välkända processer.

"Den största betydelsen av vårt arbete är att vi tar termodynamikens andra lag till analysen av neurala nätverk, Sebastian Goldt vid universitetet i Stuttgart, Tyskland, berättade Phys.org . "Den andra lagen är ett mycket kraftfullt uttalande om vilka transformationer som är möjliga - och lärande är bara en transformation av ett neuralt nätverk på bekostnad av energi. Detta gör våra resultat ganska generella och tar oss ett steg mot att förstå de yttersta gränserna för effektiviteten av neurala nätverk."

Goldt och medförfattaren Udo Seifert har publicerat en artikel om sitt arbete i ett nyligen utgåva av Fysiska granskningsbrev .

Eftersom all hjärnaktivitet är knuten till avfyrning av miljarder neuroner, på neuronnivå, frågan om "hur effektivt kan vi lära oss?" blir frågan om "hur effektivt kan en neuron justera sin utsignal som svar på mönstren av insignaler som den tar emot från andra neuroner?" När nervceller blir bättre på att skjuta som svar på vissa mönster, motsvarande tankar förstärks i våra hjärnor, som antyds av ordspråket "eld tillsammans, tråd ihop."

I den nya studien, forskarna visade att inlärningseffektiviteten begränsas av den totala entropiproduktionen av ett neuralt nätverk. De visade att ju långsammare en neuron lär sig, ju mindre värme och entropi den producerar, öka dess effektivitet. Mot bakgrund av detta fynd, forskarna introducerade ett nytt mått på inlärningseffektivitet baserat på energikrav och termodynamik.

Eftersom resultaten är mycket generella, de kan appliceras på alla inlärningsalgoritmer som inte använder feedback, som de som används i artificiella neurala nätverk.

"Att ha ett termodynamiskt perspektiv på neurala nätverk ger oss ett nytt verktyg för att tänka på deras effektivitet och ger oss ett nytt sätt att betygsätta deras prestanda, ", sa Goldt. "Att hitta det optimala artificiella neurala nätverket med avseende på det betyget är en spännande möjlighet, och också en ganska utmaning."

I framtiden, forskarna planerar att analysera effektiviteten av inlärningsalgoritmer som använder feedback, samt undersöka möjligheten att experimentellt testa den nya modellen.

"Å ena sidan, vi forskar just nu på vad termodynamiken kan lära oss om andra inlärningsproblem, "Sa Goldt. "Samtidigt, vi tittar på sätt att göra våra modeller och därmed våra resultat mer generella. Det är en spännande tid att arbeta med neurala nätverk!"

© 2017 Phys.org