• Home
  • Kemi
  • Astronomien
  • Energi
  • Naturen
  • Biologi
  • Fysik
  • Elektronik
  • Odla och beskära AI efterliknar hjärnans utveckling, minskar energianvändningen

    Princeton forskare, ledd av elektroteknikprofessor Niraj Jha, utvecklat en teknik som producerar avancerade artificiell intelligensprogram för bärbara enheter som en smart klocka. Genom att efterlikna hjärnans utvecklingsbåge, det nya tillvägagångssättet leder till benchmarknoggrannhet med en bråkdel av energin i andra system. Från vänster:Prerit Terway, Hongxu Yin, Niraj Jha, Seyed Shayan Hassantabar. Kredit:Sameer A. Khan/Fotobuddy

    Det kan komma som en chock för föräldrar som står inför det dagliga kaoset i småbarnslivet, men hjärnans komplexitet toppar runt tre års ålder.

    Antalet kopplingar mellan neuroner exploderar praktiskt taget under våra första år. Efter det börjar hjärnan beskära bort oanvända delar av detta enorma elektriska nätverk, bantning till ungefär hälften av antalet när vi når vuxen ålder. Överförsörjningen av småbarnshjärnan gör att vi kan tillägna oss språk och utveckla finmotorik. Men det vi inte använder, vi förlorar.

    Nu har denna ebb och ström av biologisk komplexitet inspirerat ett team av forskare vid Princeton att skapa en ny modell för artificiell intelligens, skapa program som uppfyller eller överträffar branschstandarder för noggrannhet med endast en bråkdel av energin. I ett par tidningar publicerade tidigare i år, forskarna visade hur man börjar med en enkel design för ett AI-nätverk, utöka nätverket genom att lägga till artificiella neuroner och anslutningar, beskära sedan bort oanvända portioner och lämna en mager men mycket effektiv slutprodukt.

    "Vårt tillvägagångssätt är vad vi kallar ett odla-och-beskär-paradigm, ", sa professorn i elektroteknik Niraj Jha. "Det liknar vad en hjärna gör från när vi är en bebis till när vi är ett litet barn." Under sitt tredje år, den mänskliga hjärnan börjar klippa bort kopplingar mellan hjärnceller. Denna process fortsätter in i vuxen ålder, så att den fullt utvecklade hjärnan arbetar på ungefär hälften av sin synaptiska topp.

    "Den vuxna hjärnan är specialiserad på vilken utbildning vi än har gett den, " Sa Jha. "Det är inte lika bra för allmänt lärande som en hjärna för ett barn."

    Odling och beskärning resulterar i programvara som kräver en bråkdel av beräkningskraften, och så använder mycket mindre energi, att göra lika bra förutsägelser om världen. Att begränsa energianvändningen är avgörande för att få den här typen av avancerad AI – kallad maskininlärning – på små enheter som telefoner och klockor.

    "Det är mycket viktigt att köra maskininlärningsmodellerna lokalt eftersom överföring [till molnet] tar mycket energi, sa Xiaoliang Dai, en före detta Princeton doktorand och första författare på de två tidningarna. Dai är nu forskare på Facebook.

    I den första studien, forskarna undersökte på nytt grunderna för maskininlärning - de abstrakta kodstrukturerna som kallas artificiella neurala nätverk. Lånar inspiration från tidig barndomsutveckling, teamet designade ett verktyg för syntes av neurala nätverk (NeST) som återskapade flera av de bästa neurala nätverken från grunden, automatiskt, använda sofistikerade matematiska modeller som först utvecklades på 1980-talet.

    NeST börjar med endast ett litet antal artificiella neuroner och anslutningar, ökar i komplexitet genom att lägga till fler neuroner och anslutningar till nätverket, och när den väl uppfyller ett givet prestationsriktmärke, börjar minska med tid och träning. Tidigare forskare hade använt liknande beskärningsstrategier, men kombinationen odla och beskära – att flytta från "bebishjärnan" till "småbarnshjärnan" och bantning mot "vuxenhjärnan" - representerade ett språng från gammal teori till ny demonstration.

    Den andra tidningen, som inkluderar medarbetare på Facebook och University of California-Berkeley, introducerade ett ramverk som heter Chameleon som börjar med önskade resultat och arbetar baklänges för att hitta rätt verktyg för jobbet. Med hundratusentals varianter tillgängliga i de särskilda aspekterna av en design, ingenjörer står inför en valparadox som går långt utöver mänsklig kapacitet. Till exempel:Arkitekturen för att rekommendera filmer ser inte ut som den som känner igen tumörer. Systemet inställd för lungcancer ser annorlunda ut än ett för livmoderhalscancer. Demensassistenter kan se olika ut för kvinnor och män. Och så vidare, i det oändliga.

    Jha beskrev Chameleon som styringenjörer mot en gynnsam undergrupp av konstruktioner. "Det ger mig ett bra grannskap, och jag kan göra det på CPU-minuter, "Jha sa, hänvisar till ett mått på beräkningsprocesstiden. "Så jag kan väldigt snabbt få den bästa arkitekturen." Istället för hela den vidsträckta metropolen, man behöver bara söka några gator.

    Chameleon fungerar genom att träna och ta prov på ett relativt litet antal arkitekturer som representerar en mängd olika alternativ, förutsäger sedan dessa designs prestanda med en given uppsättning villkor. Eftersom det sänker kostnaderna i förväg och fungerar inom magra plattformar, det mycket adaptiva tillvägagångssättet "kan utöka tillgången till neurala nätverk för forskningsorganisationer som för närvarande inte har resurserna att dra nytta av denna teknik, " enligt ett blogginlägg från Facebook.


    © Vetenskap https://sv.scienceaq.com