En vetenskaplig författares arbete, inklusive denna, inkluderar att läsa tidskrifter fyllda med specialiserad teknisk terminologi, och ta reda på hur man förklarar deras innehåll på ett språk som läsare utan vetenskaplig bakgrund kan förstå.

Nu, ett team av forskare vid MIT och på andra håll har utvecklat ett neuralt nätverk, en form av artificiell intelligens (AI), som kan göra ungefär samma sak, åtminstone i begränsad omfattning:Den kan läsa vetenskapliga artiklar och återge en vanlig engelsk sammanfattning i en mening eller två.

Även i denna begränsade form, ett sådant neuralt nätverk kan vara användbart för att hjälpa redaktörer, författare, och forskare skannar ett stort antal artiklar för att få en preliminär uppfattning om vad de handlar om. Men det tillvägagångssätt som teamet utvecklade kunde också hitta tillämpningar inom en mängd andra områden förutom språkbehandling, inklusive maskinöversättning och taligenkänning.

Arbetet beskrivs i journalen Transaktioner av Association for Computational Linguistics , i en tidning av Rumen Dangovski och Li Jing, båda MIT doktorander; Marin Soljačić, en professor i fysik vid MIT; Preslav Nakov, en senior vetenskapsman vid Qatar Computing Research Institute, HBKU; och Mićo Tatalović, en tidigare Knight Science Journalism-stipendiat vid MIT och en tidigare redaktör på Ny vetenskapsman tidskrift.

Från AI för fysik till naturligt språk

Arbetet kom till som ett resultat av ett icke-relaterat projekt, som innebar utveckling av nya metoder för artificiell intelligens baserade på neurala nätverk, syftar till att ta itu med vissa svåra problem inom fysiken. Dock, forskarna insåg snart att samma tillvägagångssätt kunde användas för att ta itu med andra svåra beräkningsproblem, inklusive naturlig språkbehandling, på sätt som kan överträffa befintliga neurala nätverkssystem.

"Vi har gjort olika typer av arbete inom AI i några år nu, " Soljačić säger. "Vi använder AI för att hjälpa till med vår forskning, i princip för att göra fysik bättre. Och när vi blev mer bekanta med AI, vi skulle märka att det då och då finns en möjlighet att lägga till AI-området på grund av något som vi känner till från fysiken - en viss matematisk konstruktion eller en viss lag inom fysiken. Vi märkte att hej, om vi använder det, det kan faktiskt hjälpa till med den eller den speciella AI-algoritmen."

Detta tillvägagångssätt kan vara användbart i en mängd olika typer av uppgifter, han säger, men inte allt. "Vi kan inte säga att detta är användbart för all AI, men det finns tillfällen där vi kan använda en insikt från fysiken för att förbättra en given AI-algoritm."

Neurala nätverk i allmänhet är ett försök att efterlikna hur människor lär sig vissa nya saker:Datorn undersöker många olika exempel och "lär sig" vilka de viktigaste underliggande mönstren är. Sådana system används ofta för mönsterigenkänning, som att lära sig att identifiera föremål som avbildas på foton.

Men neurala nätverk i allmänhet har svårt att korrelera information från en lång rad data, sådant som krävs för att tolka en forskningsartikel. Olika knep har använts för att förbättra denna förmåga, inklusive tekniker som kallas långtidsminne (LSTM) och gated recurrent units (GRU), men dessa faller fortfarande långt ifrån vad som behövs för riktig bearbetning av naturliga språk, säger forskarna.

Teamet kom på ett alternativt system, som istället för att baseras på multiplikation av matriser, som de flesta konventionella neurala nätverk är, baseras på vektorer som roterar i ett flerdimensionellt utrymme. Nyckelbegreppet är något de kallar en rotationsenhet av minne (RUM).

Väsentligen, systemet representerar varje ord i texten med en vektor i ett flerdimensionellt utrymme – en linje av en viss längd som pekar i en viss riktning. Varje efterföljande ord svänger denna vektor i någon riktning, representerad i ett teoretiskt rum som i slutändan kan ha tusentals dimensioner. I slutet av processen, den slutliga vektorn eller uppsättningen vektorer översätts tillbaka till sin motsvarande sträng av ord.

"RUM hjälper neurala nätverk att göra två saker mycket bra, " Nakov säger. "Det hjälper dem att komma ihåg bättre, och det gör det möjligt för dem att återkalla information mer exakt."

Efter att ha utvecklat RUM-systemet för att hjälpa till med vissa tuffa fysikproblem som ljusets beteende i komplexa konstruerade material, "vi insåg att en av platserna där vi trodde att det här tillvägagångssättet kunde vara användbart skulle vara naturlig språkbehandling, " säger Soljačić, minns ett samtal med Tatalović, som noterade att ett sådant verktyg skulle vara användbart för hans arbete som redaktör som försöker bestämma vilka tidningar han ska skriva om. Tatalović utforskade vid den tiden AI inom vetenskapsjournalistik som sitt Knight-stipendium.

"Och så vi provade några naturliga språkbehandlingsuppgifter på det, " Soljačić säger. "En som vi försökte var att sammanfatta artiklar, och det verkar fungera ganska bra."

Beviset finns i läsningen

Som ett exempel, de matade samma forskningsartikel genom ett konventionellt LSTM-baserat neuralt nätverk och genom sitt RUM-baserade system. De resulterande sammanfattningarna var dramatiskt annorlunda.

LSTM-systemet gav denna mycket repetitiva och ganska tekniska sammanfattning:"Baylisascariasis, "dödar möss, har äventyrat allegheny woodrat och har orsakat sjukdomar som blindhet eller allvarliga konsekvenser. Denna infektion, kallas "baylisascariasis, "dödar möss, har äventyrat allegheny woodrat och har orsakat sjukdomar som blindhet eller allvarliga konsekvenser. Denna infektion, kallas "baylisascariasis, "dödar möss, har äventyrat allegheny woodrat.

Baserat på samma papper, RUM-systemet gav en mycket mer läsbar sammanfattning, och en som inte inkluderade onödig upprepning av fraser:Tvättbjörnar i städer kan infektera människor mer än tidigare antagit. 7 procent av de tillfrågade individerna testade positivt för tvättbjörnsspolmaskantikroppar. Över 90 procent av tvättbjörnarna i Santa Barbara är värdar för denna parasit.

Redan, det RUM-baserade systemet har utökats så att det kan "läsa" igenom hela forskningsartiklar, inte bara abstrakten, att göra en sammanfattning av deras innehåll. Forskarna har till och med försökt använda systemet på sitt eget forskningspapper som beskriver dessa fynd - det papper som den här nyhetsartikeln försöker sammanfatta.

Här är sammanfattningen av det nya neurala nätverket:Forskare har utvecklat en ny representationsprocess på RUMs rotationsenhet, ett återkommande minne som kan användas för att lösa ett brett spektrum av den neurala revolutionen inom naturlig språkbehandling.

Det kanske inte är elegant prosa, men det träffar åtminstone de viktigaste informationspunkterna.

Çağlar Gülçehre, en forskare vid det brittiska AI-företaget Deepmind Technologies, som inte var involverad i detta arbete, säger att denna forskning tar itu med ett viktigt problem i neurala nätverk, har att göra med att relatera bitar av information som är vitt åtskilda i tid eller rum. "Det här problemet har varit en mycket grundläggande fråga inom AI på grund av nödvändigheten av att resonera över långa tidsfördröjningar i sekvensförutsägande uppgifter, " säger han. "Även om jag inte tror att denna tidning helt löser detta problem, det visar lovande resultat på de långsiktiga beroendeuppgifterna som att svara på frågor, textsammanfattning, och associativ återkallelse."

Gülçehre tillägger, "Eftersom experimenten och modellen som föreslagits i detta dokument släpps som öppen källkod på Github, som ett resultat kommer många forskare att vara intresserade av att prova det på sina egna uppgifter. … För att vara mer specifik, potentiellt kan det tillvägagångssätt som föreslås i detta dokument ha mycket stor inverkan på områdena naturlig språkbearbetning och förstärkningsinlärning, där de långsiktiga beroenden är mycket avgörande."

Den här historien återpubliceras med tillstånd av MIT News (web.mit.edu/newsoffice/), en populär webbplats som täcker nyheter om MIT-forskning, innovation och undervisning.