MIT-forskare har utarbetat en ny metod för att få fram mer information från bilder som används för att träna maskininlärningsmodeller, inklusive de som kan analysera medicinska skanningar för att hjälpa till att diagnostisera och behandla hjärntillstånd.

Ett aktivt nytt område inom medicin involverar utbildning av djupinlärningsmodeller för att upptäcka strukturella mönster i hjärnskanningar associerade med neurologiska sjukdomar och störningar, såsom Alzheimers sjukdom och multipel skleros. Men att samla in träningsdata är mödosamt:Alla anatomiska strukturer i varje skanning måste beskrivas separat eller handmärkas av neurologiska experter. Och, i vissa fall, som för sällsynta hjärntillstånd hos barn, endast ett fåtal skanningar kan vara tillgängliga i första hand.

I en artikel som presenterades vid den senaste konferensen om datorseende och mönsterigenkänning, MIT-forskarna beskriver ett system som använder en enda märkt skanning, tillsammans med omärkta skanningar, att automatiskt syntetisera en enorm datauppsättning av distinkta träningsexempel. Datauppsättningen kan användas för att bättre träna maskininlärningsmodeller för att hitta anatomiska strukturer i nya skanningar – ju mer träningsdata, desto bättre är dessa förutsägelser.

Kärnan i arbetet är att automatiskt generera data för "bildsegmentering"-processen, som delar upp en bild i områden med pixlar som är mer meningsfulla och lättare att analysera. Att göra så, systemet använder ett konvolutionellt neuralt nätverk (CNN), en maskininlärningsmodell som har blivit ett kraftpaket för bildbehandlingsuppgifter. Nätverket analyserar många omärkta genomsökningar från olika patienter och olika utrustningar för att "lära sig" anatomiska, ljusstyrka, och kontrastvariationer. Sedan, den tillämpar en slumpmässig kombination av dessa inlärda variationer på en enda märkt skanning för att syntetisera nya skanningar som är både realistiska och korrekt märkta. Dessa nysyntetiserade skanningar matas sedan in i ett annat CNN som lär sig hur man segmenterar nya bilder.

"Vi hoppas att detta kommer att göra bildsegmentering mer tillgänglig i realistiska situationer där du inte har mycket träningsdata, "säger författaren Amy Zhao, en doktorand vid Institutionen för elektroteknik och datavetenskap (EECS) och datavetenskap och artificiell intelligenslaboratorium (CSAIL). "I vårt tillvägagångssätt, du kan lära dig att efterlikna variationerna i omärkta skanningar för att på ett intelligent sätt syntetisera en stor datamängd för att träna ditt nätverk. "

Det finns intresse för att använda systemet, till exempel, för att hjälpa till att träna modeller för prediktiv analys på Massachusetts General Hospital, Zhao säger, där endast en eller två märkta skanningar kan förekomma av särskilt ovanliga hjärntillstånd bland barnpatienter.

Med Zhao på tidningen är:Guha Balakrishnan, en postdoc i EECS och CSAIL; EECS-professorerna Fredo Durand och John Guttag, och seniorförfattaren Adrian Dalca, som också är fakultetsmedlem i radiologi vid Harvard Medical School.

"Magin" bakom systemet

Även om det nu tillämpas på medicinsk bildbehandling, systemet började faktiskt som ett sätt att syntetisera träningsdata för en smartphone-app som kunde identifiera och hämta information om kort från det populära samlarbara kortspelet, "Magic:The Gathering." Släpptes i början av 1990-talet, "Magic" har mer än 20, 000 unika kort – och fler släpps med några månaders mellanrum – som spelare kan använda för att bygga anpassade spellekar.

Zhao, en ivrig "Magic"-spelare, ville utveckla en CNN-driven app som tog ett foto av vilket kort som helst med en smartphonekamera och automatiskt hämtade information som pris och betyg från kortdatabaser online. "När jag plockade ut kort från en spelbutik, Jag blev trött på att skriva in alla deras namn i min telefon och leta upp betyg och kombinationer, " Säger Zhao. "Skulle det inte vara fantastiskt om jag kunde skanna dem med min telefon och hämta den informationen?"

Men hon insåg att det är en mycket tuff träningsuppgift för datorseende. "Du skulle behöva många foton av alla 20, 000 kort, under alla olika ljusförhållanden och vinklar. Ingen kommer att samla in den datamängden, " säger Zhao.

Istället, Zhao utbildade ett CNN på mindre dataset med cirka 200 kort, med 10 distinkta foton av varje kort, för att lära sig hur man förvränger ett kort i olika positioner. Den beräknade olika belysning, vinklar, och reflektioner – för när kort placeras i plasthylsor – till syntetiserade realistiska skeva versioner av vilket kort som helst i datamängden. Det var ett spännande passionprojekt, Zhao säger:"Men vi insåg att detta tillvägagångssätt var riktigt lämpligt för medicinska bilder, eftersom denna typ av skevhet passar väldigt bra med MRI."

Mind warp

Magnetresonansbilder (MRI) består av tredimensionella pixlar, kallas voxels. Vid segmentering av MRI, experter separerar och märker voxelregioner baserat på den anatomiska strukturen som innehåller dem. Mångfalden av skanningar, orsakas av variationer i individuella hjärnor och utrustning som används, utgör en utmaning för att använda maskininlärning för att automatisera denna process.

Vissa befintliga metoder kan syntetisera träningsexempel från märkta skanningar med hjälp av "data augmentation, " som förvränger märkta voxels till olika positioner. Men dessa metoder kräver att experter för hand skriver olika förstärkningsriktlinjer, och vissa syntetiserade skanningar ser inte ut som en realistisk mänsklig hjärna, vilket kan vara skadligt för inlärningsprocessen.

Istället, forskarnas system lär sig automatiskt hur man syntetiserar realistiska skanningar. Forskarna tränade sitt system på 100 omärkta skanningar från riktiga patienter för att beräkna rumsliga transformationer - anatomiska överensstämmelser från skanning till skanning. Detta genererade lika många "flödesfält, "vilken modell hur voxlar rör sig från en skanning till en annan. Samtidigt den beräknar intensitetstransformationer, som fångar utseendevariationer orsakade av bildkontrast, ljud, och andra faktorer.

När du skapar en ny skanning, systemet tillämpar ett slumpmässigt flödesfält på den originalmärkta skanningen, som skiftar runt voxels tills det strukturellt matchar en riktig, omärkt skanning. Sedan, den överlagrar en slumpmässig intensitetstransformation. Till sist, systemet mappar etiketterna till de nya strukturerna, genom att följa hur voxlarna rörde sig i flödesfältet. I slutet, de syntetiserade skanningarna liknar den verkliga, omärkta skanningar – men med korrekta etiketter.

För att testa deras automatiserade segmenteringsnoggrannhet, forskarna använde tärningar, som mäter hur väl en 3D-form passar över en annan, på en skala från 0 till 1. De jämförde sitt system med traditionella segmenteringsmetoder – manuella och automatiserade – på 30 olika hjärnstrukturer över 100 uthållna testskanningar. Stora strukturer var jämförbart exakta bland alla metoder. Men forskarnas system överträffade alla andra tillvägagångssätt på mindre strukturer, som hippocampus, som bara upptar cirka 0,6 procent av en hjärna, efter volym.

"Det visar att vår metod förbättras jämfört med andra metoder, särskilt när du kommer in i de mindre strukturerna, som kan vara mycket viktigt för att förstå sjukdom, " säger Zhao. "Och vi gjorde det medan vi bara behövde en enda handmärkt skanning."

Den här historien återpubliceras med tillstånd av MIT News (web.mit.edu/newsoffice/), en populär webbplats som täcker nyheter om MIT-forskning, innovation och undervisning.