Medicinsk bildregistrering är en vanlig teknik som involverar överlagring av två bilder, såsom magnetisk resonansavbildning (MRI) skanningar, att jämföra och analysera anatomiska skillnader i detalj. Om en patient har en hjärntumör, till exempel, läkare kan överlappa en hjärnskanning från flera månader sedan till en nyare skanning för att analysera små förändringar i tumörens framsteg.

Denna process, dock, kan ofta ta två timmar eller mer, eftersom traditionella system noggrant justerar var och en av potentiellt en miljon pixlar i de kombinerade skanningarna. I ett par kommande konferenspapper, MIT-forskare beskriver en maskininlärningsalgoritm som kan registrera hjärnskanningar och andra 3D-bilder mer än 1, 000 gånger snabbare med nya inlärningstekniker.

Algoritmen fungerar genom att "lära" sig samtidigt som tusentals par av bilder registreras. Genom att göra så, den får information om hur man justerar bilder och uppskattar några optimala justeringsparametrar. Efter träning, den använder dessa parametrar för att mappa alla pixlar i en bild till en annan, allt på en gång. Detta minskar registreringstiden till en eller två minuter med en vanlig dator, eller mindre än en sekund med en GPU med jämförbar noggrannhet som toppmoderna system.

"Uppgifterna för att anpassa en hjärn -MR ska inte vara så annorlunda när du justerar ett par hjärn -MRI eller ett annat, "säger medförfattare på båda tidningarna Guha Balakrishnan, en doktorand i MIT:s datavetenskap och artificiell intelligens Laboratory (CSAIL) och Institutionen för teknik och datavetenskap (EECS). "Det finns information du bör kunna överföra i hur du gör justeringen. Om du kan lära dig något av tidigare bildregistrering, du kan utföra en ny uppgift mycket snabbare och med samma noggrannhet. "

Uppsatserna presenteras vid konferensen om datorseende och mönsterigenkänning (CVPR), hölls i veckan, och vid konferensen Medical Image Computing and Computer Assisted Interventions (MICCAI), hölls i september. Medförfattare är:Adrian Dalca, en postdoc vid Massachusetts General Hospital och CSAIL; Amy Zhao, en doktorand i CSAIL; Mert R. Sabuncu, en tidigare CSAIL postdoc och nu professor vid Cornell University; och John Guttag, Dugald C. Jackson professor i elektroteknik vid MIT.

Behåller information

MRT-skanningar är i princip hundratals staplade 2-D-bilder som bildar massiva 3-D-bilder, kallas "volymer, " som innehåller en miljon eller fler 3D-pixlar, kallas "voxels". Därför, Det är mycket tidskrävande att anpassa alla voxlar i den första volymen till dem i den andra. Dessutom, skanningar kan komma från olika maskiner och ha olika rumslig orientering, vilket betyder att matchande voxlar är ännu mer beräkningsmässigt komplext.

"Du har två olika bilder av två olika hjärnor, lägg dem ovanpå varandra, och du börjar vicka på den ena tills den ena passar den andra. Matematiskt, denna optimeringsprocedur tar lång tid, säger Dalca, senior författare på CVPR-papperet och huvudförfattare på MICCAI-papperet.

Denna process blir särskilt långsam när man analyserar skanningar från stora populationer. Neuroforskare som analyserar variationer i hjärnans strukturer över hundratals patienter med en viss sjukdom eller tillstånd, till exempel, kan potentiellt ta hundratals timmar.

Det beror på att dessa algoritmer har en stor brist:De lär sig aldrig. Efter varje registrering, de avvisar all data som rör voxel -plats. "Väsentligen, de börjar från början med ett nytt par bilder, "Säger Balakrishnan." Efter 100 registreringar, du borde ha lärt dig något av inriktningen. Det är vad vi utnyttjar. "

Forskarnas algoritm, kallas "VoxelMorph, "drivs av ett konvolutionellt neuralt nätverk (CNN), en maskininlärningsmetod som vanligtvis används för bildbehandling. Dessa nätverk består av många noder som behandlar bild och annan information över flera lager av beräkningar.

I CVPR-dokumentet, forskarna tränade sin algoritm på 7, 000 allmänt tillgängliga MR-hjärnskanningar och sedan testade den på 250 ytterligare skanningar.

Under utbildningen, hjärnskanningar matades in i algoritmen i par. Med hjälp av ett CNN och modifierat beräkningsskikt som kallas en spatial transformator, metoden fångar likheter mellan voxels i en MR-undersökning med voxels i den andra skanningen. Genom att göra så, algoritmen lär sig information om grupper av voxlar - till exempel anatomiska former som är gemensamma för båda skanningarna - som den använder för att beräkna optimerade parametrar som kan tillämpas på vilket skanningspar som helst.

När två nya skanningar matas, en enkel matematisk "funktion" använder dessa optimerade parametrar för att snabbt beräkna den exakta inriktningen av varje voxel i båda skanningarna. Kortfattat, algoritmens CNN -komponent får all nödvändig information under träning så att, under varje ny registrering, hela registreringen kan utföras med en, lättberäknad funktionsutvärdering.

Forskarna fann att deras algoritm kunde registrera alla deras 250 test hjärnskanningar - de som registrerades efter träningsuppsättningen - inom två minuter med hjälp av en traditionell centralenhet, och på under en sekund med hjälp av en grafikprocessorenhet.

Viktigt, algoritmen är "utan tillsyn, "vilket innebär att det inte kräver ytterligare information utöver bilddata. Vissa registreringsalgoritmer innehåller CNN -modeller men kräver en" grundsanning, "vilket innebär att en annan traditionell algoritm först körs för att beräkna korrekta registreringar. Forskarnas algoritm bibehåller sin noggrannhet utan den informationen.

MICCAI-tidningen utvecklar en förfinad VoxelMorph-algoritm som "säger hur säkra vi är på varje registrering, " säger Balakrishnan. Det garanterar också registreringen "jämnhet, "vilket betyder att det inte producerar veck, hål, eller allmänna snedvridningar i den sammansatta bilden. Uppsatsen presenterar en matematisk modell som validerar algoritmens noggrannhet med hjälp av något som kallas Dice-poäng, ett standardmått för att utvärdera exaktheten hos överlappande bilder. I 17 hjärnregioner, the refined VoxelMorph algorithm scored the same accuracy as a commonly used state-of-the-art registration algorithm, while providing runtime and methodological improvements.

Beyond brain scans

The speedy algorithm has a wide range of potential applications in addition to analyzing brain scans, the researchers say. MIT colleagues, till exempel, are currently running the algorithm on lung images.

The algorithm could also pave the way for image registration during operations. Various scans of different qualities and speeds are currently used before or during some surgeries. But those images are not registered until after the operation. When resecting a brain tumor, till exempel, surgeons sometimes scan a patient's brain before and after surgery to see if they've removed all the tumor. If any bit remains, they're back in the operating room.

With the new algorithm, Dalca says, surgeons could potentially register scans in near real-time, getting a much clearer picture on their progress. "Today, they can't really overlap the images during surgery, because it will take two hours, and the surgery is ongoing" he says. "However, if it only takes a second, you can imagine that it could be feasible."

Den här historien återpubliceras med tillstånd av MIT News (web.mit.edu/newsoffice/), en populär webbplats som täcker nyheter om MIT -forskning, innovation och undervisning.