Bildbehandlingssystemet kan zooma in på en pixlad bild och fylla i de saknade bitarna, vilket skapar en kontinuerlig 3D-representation. Kredit:Washington University i St. Louis
Forskare från McKelvey School of Engineering vid Washington University i St. Louis har utvecklat en maskininlärningsalgoritm som kan skapa en kontinuerlig 3D-modell av celler från en partiell uppsättning 2D-bilder som togs med samma standardmikroskopiverktyg som finns i många labb idag .
Deras resultat publicerades den 16 september i tidskriften Nature Machine Intelligence .
"Vi tränar modellen på uppsättningen av digitala bilder för att få en kontinuerlig representation", säger Ulugbek Kamilov, biträdande professor i elektro- och systemteknik och i datavetenskap och teknik. "Nu kan jag visa det hur jag vill. Jag kan zooma in smidigt och det finns ingen pixelering."
Nyckeln till detta arbete var användningen av ett neuralt fältnätverk, en speciell typ av maskininlärningssystem som lär sig en kartläggning från rumsliga koordinater till motsvarande fysiska storheter. När utbildningen är klar kan forskare peka på valfri koordinat och modellen kan ge bildvärdet på den platsen.
En speciell styrka med neurala fältnätverk är att de inte behöver tränas på stora mängder liknande data. Istället, så länge det finns ett tillräckligt antal 2D-bilder av provet, kan nätverket representera det i sin helhet, inifrån och ut.
Bilden som används för att träna nätverket är precis som vilken annan mikroskopibild som helst. I huvudsak är en cell upplyst underifrån; ljuset färdas genom den och fångas på andra sidan, vilket skapar en bild.
"Eftersom jag har lite utsikt över cellen kan jag använda dessa bilder för att träna modellen," sa Kamilov. Detta görs genom att mata modellen med information om en punkt i provet där bilden fångade en del av cellens inre struktur.
Sedan gör nätverket sitt bästa för att återskapa den strukturen. Om utgången är fel, tweakas nätverket. Om det är korrekt förstärks den vägen. När förutsägelserna matchar verkliga mätningar är nätverket redo att fylla i delar av cellen som inte fångades av de ursprungliga 2D-bilderna.
Modellen innehåller nu information om en fullständig, kontinuerlig representation av cellen – det finns inget behov av att spara en datatung bildfil eftersom den alltid kan återskapas av det neurala fältnätverket.
Och, sa Kamilov, modellen är inte bara en enkel att lagra, sann representation av cellen, utan den är också, på många sätt, mer användbar än den äkta varan.
"Jag kan lägga in vilken koordinat som helst och skapa den synen," sa han. "Eller så kan jag skapa helt nya vyer från olika vinklar." Han kan använda modellen för att snurra en cell som en topp eller zooma in för en närmare titt; använda modellen för att göra andra numeriska uppgifter; eller till och med mata in den i en annan algoritm. + Utforska vidare
