• Home
  • Kemi
  • Astronomien
  • Energi
  • Naturen
  • Biologi
  • Fysik
  • Elektronik
  •  science >> Vetenskap >  >> Fysik
    Forskare konverterar 2-D-bilder till 3D med hjälp av djupinlärning

    Illustration representerar Deep-Z, ett artificiellt intelligensbaserat ramverk som digitalt kan fokusera om en 2D-fluorescensmikroskopbild (längst ner) för att producera 3D-skivor (till vänster). Upphovsman:Ozcan Lab/UCLA

    Ett UCLA -forskargrupp har tagit fram en teknik som utökar möjligheterna med fluorescensmikroskopi, som gör det möjligt för forskare att exakt märka delar av levande celler och vävnad med färgämnen som lyser under speciell belysning. Forskarna använder artificiell intelligens för att förvandla tvådimensionella bilder till staplar av virtuella tredimensionella skivor som visar aktivitet inuti organismer.

    I en studie publicerad i Naturmetoder , forskarna rapporterade också att deras ramar, kallas "Deep-Z, "kunde åtgärda fel eller avvikelser i bilder, t.ex. när ett prov lutar eller kröks. Ytterligare, de visade att systemet kunde ta 2-D-bilder från en typ av mikroskop och praktiskt taget skapa 3-D-bilder av provet som om de var tagna av ett annat, mer avancerat mikroskop.

    "Detta är en mycket kraftfull ny metod som möjliggörs genom djupinlärning för att utföra 3D-avbildning av levande exemplar, med minst exponering för ljus, som kan vara giftiga för prover, "sade författaren Aydogan Ozcan, UCLA -kanslers professor i el- och datateknik och biträdande chef för California NanoSystems Institute vid UCLA.

    Förutom att spara prover från potentiellt skadliga doser av ljus, detta system kan erbjuda biologer och forskare inom biovetenskap ett nytt verktyg för 3D-avbildning som är enklare, snabbare och mycket billigare än nuvarande metoder. Möjligheten att korrigera för avvikelser kan tillåta forskare som studerar levande organismer att samla in data från bilder som annars skulle vara oanvändbara. Utredare kan också få virtuell tillgång till dyr och komplicerad utrustning.

    Denna forskning bygger på en tidigare teknik som Ozcan och hans kollegor utvecklat som gjorde det möjligt för dem att återge 2-D fluorescensmikroskopbilder i superupplösning. Båda teknikerna främjar mikroskopi genom att förlita sig på djupinlärning - med hjälp av data för att "träna" ett neuralt nätverk, ett datasystem inspirerat av den mänskliga hjärnan.

    Deep-Z lärdes ut med hjälp av experimentella bilder från ett scannande fluorescensmikroskop, som tar bilder fokuserade på flera djup för att uppnå 3D-avbildning av prover. I tusentals träningspass, det neurala nätverket lärde sig att ta en 2-D-bild och utgå från exakta 3D-skivor på olika djup inom ett prov. Sedan, ramverket testades blindt - matat med bilder som inte var en del av dess utbildning, med de virtuella bilderna jämfört med de faktiska 3D-skivorna som erhållits från ett skannande mikroskop, ger en utmärkt matchning.

    Ozcan och hans kollegor applicerade Deep-Z på bilder av C. elegans, en rundmask som är en vanlig modell inom neurovetenskap på grund av dess enkla och väl förstådda nervsystem. Konvertera en 2-D film av en mask till 3D, ram för ram, forskarna kunde spåra aktiviteten hos enskilda neuroner i maskkroppen. Och börjar med en eller två 2-D-bilder av C. elegans tagna på olika djup, Deep-Z producerade virtuella 3D-bilder som gjorde att laget kunde identifiera enskilda neuroner i masken, matchande ett skannande mikroskops 3D-utgång, utom med mycket mindre ljusexponering för den levande organismen.

    Forskarna fann också att Deep-Z kunde producera 3-D-bilder från 2-D-ytor där prover lutade eller krökta-trots att det neurala nätverket endast utbildades med 3D-skivor som var helt parallella med provets yta.

    "Den här funktionen var faktiskt mycket överraskande, "sa Yichen Wu, en UCLA-doktorand som är medförsteförfattare till publikationen. "Med det, du kan se genom krökning eller annan komplex topologi som är mycket utmanande att avbilda. "

    I andra experiment, Deep-Z utbildades med bilder från två typer av fluorescensmikroskop:wide-field, som exponerar hela provet för en ljuskälla; och konfokala, som använder en laser för att skanna ett prov del för del. Ozcan och hans team visade att deras ram sedan kunde använda 2-D vidfältsmikroskopbilder av prover för att producera 3D-bilder som är nästan identiska med de som tagits med ett konfokalt mikroskop.

    Denna konvertering är värdefull eftersom det konfokala mikroskopet skapar bilder som är skarpare, med mer kontrast, jämfört med det breda fältet. Å andra sidan, bredfältsmikroskopet tar bilder till mindre kostnad och med färre tekniska krav.

    "Detta är en plattform som i allmänhet är tillämplig på olika par mikroskop, inte bara konvertering från stora fält till konfokaler, "sa den första författaren Yair Rivenson, UCLA biträdande adjungerad professor i el- och datateknik. "Varje mikroskop har sina egna fördelar och nackdelar. Med denna ram, Du kan få det bästa från båda världarna genom att använda AI för att ansluta olika typer av mikroskop digitalt. "

    Andra författare är doktorander Hongda Wang och Yilin Luo, postdoktor Eyal Ben-David och Laurent Bentolila, vetenskaplig chef för California NanoSystems Institutes Advanced Light Microscopy and Spectroscopy Laboratory, hela UCLA; och Christian Pritz från hebreiska universitetet i Jerusalem i Israel.

    © Vetenskap https://sv.scienceaq.com