Det som började för nästan ett decennium sedan som ett förslag från Berkeley Lab Laboratory-Directed Research and Development (LDRD) är nu en verklighet, och det förändrar redan hur forskare kör experiment med Advanced Light Source (ALS) - och, så småningom, andra ljuskällor över hela Department of Energy (DOE) -komplexet-genom att möjliggöra realtidsströmning av ptychografiska bilddata i en produktionsmiljö.

I vetenskapliga experiment, ptychographic imaging kombinerar skanningsmikroskopi med diffraktionsmätningar för att karakterisera strukturen och egenskaperna hos materia och material. Även om metoden har funnits i cirka 50 år, bred användning har hämmats av det faktum att experimentprocessen var långsam och beräkningsbehandlingen av data för att producera en rekonstruerad bild var dyr. Men de senaste åren har framsteg inom detektorer och röntgenmikroskop vid ljuskällor som ALS gjort det möjligt att mäta en ptykografisk datamängd på några sekunder.

Rekonstruera ptychographic datamängder, dock, är ingen trivial fråga; processen innebär att lösa ett svårt fashämtningsproblem, kalibrera optiska element och hantera experimentella outliers och "brus". Ange SHARP (skalbar heterogen adaptiv realtidspytografi), ett algoritmiskt ramverk och datorprogramvara som möjliggör rekonstruktion av miljontals faser av ptykografiska bilddata per sekund. Utvecklad på Berkeley Lab genom ett internationellt samarbete och infördes 2016, SHARP har haft en påvisbar inverkan på produktiviteten för forskare som arbetar vid ALS och andra ljuskällor i hela energidepartementet.

Nu finansierar en mellanstatlig myndighet samarbete mellan forskare från Berkeley Labs DOE-finansierade Center for Advanced Mathematics for Energy Research Applications (CAMERA), ALS och STROBE, National Science Foundation's Science and Technology Center, har gett ytterligare ett första i sitt slag framsteg för ptychographic avbildning:en mjukvara/algoritmisk pipeline som möjliggör realtidsströmmning av ptychographic bilddata under ett strålningsexperiment, tillhandahålla genomströmning, komprimering och upplösning samt snabb feedback till användaren medan experimentet fortfarande körs.

Integrerad, Modul, Skalbar

En efterträdare av Nanosurveyor -konceptet som först introducerades i ett 2010 LDRD -förslag, den modulära, skalbart Nanosurveyor II-system-nu igång på ALS-använder en dubbelsidig infrastruktur som integrerar det ptykografiska bilddatainsamlingen, förbehandling, överförings- och visualiseringsprocesser. Front-komponenten vid strållinjen består av detektorn, ram-gripare, en skalbar förbehandlare och grafiskt användargränssnitt (GUI), medan backend-komponenten i beräkningsgruppen innehåller SHARP för högupplöst bildrekonstruktion kombinerat med kommunikationskanaler för dataflöde, instruktioner och synkronisering. I drift, när en ny skanning har utlösts av experimentkontrollen, bildtagaren tar kontinuerligt emot datapaket från kameran, monterar dem till en ram och, parallellt, förbehandlar en uppsättning råa ramar till ett rent och reducerat block för den beräknade bakänden. Inkommande block fördelas mellan SHARP -arbetarna i beräkningsbackend, och reducerad data skickas tillbaka till fronten och visualiseras i ett GUI. Det nya strömmande mjukvarusystemet rullas ut på ALS för aktiv användning i experiment på strållinjerna, till exempel den COSMIC röntgenmikroskopiplattformen som nyligen kom online.

"Det vi har lyckats göra är att göra mycket komplex beräkning och data arbetsflöde så transparent som möjligt, "sa David Shapiro, en personalvetare i Experimental Systems Group på ALS som har bidragit till att underlätta implementering och testning av det nya systemet. "När programvaran är igång, mikroskopoperatörer har ingen aning om att de genererar gigabyte med data och det går igenom denna pipeline och kommer sedan tillbaka till dem. "

ALS -användare kan vanligtvis använda strållinjerna i ungefär två dagar, under vilken de kan studera ett dussin prover, Noterade Shapiro. Det betyder att de bara har några timmar per prov, och de måste fatta ett antal beslut om uppgifterna inom dessa timmar. Den pytkografiska strömningskapaciteten i realtid ger dem feedback i realtid och hjälper dem att fatta mer exakta beslut.

"Det faktum att SHARP nu kan ta data i realtid och bearbeta det direkt, även om experimentet inte är klart, gör den högpresterande och operativ för vetenskap i en produktionsmiljö, "sa Stefano Marchesini, en CAMERA -forskare och PI om det ursprungliga LDRD -förslaget.

Produktionsklar miljö

Att integrera alla komponenter var en av de största utmaningarna vid implementering av Nanosurveyor II, som gjorde det klart att fungera i en produktionsklar miljö kontra en testbädd, enligt Hari Krishnan, en datorsystemingenjör på CAMERA som ansvarade för att utveckla rörledningens kommunikationsmotor. Det tog flera års ansträngning att få realtidsdatabehandlingsfunktionerna att fungera, med bidrag från matematiker, datavetare, programvaruingenjörer, fysiker och strålningsforskare. Förutom Marchesini och Krishnan, CAMERA -forskarna Pablo Enfedaque och Huibin Chang var med och utvecklade SHARP -gränssnittet och kommunikationsmotorn. Dessutom, Filipe Maia och Benedict Daurer vid Uppsala universitet, som har ett samarbete med CAMERA, spelade en viktig roll i utvecklingen av streamingprogramvaran. Under tiden, fysikern Bjoern Enders från Berkeleys fysikavdelning och STROBE fokuserade på detektorn och förbehandlaren, och Berkeley Physics Ph.D. studenten Kasra Nowrouzi var inblandad i implementering av pipeline.

"Det var viktigt att skilja systemets ansvar och uppgifter och sedan hitta ett gemensamt gränssnitt att kommunicera över, ”Enders sa om laginsatsen.” Detta lade tillbaka en del av ansvaret i strålen. Vi alla arbetade tillsammans för att rent avskilja strömningsalgoritmen från förbehandlingsdelen så att vi kan se till att strållinjen faktiskt fungerar. "

Blickar framåt, Nanosurveyor II:s skalbarhet kommer att vara avgörande när nästa generation av ljuskällor och detektorer kommer online. Rörledningens datahastigheter speglar detektorn; den aktuella detektorn arbetar med en hastighet på upp till 400 megabyte per sekund och kan generera några terabyte data per dag. Nästa generations detektorer kommer att producera data 100 till 1, 000 gånger snabbare.

"Streaminglösningen fungerar lika snabbt som datainsamlingen vid denna tidpunkt, "Enfedaque sa." Du kan rekonstruera den ptychographic bilden med den hastighet som data fångas och förbehandlas. "

Dessutom, teamet vill förbättra rörledningens möjligheter genom att införliva maskininlärningsalgoritmer som ytterligare kan automatisera dataanalysprocessen.

"Målet är att göra det sömlöst, "Krishnan sa." Just nu är det användarna tittar på en grov bild för att fatta snabba beslut och en finare bild för att fatta mer komplexa beslut. Så småningom vill vi komma bort från råa ramar och data helt och hållet och hamna i detta område där alla beslut och alla punkter bara är en enda rekonstruerad bild. Alla dessa andra mellanliggande saker försvinner. "

"Dataströmningsförmågan ger analys av tidsskalan för mänskligt beslutsfattande för operatörer, men det underlättar också framtiden, vilka skulle vara maskiner som fattar beslut och styr mätningarna, "Tillade Shapiro.