Forskare har byggt simuleringar för att förklara beteendet i den verkliga världen, inklusive modellering för sjukdomsöverföring och förebyggande, autonoma fordon, klimatvetenskap, och i sökandet efter universums grundläggande hemligheter. Men hur man tolkar stora mängder experimentella data i termer av dessa detaljerade simuleringar är fortfarande en viktig utmaning. Probabilistisk programmering erbjuder en lösning – i huvudsak omvänd konstruktion av simuleringen – men denna teknik har länge varit begränsad på grund av behovet av att skriva om simuleringen på anpassade datorspråk, plus den intensiva datorkraft som krävs.

För att möta denna utmaning, ett multinationellt samarbete mellan forskare som använder datorresurser vid Lawrence Berkeley National Laboratorys National Energy Research Scientific Computing Center (NERSC) har utvecklat det första probabilistiska programmeringsramverket som kan styra befintliga simulatorer och köras i stor skala på HPC-plattformar. Systemet, kallas Etalumis ("simulera" stavat baklänges), utvecklades av en grupp forskare från University of Oxford, University of British Columbia (UBC), Intel, New York University, CERN, och NERSC som en del av ett Big Data Center-projekt.

Etalumis utför Bayesiansk inferens - en metod för statistisk slutledning där Bayes sats används för att uppdatera sannolikheten för en hypotes när mer bevis eller information blir tillgänglig - och inverterar i huvudsak simulatorn för att förutsäga ingångsparametrar från observationer. Teamet satte ut Etalumis för första gången för Large Hadron Collider (LHC) vid CERN, ger en ny nivå av tolkningsbarhet till dataanalys från LHC:s högenergifysikdetektorer. Ett papper baserat på Etalumis har valts ut som finalist för bästa papper på SC19. Författarna kommer att tala om Etalumis på SC19 på tisdag, 19 november klockan 16.30.

Från dagar till minuter

Bayesiansk slutledning används i praktiskt taget alla vetenskapliga discipliner, enligt Frank Wood, en Etalumis-samarbetspartner, Docent i datavetenskap vid UBC, och en av pionjärerna inom probabilistisk programmering.

"Jag var särskilt intresserad av att tillämpa Bayesiansk slutledning på ett extremt komplext fysikproblem, och högenergifysikdetektorer kändes som den perfekta provningsplatsen för vår grupps nyskapande forskning, " säger han. "Etalumis-projektet gav en unik möjlighet att kombinera ett banbrytande neuralt nätverk baserat på en 'inferenskompilering'-metod med ett mjukvaruramverk (pyprob) för att direkt koppla denna inferensmotor till befintliga detaljerade partikelfysiksimulatorer och köra den på resurser i HPC-skala."

Forskare har redan robusta simuleringsmjukvarupaket som modellerar fysiken och allt som händer i detektorn. Etalumis tar in probabilistisk programmering för att koppla ihop med denna befintliga programvara, i huvudsak ger forskare möjligheten att säga "Vi hade den här observationen; hur kom vi dit?"

"Det här projektet är spännande eftersom det gör befintliga simulatorer inom många vetenskaps- och teknikområden föremål för probabilistisk maskininlärning, " säger Atilim Gunes Baydin, huvudutvecklare av Etalumis-projektet och huvudförfattare till SC19-uppsatsen. Gunes är för närvarande postdoktor i maskininlärning vid University of Oxford. "Detta betyder att simulatorn inte längre används som en svart låda för att generera syntetisk träningsdata, men som en tolkbar probabilistisk generativ modell som simulatorns kod redan anger, där vi kan göra slutledningar.

"Vi måste kunna kontrollera programmet för att köra ner alla möjligheter, så i det här projektet lade vi till den här förmågan som ett mjukvarulager, " tillägger Wahid Bhimji, en Big Data Architect i Data and Analytics Services-teamet på NERSC. Dock, att utföra slutledningar i sådana komplexa miljöer medför beräkningsutmaningar. "Konventionella metoder för denna typ av Bayesiansk slutledning är extremt beräkningsmässigt dyra, " Bhimji tillägger. "Etalumis låter oss göra på några minuter vad som normalt skulle ta dagar, använder NERSC HPC-resurser."

Djup tolkningsbarhet

För LHC-användningsfallet, teamet tränade ett neuralt nätverk för att utföra slutledning, lära sig att komma med bra förslag om vilken detaljerad kedja av fysikprocesser från simulatorn som kan ha inträffat. Detta krävde förbättringar av PyTorchs djupinlärningsramverk för att träna ett komplext dynamiskt neuralt nätverk på mer än 1, 000 noder (32, 000 CPU-kärnor) av Cori-superdatorn på NERSC. Som ett resultat, utbildning som skulle ta månader med den ursprungliga ooptimerade programvaran på en enda nod kan nu slutföras på mindre än 10 minuter på Cori. Forskare fick därmed en möjlighet att studera de val som låg till grund för att producera varje resultat, ge dem en större förståelse för data.

"I många fall vet du att det finns en osäkerhet när det gäller att bestämma fysiken som inträffade vid en LHC-kollision men du vet inte sannolikheterna för alla processer som kunde ha gett upphov till en viss observation; med Etalumis, du får en modell av det, " förklarar Bhimji.

Den djupa tolkningsbarheten som Etalumis ger till dataanalys från LHC kan stödja stora framsteg inom fysikvärlden. "Tecken på ny fysik kan mycket väl gömma sig i LHC-data; att avslöja dessa signaler kan kräva en paradigmändring från den klassiska algoritmiska bearbetningen av data till ett mer nyanserat probabilistiskt tillvägagångssätt, " säger Kyle Cranmer, en NYU-fysiker som var en del av Etalumis-projektet. "Detta tillvägagångssätt tar oss till gränsen för vad som är kännbart kvantmekaniskt."