Ett forskningssamarbete mellan Lawrence Berkeley National Laboratory (Berkeley Lab), Pacific Northwest National Laboratory (PNNL), Brown University, och NVIDIA har uppnått exaflop-prestanda på Summit-superdatorn med en djupinlärningsapplikation som används för att modellera flöden under ytan i studier av kärnavfallssanering. Deras prestation, som kommer att presenteras under workshopen "Deep Learning on Supercomputers" på SC19, demonstrerar löftet om fysikinformerade generativa kontradiktoriska nätverk (GAN) för att analysera komplexa, storskaliga vetenskapliga problem.

"Inom vetenskapen känner vi till fysikens lagar och observationsprinciper - massa, Momentum, energi, etc., sade George Karniadakis, professor i tillämpad matematik vid Brown och medförfattare på SC19 workshop paper. "Konceptet med fysikinformerade GAN:er är att koda tidigare information från fysiken till det neurala nätverket. Detta gör att du kan gå långt utanför träningsdomänen, vilket är mycket viktigt i applikationer där förutsättningarna kan förändras."

GAN har använts för att modellera mänskligt ansiktsutseende med anmärkningsvärd noggrannhet, noterade Prabhat, en medförfattare på SC19-uppsatsen som leder Data and Analytics Services-teamet vid Berkeley Labs National Energy Research Scientific Computing Center. "I vetenskap, Berkeley Lab har utforskat tillämpningen av vanilj GAN för att skapa syntetiska universum och partikelfysikexperiment; en av de öppna utmaningarna hittills har varit att införliva fysiska begränsningar i förutsägelserna, " sa han. "George och hans grupp på Brown har banat väg för att införliva fysik i GAN och använda dem för att syntetisera data – i det här fallet, underjordiska flödesfält."

För denna studie, forskarna fokuserade på Hanford-platsen, etablerades 1943 som en del av Manhattan-projektet för att producera plutonium för kärnvapen och så småningom hem till den första fullskaliga plutoniumproduktionsreaktorn i världen, åtta andra kärnreaktorer, och fem plutoniumbearbetningskomplex. När plutoniumproduktionen upphörde 1989, kvar lämnades tiotals miljoner liter radioaktivt och kemiskt avfall i stora underjordiska tankar och mer än 100 kvadratkilometer förorenat grundvatten till följd av bortskaffande av uppskattningsvis 450 miljarder liter vätskor till markdeponi. Så under de senaste 30 åren har det amerikanska energidepartementet arbetat med Environmental Protection Agency och Washington State Department of Ecology för att städa upp Hanford, som ligger på 580 kvadrat miles (nästan 500, 000 hektar) i södra centrala Washington, hela delar av den gränsar till Columbia River – den största floden i Pacific Northwest och en kritisk genomfartsled för industri och vilda djur.

För att spåra saneringsarbetet, arbetare har förlitat sig på att borra brunnar på Hanford-platsen och placera sensorer i dessa brunnar för att samla in data om geologiska egenskaper och grundvattenflöde och observera utvecklingen av föroreningar. Underjordiska miljöer som Hanford Site är mycket heterogena med varierande rymdegenskaper, förklarade Alex Tartakovsky, en beräkningsmatematiker vid PNNL och medförfattare på SC19-papperet. "Att uppskatta Hanford Site-egenskaperna endast utifrån data skulle kräva mer än en miljon mätningar, och i praktiken har vi kanske tusen. Fysikens lagar hjälper oss att kompensera för bristen på data."

"Standardparameteruppskattningen är att anta att parametrarna kan ta många olika former, och sedan för varje form måste du lösa underjordiska flödesekvationer kanske miljoner gånger för att bestämma parametrar som bäst passar observationerna, ", tillade Tartakovsky. Men för den här studien tog forskargruppen en annan väg:att använda en fysikinformerad GAN och högpresterande beräkningar för att uppskatta parametrar och kvantifiera osäkerheten i flödet under ytan.

För detta tidiga valideringsarbete, forskarna valde att använda syntetiska data – data genererade av en datormodell baserad på expertkunskap om Hanford-platsen. Detta gjorde det möjligt för dem att skapa en virtuell representation av platsen som de sedan kunde manipulera efter behov baserat på de parametrar som de var intresserade av att mäta - främst hydraulisk konduktivitet och hydraulisk höjd, båda nyckeln till att modellera platsen för föroreningarna. Framtida studier kommer att inkludera verkliga sensordata och verkliga förhållanden.

"Det ursprungliga syftet med detta projekt var att uppskatta metodernas noggrannhet, så vi använde syntetisk data istället för riktiga mätningar, ", sa Tartakovsky. "Detta gjorde det möjligt för oss att uppskatta prestandan hos det fysikinformerade GANS som en funktion av antalet mätningar."

Under utbildning av GAN på Summit-superdatorn vid Oak Ridge Leadership Computing Facility OLCF, teamet kunde uppnå en topp på 1,2 exaflop och ihållande prestanda – det första exemplet på en storskalig GAN-arkitektur som tillämpas på SPDE. Den geografiska omfattningen, rumslig heterogenitet, och flera korrelationslängdskalor för Hanford-platsen krävde träning av GAN-modellen till tusentals dimensioner, så teamet utvecklade en mycket optimerad implementering som skalade till 27, 504 NVIDIA V100 Tensor Core GPU:er och 4, 584 noder på Summit med en skalningseffektivitet på 93,1 %.

"Att uppnå en så stor skala och prestanda krävde full stack-optimering och flera strategier för att extrahera maximal parallellism, sa Mike Houston, som leder AI Systems-teamet på NVIDIA. "På chipnivå, vi optimerade strukturen och designen av det neurala nätverket för att maximera Tensor Core-användningen via cuDNN-stöd i TensorFlow. På nodnivå, vi använde NCCL och NVLink för höghastighetsdatautbyte. Och på systemnivå, vi optimerade Horovod och MPI inte bara för att kombinera data och modeller utan för att hantera motståndares parallella strategier. För att maximera utnyttjandet av våra GPU:er, vi var tvungna att dela data och sedan distribuera den för att anpassa oss till parallelliseringstekniken."

"Detta är ett nytt högvattenmärke för GAN-arkitekturer, ", sa Prabhat. "Vi ville skapa ett billigt surrogat för en mycket kostsam simulering, och vad vi kunde visa här är att en fysikbegränsad GAN-arkitektur kan producera rumsliga fält som överensstämmer med vår kunskap om fysik. Dessutom, detta exemplariska projekt samlade experter från underjordsmodellering, tillämpad matematik, Djup lärning, och HPC. Eftersom DOE överväger bredare tillämpningar av djupinlärning - och, särskilt, GAN-till simuleringsproblem, Jag förväntar mig att flera forskarlag ska inspireras av dessa resultat."

Pappret, "Mycket skalbar, Fysik-informerade GAN:er för inlärningslösningar av Stokastiska PDE:er, " kommer att presenteras på workshopen SC19 Deep Learning on Supercomputers. I