Det finns hundratals miljarder stjärnor i vår egen Vintergatans galax. Uppskattningar indikerar ett liknande antal galaxer i det observerbara universum, var och en med sin egen stora samling av stjärnor, många med sina egna planetsystem. Bortom och mellan dessa stjärnor och galaxer finns all slags materia i olika faser, som gas och damm. En annan form av materia, mörk materia, existerar i en mycket annorlunda och mystisk form, tillkännager sin närvaro indirekt endast genom dess gravitationseffekter.

Detta är universum Salman Habib försöker rekonstruera, struktur för struktur, med hjälp av exakta observationer från teleskopundersökningar i kombination med nästa generations dataanalys och simuleringstekniker som för närvarande förbereds för exascale computing.

"Vi simulerar alla processer i universums struktur och bildning. Det är som att lösa ett mycket stort fysikpussel, sa Habib, en senior fysiker och beräkningsforskare med högenergifysik och matematik och datavetenskap divisionerna vid U.S. Department of Energys (DOE) Argonne National Laboratory.

Habib leder projektet "Computing the Sky at Extreme Scales" eller "ExaSky, "ett av de första projekten som finansierades av det nyligen etablerade Exascale Computing Project (ECP), ett samarbete mellan DOE:s Office of Science och dess National Nuclear Security Administration.

Från att bestämma den ursprungliga orsaken till primordiala fluktuationer till att mäta summan av alla neutrinomassor, projektets vetenskapliga mål representerar en tvättlista med de största frågorna, mysterier och utmaningar som för närvarande förvirrar kosmologer.

Det är frågan om mörk energi, den potentiella orsaken till den accelererade expansionen av universum, medan ännu en annan är naturen och fördelningen av mörk materia i universum.

Dessa är enorma frågor som kräver lika expansiv beräkningskraft att besvara. ECP förbereder vetenskapliga koder för exascale-system, de nya arbetshästarna inom beräknings- och stordatavetenskap.

Initierad för att driva utvecklingen av ett "exascale ekosystem" av banbrytande, högpresterande arkitekturer, koder och ramverk, ECP kommer att tillåta forskare att ta itu med data och beräkningsintensiva utmaningar som ExaSky-simuleringarna av det kända universum.

Förutom omfattningen av deras beräkningskrav, ECP-projekt väljs utifrån om de möter specifika strategiska områden, allt från energi och ekonomisk säkerhet till vetenskapliga upptäckter och hälsovård.

"Salmans forskning tittar verkligen på viktiga och grundläggande vetenskapliga frågor, men det har samhälleliga fördelar, för, sade Paul Messina, Argonne Distinguished Fellow. "Människor tenderar att undra var de kom ifrån, och den nyfikenheten är väldigt djup."

HACC'ing natthimlen

För Habib, ECP utgör en dubbel utmaning – hur bedriver du banbrytande vetenskap på banbrytande maskiner?

Det tvärdivisionella Argonne-teamet har arbetat med vetenskapen genom en flerårig insats vid Argonne Leadership Computing Facility (ALCF), en DOE Office of Science User Facility. Teamet kör kosmologiska simuleringar för storskaliga himmelundersökningar på anläggningens 10 petaflop högpresterande dator, Mira. Simuleringarna är designade för att fungera med observationsdata som samlats in från specialiserade undersökningsteleskop, som det kommande Dark Energy Spectroscopic Instrument (DESI) och Large Synoptic Survey Telescope (LSST).

Undersökningsteleskop tittar på mycket större områden på himlen — upp till halva himlen, när som helst – än vad Hubble Space Telescope gör, till exempel, som fokuserar mer på enskilda objekt. En natt koncentrerad på ett plåster, nästa natt en annan, undersökningsinstrument undersöker systematiskt himlen för att utveckla en kartografisk registrering av kosmos, som Habib beskriver det.

Arbetar i partnerskap med Los Alamos och Lawrence Berkeley National Laboratories, Argonne-teamet förbereder sig för att kartlägga resten av banan.

Deras primära kod, som Habib hjälpte till att utveckla, är redan bland de snabbaste vetenskapsproduktionskoder som används. Kallas HACC (Hardware/Hybrid Accelerated Cosmology Code), detta partikelbaserade kosmologiska ramverk stöder en mängd olika programmeringsmodeller och algoritmer.

Unikt bland koder som används i andra exascale datorprojekt, den kan köras på alla nuvarande och prototyparkitekturer, från det grundläggande X86-chippet som används i de flesta hemdatorer, till grafiska bearbetningsenheter, till det nyaste Knights Landing-chippet som finns i Theta, ALCF:s senaste superdatorsystem.

Så robust som koden redan är, HACC-teamet fortsätter att utveckla det ytterligare, lägga till betydande nya möjligheter, såsom hydrodynamik och tillhörande subgridmodeller.

"När du kör mycket stora simuleringar av universum, du kan omöjligt göra allt, eftersom det bara är för detaljerat, Habib förklarade. "T.ex. om vi kör en simulering där vi bokstavligen har tiotals till hundratals miljarder galaxer, vi kan inte följa varje galax i detalj. Så vi kommer med ungefärliga tillvägagångssätt, kallas undernätsmodeller."

Även med dessa förbättringar och dess framgångar, HACC-koden kommer fortfarande att behöva öka sin prestanda och minne för att kunna fungera i ett exascale ramverk. Förutom HACC, ExaSky-projektet använder den adaptiva mesh-förfiningskoden Nyx, utvecklad på Lawrence Berkeley. HACC och Nyx kompletterar varandra med olika specialiseringsområden. Synergin mellan de två är en viktig del av ExaSky-teamets tillvägagångssätt.

En kosmologisk simuleringsmetod som kombinerar flera tillvägagångssätt tillåter verifiering av svårlösta kosmologiska processer som involverar gravitationsevolution, gasdynamik och astrofysiska effekter vid mycket höga dynamiska intervall. Nya beräkningsmetoder som maskininlärning kommer att hjälpa forskare att snabbt och systematiskt känna igen funktioner i både observations- och simuleringsdata som representerar unika händelser.

En biljon partiklar av ljus

Det arbete som produceras under ECP kommer att tjäna flera syften, gynnar både framtiden för kosmologisk modellering och utvecklingen av framgångsrika exascale-plattformar.

När det gäller modellering, datorn kan generera många universum med olika parametrar, gör det möjligt för forskare att jämföra sina modeller med observationer för att avgöra vilka modeller som passar data mest exakt. Alternativt modellerna kan göra förutsägelser för observationer som ännu inte gjorts.

Modeller kan också producera extremt realistiska bilder av himlen, vilket är viktigt när man planerar stora observationskampanjer, såsom de av DESI och LSST.

"Innan du spenderar pengarna på att bygga ett teleskop, det är viktigt att även producera extremt bra simulerad data så att människor kan optimera observationskampanjer för att möta sina datautmaningar, sa Habib.

Men kostnaden för realism är dyr. Simuleringar kan sträcka sig inom biljonpartikelområdet och producera flera petabyte – kvadrilljoner byte – av data i en enda körning. När exascale blir vanligare, dessa simuleringar kommer att producera 10 till 100 gånger så mycket data.

Arbetet som ExaSky-teamet gör, tillsammans med de andra ECP-forskarteamen, kommer att hjälpa till att hantera dessa utmaningar och de som datortillverkare och mjukvaruutvecklare står inför när de skapar sammanhängande, funktionella exascale plattformar för att möta behoven hos storskalig vetenskap. Genom att arbeta med sina egna koder på pre-exascale maskiner, ECP-forskarteamet kan hjälpa leverantörer med chipdesign, I/O-bandbredd och minneskrav och andra funktioner.

"Alla dessa saker kan hjälpa ECP-gemenskapen att optimera sina system, " noterade Habib. "Det är den grundläggande anledningen till att ECP-vetenskapsteamen valdes. Vi kommer att ta de lärdomar vi lär oss av att hantera denna arkitektur tillbaka till resten av vetenskapssamhället och säga, "Vi har hittat en lösning."