En bild av fördelningen av materia i universum genererad av en Mira-simuleringskörning som modellerar 1,1 biljoner partiklar. Kredit:Hal Finkel, Nicholas Frontiere, Salman Habib, Katrin Heitmann, Mark Hereld, Joseph Insley, Kalyan Kumaran, Vitali Morozov, Michael E. Papka, Tom Peterka, Adrian Pope, och Tim Williams, Argonne National Laboratory; Zarija Lukic, Lawrence Berkeley National Laboratory; David Daniel och Patricia Fasel, Los Alamos National Laboratory
En extremt stor kosmologisk simulering – bland de fem mest omfattande som någonsin genomförts – kommer att köras på Mira i höst och exemplifierar omfattningen av problem som behandlas på ledarskapsklassens superdator vid U.S. Department of Energys (DOE:s) Argonne National Laboratory.
Argonne-fysikern och beräkningsvetaren Katrin Heitmann leder projektet. Heitmann var bland de första som utnyttjade Miras kapacitet när, under 2013, IBM Blue Gene/Q-systemet gick online på Argonne Leadership Computing Facility (ALCF), en DOE Office of Science User Facility. Bland de största kosmologiska simuleringarna som någonsin utförts vid den tiden, den yttre kantsimuleringen som hon och hennes kollegor genomförde möjliggjorde ytterligare vetenskaplig forskning under många år.
För den nya insatsen, Heitmann har tilldelats cirka 800 miljoner kärntimmar för att utföra en simulering som återspeglar banbrytande observationsframsteg från satelliter och teleskop och kommer att ligga till grund för himmelskartor som används av många undersökningar. Utvecklar ett enormt antal partiklar, simuleringen är utformad för att hjälpa till att lösa mysterier med mörk energi och mörk materia.
"Genom att omvandla denna simulering till en syntetisk himmel som nära efterliknar observationsdata vid olika våglängder, detta arbete kan möjliggöra ett stort antal vetenskapliga projekt inom hela forskarsamhället, " sa Heitmann. "Men det ställer oss inför en stor utmaning." Det vill säga, för att generera syntetiska himlar över olika våglängder, teamet måste extrahera relevant information och utföra analyser antingen i farten eller i efterhand i efterbearbetningen. Efterbehandling kräver lagring av enorma mängder data – så mycket, faktiskt, att bara läsa data blir extremt beräkningsmässigt dyrt.
Sedan Mira lanserades, Heitmann och hennes team har i sin Hardware/Hybrid Accelerated Cosmology Code (HACC) implementerat mer sofistikerade analysverktyg för bearbetning i farten. "Dessutom, jämfört med Outer Rim Simulation, vi har genomfört tre stora förbättringar, " sa hon. "Först, vår kosmologiska modell har uppdaterats så att vi kan köra en simulering med bästa möjliga observationsdata. Andra, eftersom vi siktar på en full maskinkörning, volymen kommer att ökas, leder till bättre statistik. Viktigast, vi har satt upp flera nya analysrutiner som gör det möjligt för oss att generera syntetiska luftrum för ett brett utbud av undersökningar, i sin tur gör det möjligt för oss att studera ett brett spektrum av vetenskapliga problem."
Teamets simulering kommer att behandla många grundläggande frågor inom kosmologi och är avgörande för att möjliggöra förfining av befintliga prediktiva verktyg och hjälpa utvecklingen av nya modeller, påverkar både pågående och kommande kosmologiska undersökningar, inklusive Dark Energy Spectroscopic Instrument (DESI), Large Synoptic Survey Telescope (LSST), SPHEREx, och "Stage-4" markbaserad kosmisk mikrovågsbakgrundsexperiment (CMB-S4). Värdet av simuleringen härrör från dess enorma volym (som är nödvändig för att täcka betydande delar av undersökningsområden) och från att uppnå nivåer av massa och kraftupplösning som är tillräckliga för att fånga de små strukturer som är värd för svaga galaxer.
Volymen och upplösningen ställer höga beräkningskrav, och eftersom de inte är lätta att möta, få storskaliga kosmologiska simuleringar genomförs. Det som bidrar till svårigheten att utföra dem är det faktum att superdatorernas minnesfootprints inte har avancerat proportionellt med bearbetningshastigheten under åren sedan Miras introduktion. Detta gör att systemet, trots sin relativa ålder, ganska optimalt för en storskalig kampanj när den utnyttjas fullt ut.
"En beräkning av denna skala är bara en glimt av vad exascale-resurserna i utveckling nu kommer att kunna göra 2021/22, sa Katherine Riley, ALCF:s vetenskapschef. "Forskarvärlden kommer att dra nytta av detta arbete under mycket lång tid."