Ett team av fysiker och datavetare från U.S. Department of Energys (DOE) Argonne National Laboratory utförde en av de fem största kosmologiska simuleringarna någonsin. Data från simuleringen kommer att informera himmelskartor för att hjälpa ledande storskaliga kosmologiska experiment.

Simuleringen, kallad den sista resan, följer massfördelningen över universum över tid – med andra ord, hur gravitationen får en mystisk osynlig substans som kallas "mörk materia" att klumpa ihop sig för att bilda strukturer i större skala som kallas halos, inom vilka galaxer bildas och utvecklas.

"Vi har lärt oss och anpassat oss mycket under Miras livstid, och det här är ett intressant tillfälle att se tillbaka och se framåt på samma gång." - Adrian Pope, Argonne-fysiker

Forskarna utförde simuleringen på Argonnes superdator Mira. Samma team av forskare körde en tidigare kosmologisk simulering som heter Outer Rim 2013, bara dagar efter att Mira slog på. Efter att ha kört simuleringar på maskinen under dess sjuåriga livslängd, laget markerade Miras pensionering med Sista resan-simuleringen.

The Last Journey visar hur långt observations- och beräkningsteknologi har kommit på bara sju år, och det kommer att bidra med data och insikter till experiment som Steg-4 markbaserad kosmisk mikrovågsbakgrundsexperiment (CMB-S4), Legacy Survey of Space and Time (utförd av Rubin Observatory i Chile), Dark Energy Spectroscopic Instrument och två NASA-uppdrag, det romerska rymdteleskopet och SPHEREx.

"Vi arbetade med en enorm volym av universum, och vi var intresserade av storskaliga strukturer, som regioner med tusentals eller miljontals galaxer, men vi övervägde också dynamik i mindre skalor, sa Katrin Heitmann, biträdande divisionsdirektör för Argonnes division High Energy Physics (HEP).

Koden som konstruerade kosmos

Sexmånadersperioden för Sista Journey-simuleringen och större analysuppgifter innebar unika utmaningar för mjukvaruutveckling och arbetsflöde. Teamet anpassade en del av samma kod som användes för 2013 års Yttre Rim-simulering med några betydande uppdateringar för att effektivt använda Mira, ett IBM Blue Gene/Q-system som var inrymt i Argonne Leadership Computing Facility (ALCF), en DOE Office of Science User Facility.

Specifikt, forskarna använde Hardware/Hybrid Accelerated Cosmology Code (HACC) och dess analysramverk, CosmoTools, för att möjliggöra inkrementell extrahering av relevant information samtidigt som simuleringen kördes.

"Att köra hela maskinen är utmanande eftersom att läsa den enorma mängden data som produceras av simuleringen är beräkningsmässigt dyrt, så du måste göra mycket analys i farten, sade Heitmann. Det är skrämmande, för om du gör ett misstag med analysinställningar, du har inte tid att göra om det."

Teamet tog ett integrerat tillvägagångssätt för att utföra arbetsflödet under simuleringen. HACC skulle köra simuleringen framåt i tiden, bestämma gravitationens inverkan på materia under stora delar av universums historia. När HACC väl bestämt positionerna för biljoner beräkningspartiklar som representerar den övergripande fördelningen av materia, CosmoTools skulle gå in för att spela in relevant information - som att hitta de miljarder halos som är värd för galaxer - för att använda för analys under efterbearbetning.

"När vi vet var partiklarna är vid en viss tidpunkt, vi karakteriserar strukturerna som har bildats genom att använda CosmoTools och lagrar en delmängd av data för att göra ytterligare användning längre fram, sade Adrian Pope, fysiker och kärnutvecklare av HACC och CosmoTools i Argonnes division Computational Science (CPS). "Om vi ​​hittar en tät klump av partiklar, som indikerar platsen för en gloria av mörk materia, och galaxer kan bildas inuti dessa mörka materia-glorier."

Forskarna upprepade denna sammanvävda process – där HACC flyttar partiklar och CosmoTools analyserar och registrerar specifik data – fram till slutet av simuleringen. Teamet använde sedan funktioner i CosmoTools för att avgöra vilka klumpar av partiklar som sannolikt skulle vara värd för galaxer. Som referens, runt 100 till 1, 000 partiklar representerar enstaka galaxer i simuleringen.

"Vi skulle flytta partiklar, göra analys, flytta partiklar, göra analys, sade påven. I slutet, vi skulle gå tillbaka genom de delmängder av data som vi noggrant hade valt att lagra och köra ytterligare analys för att få mer insikt i dynamiken i strukturbildning, som vilka glorior som smälte samman och vilka som slutade kretsa runt varandra."

Genom att använda det optimerade arbetsflödet med HACC och CosmoTools, teamet körde simuleringen på halva den förväntade tiden.

Gemenskapens bidrag

Simuleringen av Sista resan kommer att tillhandahålla data som är nödvändiga för andra stora kosmologiska experiment att använda när man jämför observationer eller drar slutsatser om en mängd ämnen. Dessa insikter skulle kunna belysa ämnen som sträcker sig från kosmologiska mysterier, såsom mörk materias och mörk energis roll i universums utveckling, till astrofysiken för galaxbildning över universum.

"Denna enorma datamängd de bygger kommer att matas in i många olika ansträngningar, sa Katherine Riley, vetenskapschef vid ALCF. "I slutet, det är vårt primära uppdrag – att hjälpa vetenskap med stor inverkan att bli klar. När du inte bara kan göra något coolt, men för att mata ett helt samhälle, det är ett enormt bidrag som kommer att påverka i många år."

Teamets simulering kommer att behandla många grundläggande frågor inom kosmologi och är avgörande för att möjliggöra förfining av befintliga modeller och utveckling av nya, påverkar både pågående och kommande kosmologiska undersökningar.

"Vi försöker inte matcha några specifika strukturer i det faktiska universum, sade påven. Snarare, vi gör statistiskt likvärdiga strukturer, vilket innebär att om vi tittade igenom vår data, vi kunde hitta platser där galaxer lika stora som Vintergatan skulle leva. Men vi kan också använda ett simulerat universum som ett jämförelseverktyg för att hitta spänningar mellan vår nuvarande teoretiska förståelse av kosmologi och vad vi har observerat."

Söker exascale

"Tänker tillbaka på när vi körde Outer Rim-simuleringen, du kan verkligen se hur långt dessa vetenskapliga tillämpningar har kommit, sa Heitmann, som utförde Outer Rim 2013 med HACC-teamet och Salman Habib, CPS divisionsdirektör och Argonne Distinguished Fellow. "Det var fantastiskt att driva något väsentligt större och mer komplext som kommer att tillföra så mycket till samhället."

När Argonne arbetar mot ankomsten av Aurora, ALCF:s kommande exascale superdator, forskarna förbereder sig för ännu mer omfattande kosmologiska simuleringar. Exascale datorsystem kommer att kunna utföra en miljard miljarder beräkningar per sekund – 50 gånger snabbare än många av de mest kraftfulla superdatorerna som fungerar idag.

"Vi har lärt oss och anpassat oss mycket under Miras livstid, och det här är ett intressant tillfälle att se tillbaka och se framåt på samma gång, ", sa Pope. "När man förbereder sig för simuleringar på exascale-maskiner och ett nytt decennium av framsteg, vi förfinar vår kod och analysverktyg, och vi får fråga oss själva vad vi inte gjorde på grund av de begränsningar vi har haft fram till nu."

The Last Journey var en simulering av enbart gravitation, vilket betyder att den inte beaktade interaktioner som gasdynamik och fysik för stjärnbildning. Gravity är den största aktören inom storskalig kosmologi, men forskarna hoppas kunna införliva annan fysik i framtida simuleringar för att observera skillnaderna de gör i hur materia rör sig och distribuerar sig genom universum över tiden.

"Mer och mer, vi hittar tätt kopplade relationer i den fysiska världen, och för att simulera dessa interaktioner, forskare måste utveckla kreativa arbetsflöden för bearbetning och analys, " sa Riley. "Med dessa iterationer, du kan komma fram till dina svar – och dina genombrott – ännu snabbare."

Ett papper om simuleringen, med titeln "Den sista resan. I. En simulering i extrem skala på Miras superdator, " publicerades den 27 januari i Astrophysical Journal Supplement Series . Forskarna förbereder för närvarande uppföljningsdokument för att generera detaljerade syntetiska himmelskataloger.