När kosmologer och astrofysiker gräver djupare in i universums mörkaste fördjupningar, deras behov av allt kraftfullare observations- och beräkningsverktyg har expanderat exponentiellt. Från anläggningar som Dark Energy Spectroscopic Instrument till superdatorer som Lawrence Berkeley National Laboratorys Cori-system vid National Energy Research Scientific Computing (NERSC)-anläggningen, de är på jakt efter att samla in, simulera, och analysera ökande mängder data som kan hjälpa till att förklara naturen hos saker vi inte kan se, lika bra som de vi kan.

Mot detta mål, gravitationslinser är ett av de mest lovande verktygen forskare har för att extrahera denna information genom att ge dem förmågan att undersöka både universums geometri och tillväxten av kosmisk struktur. Gravitationslinser förvränger bilder av avlägsna galaxer på ett sätt som bestäms av mängden materia i siktlinjen i en viss riktning, och det ger ett sätt att titta på en tvådimensionell karta över mörk materia, enligt Deborah Bard, Gruppledare för Data Science Engagement Group i Berkeley Labs National Energy Research Scientific Computing Center (NERSC).

"Gravitationslinser är ett av de bästa sätten vi har att studera mörk materia, vilket är viktigt eftersom det säger oss mycket om universums struktur, " sa hon. "Majoriteten av materia i universum är mörk materia, som vi inte kan se direkt, så vi måste använda indirekta metoder för att studera hur det är fördelat."

Men när experimentella och teoretiska datauppsättningar växer, tillsammans med de simuleringar som behövs för att avbilda och analysera dessa data, en ny utmaning har dykt upp:dessa simuleringar blir alltmer — till och med oöverkomligt — beräkningsmässigt dyra. Så beräkningskosmologer tar ofta till beräkningsmässigt billigare surrogatmodeller, som efterliknar dyra simuleringar. På senare tid, dock, "framsteg inom djupa generativa modeller baserade på neurala nätverk öppnade möjligheten att konstruera mer robusta och mindre handkonstruerade surrogatmodeller för många typer av simulatorer, inklusive de inom kosmologi, sa Mustafa Mustafa, en maskininlärningsingenjör vid NERSC och huvudförfattare på en ny studie som beskriver ett sådant tillvägagångssätt utvecklat av ett samarbete som involverar Berkeley Lab, Google Research, och University of KwaZulu-Natal.

En mängd djupa generativa modeller undersöks för vetenskapliga tillämpningar, men det Berkeley Lab-ledda teamet tar ett unikt grepp:generativa motstridiga nätverk (GAN). I en tidning publicerad den 6 maj, 2019 i Beräkningsastrofysik och kosmologi , de diskuterar sitt nya nätverk för djupinlärning, dubbad CosmoGAN, och dess förmåga att skapa högtrohet, svaga gravitationslinskonvergenskartor.

"En konvergenskarta är faktiskt en 2D-karta över gravitationslinsen som vi ser på himlen längs siktlinjen, sade Bard, en medförfattare på Beräkningsastrofysik och kosmologi papper. "Om du har en topp i en konvergenskarta som motsvarar en topp i en stor mängd materia längs siktlinjen, det betyder att det finns en enorm mängd mörk materia i den riktningen."

Fördelarna med GAN

Varför välja GAN istället för andra typer av generativa modeller? Prestanda och precision, enligt Mustafa.

"Ur ett djupt lärande perspektiv, det finns andra sätt att lära sig att generera konvergenskartor från bilder, men när vi startade det här projektet verkade GAN producera mycket högupplösta bilder jämfört med konkurrerande metoder, samtidigt som de fortfarande är beräknings- och neurala nätverksstorlekseffektiva, " han sa.

"Vi letade efter två saker:att vara exakt och att vara snabb, " tillade medförfattaren Zaria Lukic, en forskare vid Computational Cosmology Center vid Berkeley Lab. "GAN ger hopp om att vara nästan lika exakta jämfört med fullständiga fysiksimuleringar."

Forskargruppen är särskilt intresserad av att konstruera en surrogatmodell som skulle minska beräkningskostnaderna för att köra dessa simuleringar. I den Beräkningsastrofysik och kosmologi papper, de beskriver ett antal fördelar med GAN:er vid studiet av stora fysiksimuleringar.

"GAN är kända för att vara mycket instabila under träning, speciellt när du kommer till slutet av träningen och bilderna börjar se snygga ut – det är då uppdateringarna av nätverket kan vara riktigt kaotiska, " sade Mustafa. "Men eftersom vi har den sammanfattande statistiken som vi använder inom kosmologi, vi kunde utvärdera GAN i varje steg av utbildningen, vilket hjälpte oss att avgöra vilken generator vi tyckte var den bästa. Denna procedur används vanligtvis inte vid utbildning av GAN."

Med hjälp av CosmoGAN-generatornätverket, teamet har kunnat producera konvergenskartor som beskrivs av – med hög statistisk tillförlitlighet – samma sammanfattande statistik som de helt simulerade kartorna. Denna mycket höga nivå av överensstämmelse mellan konvergenskartor som statistiskt inte går att särskilja från kartor producerade av fysikbaserade generativa modeller erbjuder ett viktigt steg mot att bygga emulatorer ur djupa neurala nätverk.

"Den stora fördelen här var att problemet vi tacklade var ett fysikproblem som hade associerade mätvärden, " Sa Bard. "Men med vår inställning, det finns faktiska mätvärden som låter dig kvantifiera hur exakt ditt GAN är. För mig är det det som verkligen är spännande med det här – hur den här typen av fysikproblem kan påverka maskininlärningsmetoder.

I slutändan skulle sådana tillvägagångssätt kunna förändra vetenskap som för närvarande bygger på detaljerade fysiksimuleringar som kräver miljarder beräkningstimmar och upptar petabyte diskutrymme – men det återstår mycket arbete att göra. Kosmologiska data (och vetenskapliga data i allmänhet) kan kräva mycket högupplösta mätningar, såsom teleskopbilder i hel himmel.

"De 2D-bilder som övervägs för detta projekt är värdefulla, men de faktiska fysiksimuleringarna är 3D och kan vara tidsvarierande och oregelbundna, producerar en rik, webbliknande struktur av funktioner, " sa Wahid Bhmiji, en stordataarkitekt i Data and Analytics Services-gruppen på NERSC och en medförfattare på Beräkningsastrofysik och kosmologi papper. "Dessutom, tillvägagångssättet måste utvidgas för att utforska nya virtuella universum snarare än de som redan har simulerats – i slutändan bygga en kontrollerbar CosmoGAN."

"Idén med att göra kontrollerbara GAN:er är i huvudsak den heliga graalen av hela problemet som vi arbetar med:för att verkligen kunna efterlikna de fysiska simulatorerna behöver vi bygga surrogatmodeller baserade på kontrollerbara GAN:er, Mustafa tillade. "Just nu försöker vi förstå hur vi kan stabilisera träningsdynamiken, med tanke på alla framsteg inom området som har skett under de senaste åren. Att stabilisera utbildningen är oerhört viktigt för att faktiskt kunna göra det vi vill göra härnäst."