En simulering av planeten från DOE Energy Exascale Earth System Model, en av de storskaliga modellerna som ingår i Earth System Grid Federation ledd av DOE:s Oak Ridge, Argonne och Lawrence Livermore nationella laboratorier. Kredit:LLNL, U.S. Dept. of Energy
Earth System Grid Federation, ett initiativ från flera instanser som samlar in och distribuerar data för prognoser av högsta nivå av jordens klimat, förbereder en serie uppgraderingar som kommer att göra det enklare och snabbare att använda data och samtidigt förbättra hur informationen kureras.
Federationen, som leds av Department of Energy's Oak Ridge National Laboratory i samarbete med Argonne och Lawrence Livermores nationella laboratorier, är en integrerad del av några av de viktigaste, mest effektfulla och allmänt respekterade prognoserna av jordens framtida klimat:de som gjorts av forskare som arbetar med Coupled Model Intercomparison Projects för World Climate Research Program.
"ESGF-data handlar om livets framtid på jorden," sa Hoffman. "Genom att ge forskarna enkel tillgång till hela samlingen av internationella modeller, gör ESGF det möjligt för dem att göra den allra bästa gissningen om vårt klimats framtida bana."
En viktig ESGF-uppdrag är att stödja databehoven hos forskare som förbereder FN:s mellanstatliga panel för klimatförändringars omfattande klimatbedömningar som släpps vart sjätte till sjunde år. ESGF-data stöder IPCC-landmärkerapporter som den senaste sjätte utvärderingsrapporten, AR6, och dess arbetsgruppsresultat. Uppgifterna informerar också IPCC om specialrapporter fokuserade på klimatsårbarheter, anpassningsscenarier och begränsningsstrategier.
En annan viktig aspekt av ESGF:s uppdrag är att säkerställa att vetenskaplig undersökning är transparent, samarbetsbar och reproducerbar, med tanke på dess direkta inverkan på global klimatforskning och potentiell användning i beslutsfattande.
"All data från jordsystemets modell som ingår i IPCC-rapporterna och alla de viktigaste simuleringarna av klimatet från hela världen lagras i ESGF och görs tillgängliga genom de tjänster vi tillhandahåller", säger Forrest Hoffman, chef för ESGF och Computational Earth Sciences-gruppen vid ORNL. "Federationen får data i händerna på tiotusentals forskare som analyserar dem och jämför dem med observationsdata för att ständigt uppdatera våra bästa framtidsprognoser."
I en ny version av ESGF-projektet arbetar beräkningsforskare med att förbättra dataupptäckt, åtkomst och lagring. Arbetet kommer att förlita sig på de senaste mjukvaruverktygen, resurser för molnberäkningar, världens mest kraftfulla superdatorer och DOE:s Energy Sciences Network, eller ESnet. ESnet möjliggör för närvarande överföringshastigheter på 100 gigabit per sekund mellan nationella laboratorier och kopplingar till nationella och internationella universitet och forskningscentra. En uppgradering som förväntas i slutet av året kommer att öka ESnet-överföringshastigheterna till så mycket som 400 Gbps.
"Vi kommer att utveckla och distribuera ett helt nytt, moderniserat och cybersäkert system för att distribuera modellutdata till forskarvärlden," sa Hoffman.
Federationen fungerar som ett nätverk av stora datornoder som är värd i USA och 17 andra länder, och fungerar tillsammans som ett stort dataarkiv. ORNL, ANL och LLNL arbetar för att förbättra systemets tillförlitlighet och skalbarhet, vilket ger en smidig datareplikeringsprocess som säkerställer att det bredare forskarsamhället har tillgång till data från alla ESGF-partners. ORNL och ANL kommer också att vara värd för en dubbel säkerhetskopiering av de mer än 10 petabyte (och antalet) av ESGF kumulativa data och modeller, och dra nytta av de världsklassiga datorsystem som finns på laboratorierna.
Utveckla robusta användargränssnitt och säkra, pålitliga arkiv
Det fleråriga uppgraderingsprojektet har redan replikerat befintlig data och tillhandahåller de lagrings- och beräkningstjänster som behövs för att dynamiskt generera data för användargemenskapen samtidigt som det bygger ut ny infrastruktur och tjänster. ESGF har skapat en färdplan som vägledning för sitt utvecklingsarbete.
ORNL tillför betydande erfarenhet av stora datacenter och storskalig modellering och simulering till sin ledande roll i ESGF. Labbet är hem för Oak Ridge Leadership Computing Facility, en DOE Office of Science-användaranläggning vars Frontier exascale-datorsystem nyligen rankades som världens snabbaste, samt Climate Change Science Institute, som samlar dataexperter, modellerare och experimentalister. för att påskynda förståelsen av klimatförändringarna och dess effekter.
"ORNL är i den unika positionen att känna till big data och även känna till klimatet och fungera som värd för mycket stora datacenter och gränssnitten som gör den informationen lättillgänglig för forskare runt om i världen," sa Hoffman.
Argonne Leadership Computing Facility lånar ut sina unika möjligheter, liksom Globus forskningsdatahanteringssystem, som drivs för forskarsamhället av University of Chicago, till federationen. Globus-tjänster kommer att användas i den uppgraderade ESGF för autentisering och för dataindexering, åtkomst och replikering.
"De terabyte och petabyte som genereras av dagens klimatmodeller kräver nya tillvägagångssätt för datahantering och analys", säger Ian Foster, ANL-ledare för projektet. "Vi kommer att möjliggöra inte bara snabbare nedladdning av datamängder, utan även tidigare omöjliga dataanalyser på ANL- och ORNL-superdatorer." ALCF är en DOE Office of Science-användaranläggning.
Lawrence Livermore tillför också en mängd högpresterande dator- och datacenterexpertis och kapacitet, kreativa teknologier och mjukvarulösningar till ESGF, plus dess erfarenhet som den första ledaren för ESGF.
"Uppgraderingarna kommer att göra det enklare och snabbare för användare att komma åt data som kan hjälpa oss att bättre förstå hur klimatet kommer att se ut i framtiden", säger Sasha Ames, LLNL-ledare för federationen. + Utforska vidare
