Rollen av djupt lärande inom vetenskapen befinner sig vid en vändpunkt, med väder, klimat, och jordsystemsmodellering framstår som ett spännande applikationsområde för fysikinformerad djupinlärning som mer effektivt kan identifiera olinjära samband i stora datamängder, extrahera mönster, efterlikna komplexa fysikaliska processer, och bygga prediktiva modeller.

"Djupet lärande har haft oöverträffad framgång i några mycket utmanande problem, men forskare vill förstå exakt hur dessa modeller fungerar och varför de gör som de gör, " sa Karthik Kashinath, en datavetare och ingenjör i Data &Analytics Services Group (DAS) vid National Energy Research Scientific Computing Center (NERSC) som har varit djupt involverad i NERSC:s forsknings- och utbildningsinsatser inom detta område. "Ett nyckelmål för djupinlärning för vetenskap är hur man designar och tränar ett neuralt nätverk så att det exakt kan fånga komplexiteten i de processer det försöker modellera, tävla med, eller förutsäga, och vi utvecklar sätt att ingjuta fysik och domänkunskap i dessa neurala nätverk så att de följer naturens lagar och deras resultat är förklarliga, robust, och pålitlig."

Vi kom ikapp Kashinath efter Artificial Intelligence for Earth System Science (AI4ESS) Summer School, ett veckolångt virtuellt evenemang som anordnades i juni av National Center for Atmospheric Research (NCAR) och University Corporation for Atmospheric Research (UCAR) som deltog av fler än 2, 400 forskare från hela världen. Kashinath var involverad i att organisera och presentera vid evenemanget, tillsammans med David John Gagne och Rich Loft från NCAR. Mycket av Kashinaths nuvarande forskning fokuserar på tillämpningen av metoder för djupinlärning på klimat- och jordsystemsmodellering.

Hur används metoder för djupinlärning i väder, klimat, och jordsystemforskning?

Under de senaste åren har vi sett en betydande ökning av användningen av djupinlärning inom naturvetenskap, inte bara för att öka, förbättra eller ersätta befintliga metoder, men också för att upptäcka ny vetenskap inom fysik, kemi, biologi, medicin, och mer – upptäckter som var nästan omöjliga med traditionella statistiska metoder. Vi börjar nu se samma sak inom geovetenskaperna, med antalet publikationer i tidskrifter som Geofysiska forskningsbrev och Naturgeovetenskap stigande och vetenskapliga konferenser som nu innehåller hela spår som involverar maskin- och djupinlärning.

Vad tillför djupinlärning till bordet?

Det är extremt kraftfullt i mönsterigenkänning och för att upptäcka mycket komplexa olinjära relationer som finns i stora datamängder, som båda är avgörande för att utveckla modeller av geovetenskapliga system. Huvudmålet för en väder- eller klimatmodellerare är att förstå hur processer i naturen fungerar och att modellera dem på ett effektivt sätt så att vi kan förutsäga framtiden för klimatförändringar och extrema väderhändelser. Deep learning erbjuder nya metoder för att använda befintlig data för att förstå hur dessa processer fungerar och för att utveckla modeller för dem som inte bara är korrekta och effektiva utan också beräkningsmässigt mycket snabbare än traditionella metoder. Traditionellt, klimat- och vädermodeller löser stora system av kopplade olinjära partiella differentialekvationer, vilket är extremt beräkningskrävande. Deep learning börjar öka, förbättra, eller till och med ersätta delar av dessa modeller med mycket effektiva och snabba fysiska processemulatorer. Och det är ett viktigt steg framåt.

Mönsterigenkänning är ett annat område där djupinlärning påverkar jordens systemforskning. DAS-gruppen vid NERSC har drivit hårt på mönsterigenkänning för att upptäcka och spåra väder- och klimatmönster i stora datamängder. Gordon Bell-priset 2018 för exascale klimatanalyser med djupinlärning vittnar om våra bidrag på det området. Med tanke på att vi redan har petabyte med klimatdata och att den ökar i en galen takt, det är fysiskt omöjligt att sålla igenom och känna igen nyckeldragen och mönstren med traditionella statistiska metoder. Deep learning erbjuder mycket snabba sätt att bryta denna data och extrahera användbar information som extrema vädermönster.

Ett tredje område är nedskalning; det är, givet en lågupplöst datauppsättning, hur producerar du mycket högupplöst data som är nödvändig för saker som planering, speciellt på regional och lokal skala? En del av klimatvetenskapens stora utmaning är hur man bygger mycket högupplösta modeller som är korrekta och producerar data som vi tillförlitligt kan arbeta med. Ett sätt att attackera problemet är att säga okej, vi vet att dessa modeller är extremt dyra, och inom en överskådlig framtid – även om datorer blir snabbare och bättre – kommer vi verkligen inte att kunna bygga tillförlitliga globala klimatmodeller med en rumslig upplösning på 1 km eller mer. Så om vi kan skapa en modell för djupinlärning som tar lågupplösta klimatdata och producerar högupplösta data som är fysiskt meningsfulla, pålitlig, och korrekt – det är en game changer.

Vad är en stor utmaning för djupinlärning tillämpad på jordsystemvetenskap?

Jag kommer från en bakgrund inom vätskedynamik, där modelleringsturbulens är en långvarig stor utmaning. En liknande utmaning inom atmosfärsvetenskapen är att modellera moln. Alla klimatmodeller har parametriseringar – komponenter i klimatmodellen som beskriver hur olika fysiska processer beter sig och interagerar med varandra. I atmosfären som inkluderar hur moln bildas, hur strålning fungerar, när och var nederbörd sker, etc. Molnmodellering är också känt för att vara den största källan till osäkerhet i klimatmodellprojektioner, och i decennier har en av de stora utmaningarna varit hur man ska minska osäkerheten. Modeller har blivit mycket mer komplexa och fångar många fler fysiska fenomen, men de har fortfarande stora osäkerheter i sina förutsägelser. Så ett område där djupinlärning kan ha en betydande inverkan är att hjälpa oss att bygga bättre emulatorer av atmosfäriska processer som moln, med målet att minska osäkerheterna i förutsägelser. Det är ett mycket konkret vetenskapligt mål.

När du ser framåt, vad är du mest upphetsad över när det gäller inverkan av djupinlärning på klimat- och jordsystemforskning?

Den stora stöten vi har fått från det vetenskapliga samfundet är att neurala nätverk är svarta lådor som är svåra att förstå och tolka, och forskare skulle uppenbarligen vilja förstå exakt hur dessa neurala nätverk fungerar och varför de gör som de gör. Så en sak som jag verkligen är upphetsad över är att utveckla bättre sätt att tolka och förstå dessa nätverk och införliva kunskapen vi har om jordens fysik i dessa modeller så att de är mer robusta, pålitlig, pålitlig, tolkbar, förklarlig, och transparent. Målet är att övertyga oss själva om att dessa modeller beter sig på ett sätt som respekterar naturens fysik, effektivt använder den domänkunskap vi har, och gör förutsägelser som vi kan lita på. Jag blev inbjuden att lämna in ett papper till Royal Societys handlingar om just detta ämne, "Fysikinformerad djupinlärning för väder- och klimatmodellering, " som nu granskas.

Jag är också glad över att bevisa, i drift, att dessa djupinlärningsmodeller ger den beräkningshastighet som vi hävdar att de kommer att ge när vi bäddar in dem i en stor klimat- eller vädermodell. Till exempel, European Weather Forecasting Center har börjat ersätta vissa delar av sin väderprognosmodell med maskin- och djupinlärningsmodeller, och de börjar redan se fördelar. I USA., NCAR och National Oceanic and Atmospheric Administration börjar också ersätta delar av sina klimat- och vädermodeller med maskininlärnings- och djupinlärningsmodeller, och ett antal akademiska och industribaserade forskargrupper arbetar med relaterade projekt. Chris Bretherton, en av världens ledande klimatforskare, leder en grupp vid University of Washington som arbetar med att ersätta några av de komplicerade molnprocesserna i dessa stora klimatmodeller med metoder för djupinlärning. Så jag ser fram emot att se deras resultat om ett eller två år när det gäller snabbhet och prestanda.

Vad var fokus för AI4ESS-evenemanget, och varför var det så välbesökt?

Sommarskolan Artificial Intelligence for Earth System Science (AI4ESS) fokuserade på hur deltagare kan stärka sin bakgrund inom statistik och maskininlärning, lär dig grunderna för djupinlärning och neurala nätverk, och lär dig hur du använder dessa för utmanande problem inom jordsystemets vetenskaper. Vi fick ett överväldigande gensvar på skolan – det var tänkt att vara ett personligt evenemang i Boulder, Colo., med en kapacitet på 80 elever. Men när det väl blev virtuellt, vi hade 2, 400 deltagare från 40 länder över hela världen. Det livestreamades genom UCAR och de spårade de dagliga inloggningarna.

Det var stort deltagande under hela veckan. Vi hade bjudit in talare varje dag – tre föreläsningar om dagen, så 15 föreläsningar under veckan – med experter från maskininlärning, Djup lärning, och geovetenskaperna. Varje dag var det också en paneldiskussion under 30 minuter över lunch, och för mig, dessa var superspännande eftersom alla dessa experter diskuterade och debatterade om utmaningarna och möjligheterna med att använda maskininlärning och djupinlärning för jordsystemvetenskap. Skolan höll också ett veckolångt hackathon, där team om sex vardera valde ett projekt från sex olika problem att arbeta med under veckan. Cirka 500 personer deltog i hackathon, med mycket samarbete och interaktion, inklusive individuella Slack-kanaler för vart och ett av hackathon-lagen. Det fanns också Slack-kanaler under hela sommarskolans vecka om olika saker:föreläsningsrelaterade frågor och svar, hackathon utmaning problem, tekniska tips och tricks inom maskininlärning och djupinlärning, etc. Så det var mycket Slack-aktivitet på gång, med människor som utbyter idéer, dela resultat, och så vidare.

Varför är alla så sugna på att lära sig det här?

Jag tror att samhället, speciellt de yngre forskarna, ser att djupinlärning kan vara en game changer inom vetenskapen och de vill inte bli lämnade. De tror att det kommer att bli mainstream snart och att det kommer att vara viktigt för att göra vetenskap. Det är den främsta motivationen. Så AI4ESS fokuserade på att lära ut grunderna och lägga grunden för dem att börja tillämpa maskin- och djupinlärning framgångsrikt i sin forskning.