Vid bedömning av klimatmodeller, experter utvärderar vanligtvis över en rad kriterier för att komma fram till en övergripande utvärdering av modellens trohet. De använder sin kunskap om det fysiska systemet och vetenskapliga mål för att bedöma den relativa betydelsen av olika aspekter av modeller i närvaro av avvägningar. Burrows et al. (2018) visar att klimatforskare justerar vikten de tilldelar olika aspekter av en simulering beroende på vilken vetenskapsfråga modellen kommer att användas för att ta itu med. Deras forskning visar också att experternas konsensus om betydelse skiljer sig mellan modellvariabler. Kreditera: Framsteg inom atmosfärsvetenskap
Ett forskarlag baserat på Pacific Northwest National Laboratory i Richland, Washington, har publicerat resultaten av en internationell undersökning utformad för att bedöma den relativa betydelse klimatforskare tilldelar variabler när de analyserar en klimatmodells förmåga att simulera verkligt klimat. Resultaten, som har allvarliga konsekvenser för studier som använder modellerna, publicerades som en omslagsartikel i Framsteg inom atmosfärsvetenskap den 22 juni, 2018.
"Klimatmodeller lägger ner mycket ansträngning på att kalibrera vissa modellparametrar för att hitta en modellversion som gör ett trovärdigt jobb med att simulera jordens observerade klimat, sa Susannah Burrows, första författare på tidningen och en vetenskapsman vid Pacific Northwest National Laboratory som specialiserat sig på jordsystemanalys och modellering.
Dock, Burrows noterade, det finns få systematiska studier om hur experter prioriterar sådana variabler som molntäcke eller havsis när de bedömer klimatmodellernas prestanda.
"Olika människor kan komma till lite olika bedömningar av hur "bra" en viss modell är, i stor utsträckning beroende på vilka aspekter de tillmäter störst vikt, " sa Burrows.
En modell, till exempel, kan bättre simulera havsis medan en annan modell utmärker sig i molnsimulering. Varje forskare måste hitta en balans mellan sina konkurrerande prioriteringar och mål – en svår sak att systematiskt fånga i dataanalysverktyg.
"Med andra ord, det finns inte en enda, helt objektiv definition av vad som gör en "bra" klimatmodell, och detta faktum är ett hinder för att utveckla mer systematiska tillvägagångssätt och verktyg för att hjälpa till med modellutvärderingar och jämförelser, " sa Burrows.
Forskarna fann, från en undersökning av 96 deltagare som representerar klimatmodelleringsgemenskapen, att experter tog hänsyn till specifika vetenskapliga mål när de värderade varierande betydelse. De fann en hög grad av konsensus om att vissa variabler är viktiga i vissa studier, såsom nederbörd och avdunstning i bedömningen av Amazonas vattenkretslopp. Den överenskommelsen vacklar på andra variabler, som hur viktigt det är att exakt simulera ytvindar när man studerar vattnets kretslopp i Asien.
Att förstå dessa avvikelser och utveckla mer systematiska metoder för modellbedömning är viktigt, enligt Burrows, eftersom varje ny version av en klimatmodell måste genomgå betydande utvärdering, och kalibrering av flera utvecklare och användare. Den arbetsintensiva processen kan ta mer än ett år.
Stämningen, samtidigt utformad för att upprätthålla en rigorös standard, kräver att experter gör avvägningar mellan konkurrerande prioriteringar. En modell kan kalibreras på bekostnad av ett vetenskapligt mål för att uppnå ett annat.
Burrows är medlem i ett tvärvetenskapligt forskarteam vid PNNL som arbetar för att utveckla en mer systematisk lösning på detta bedömningsproblem. I teamet ingår Aritra Dasgupta, Lisa Bramer, och Sarah Reehl, experter inom datavetenskap och visualisering, och Yun Qian, Po-Lun Ma, och Phil Rasch, experter på klimatvetenskap.
För att hjälpa klimatmodeller att förstå dessa avvägningar tydligare och mer effektivt, visualiseringsforskarna bygger interaktiva, intuitiva visuella gränssnitt som gör att modellbyggare kan sammanfatta och utforska komplex information om olika aspekter av modellprestanda.
Dataforskarna arbetar med att karakterisera expertutvärdering av klimatmodeller mer i detalj, bygger på resultaten från den första undersökningen. Så småningom, forskarna strävar efter att blanda en kombination av mått med mänsklig expertis för att bedöma hur väl lämpade klimatmodeller är för specifika vetenskapliga mål, samt att förutsäga hur ofta experter håller med eller inte håller med om den bedömningen.
"[Vi planerar] att kombinera det bästa av två världar, använda datorer för att minska manuell ansträngning och tillåta forskare att mer effektivt tillämpa sin mänskliga insikt och omdöme där det behövs som mest, " sa Burrows.
