"Förutsägelse är mycket svårt, speciellt om det handlar om framtiden, " sa Nobelpristagaren Niels Bohr en gång.

Argonne-forskaren Julie Bessac och hennes franske kollega Philippe Naveau håller med – och de har genomfört en studie för att kanske underlätta svårigheten att utvärdera väderprognoser. Deras papper, med titeln "Prognosutvärdering med ofullkomliga observationer och ofullkomliga modeller, " fokuserar på nya kvalitetsbedömningsmått, poängregler, att ta hänsyn till fel i observationer och prognoser.

Klassiska poängscheman innebär vanligtvis att man jämför olika prognoser med observationer. Men sådana observationer har nästan alltid fel – pga. till exempel, till dataregistreringsproblem eller instrumentbrister. Verkligen, en nyligen genomförd studie visade att den klassiska logaritmpoängen som används av sådana scheman är missvisande när det gäller att välja den bästa prognosen när observationsfel förekommer, och att den probabilistiska fördelningen av verifieringsdata bör bero på modellering av underliggande fysiska processer som inte observeras.

Bygger på resultaten från den studien, Bessac och Naveau har föreslagit en ny poängmodell som kopplar prognoser och observationsfördelningar för att korrigera en poäng när fel finns i verifieringsdata och i prognosen. De har också lyft fram behovet av att undersöka ytterligare statistik än det medelpoäng som vanligtvis används i praktiken.

Teamet jämförde/formulerade sitt nya tillvägagångssätt med två populära modeller. Den första modellen hjälper till att förstå rollen och effekten av observationsfel med avseende på det icke-observerade sanna tillståndet i atmosfären X, men den innehåller inte idén om prognosfel. I den andra modellen modelleras både observationer Y och prognoser Z som versioner med fel av atmosfärens tillstånd X, vilket återigen inte observeras.

"Att skilja mellan den oobserverade sanningen (dolda processer) och de observerade (men felaktiga) verifieringsdata är grundläggande för att förstå effekten av ofullkomliga observationer på prognosmodellering, sa Bessac, som assisterande beräkningsstatistiker vid matematik- och datavetenskapsavdelningen i Argonne.

Den nya modellen erbjuder flera fördelar:(1) den föreslår ett enkelt ramverk för att ta hänsyn till fel i verifieringsdata och i prognosen; (2) det understryker vikten av att undersöka fördelningen av poäng istället för att bara fokusera på medelvärdet; och (3) det visar vikten av att ta hänsyn till fel i verifieringsdata som kan vara potentiellt vilseledande.

Modellen testades i två fall där parametrarna för de inblandade fördelningarna antas vara kända. Även om dessa var idealiserade fall, forskarna betonade att testresultaten belyser vikten av att undersöka fördelningen av poäng när verifieringsdata anses vara en slumpvariabel.