Två gånger om dagen, väderballonger släpps ut i atmosfären från 700 platser runt om i världen för att observera förhållandena i den övre atmosfären. Sedan 1920-talet, det har varit tiotals miljoner av dessa radiosondelanseringar, producerar ett enormt arkiv av data som är avgörande för väderprognoser och klimatmodellering. I en så stor datamängd, oundvikliga fel kan avsevärt påverka modelleringsresultaten.

Ying Sun, Saudiarabiens kung Abdullah University of Science and Technology (KAUST) biträdande professor i tillämpad matematik och beräkningsvetenskap, samarbetat med forskare från Colorado School of Mines och Baylor University, USA, att utveckla en metod för att ta bort dessa fel med hjälp av en robust statistisk analys av data.

"En radiosonde är en liten, förbrukningsbart instrumentpaket som är upphängt under en två meter bred ballong fylld med väte eller helium, " förklarade Sun. "Sensorer på radiosonden mäter höjden, tryck, temperatur och daggpunkt; de beräknar också vindhastighet och riktning genom att spåra radiosondens position under flygning. Radiosondeobservationer är de enda direkta mätningarna av jordens övre atmosfär, gör dem viktiga för satellitdata, väderprognoser och klimatologisk forskning.

Datas många fel är "alldeles för många för att korrigera för hand, så vi behöver en automatisk metod för att identifiera sådana slumpmässiga fel, " förklarade Sun.

Det finns automatiska metoder för att ta bort systematiska fel från data, såsom förändringar i plats eller måttenheter. Dock, det har inte funnits något sätt att ta bort genuint felaktig data, inklusive datainmatningsmisstag, överföringsfel eller oprecis spårning av ballongen utan att också radera extrema men verkliga mätningar – som är några av de viktigaste uppgifterna för prognoser. Ser man specifikt på vinddata, Sun och hennes medarbetare utvecklade ett statistiskt tillvägagångssätt som uppnår robust differentiering mellan extrema värden och slumpmässiga fel.

"Vårt tillvägagångssätt överväger en mer realistisk fördelning av vindvektorn som är skev med en lång svans av sällsynta extremvärden, ", sa Sun. "Detta gör det möjligt att flagga observationer som med stor sannolikhet är fel som potentiella extremvärden utan att ta bort extrema värden."

Förutom sin tillämpning på nya dagliga data, detta feldetekteringsschema kan också användas på de enorma volymer radiosondeobservationer som finns i arkiv runt om i världen.

"Vi utvecklar en metod för att detektera outlier som är snabb och automatisk. Vi kommer att kunna använda den här metoden för att snabbt bearbeta de miljontals poster som finns i arkivet, ", sade Sun. "Vi överväger också den möjliga effekten av klimatförändringar när vi utvecklar den nya metoden."