Harmoni är ett tillstånd av överenskommelse och samarbete.

Detta tillstånd är också nödvändigt för aerosolobservationssystem (AOS) som drivs av Atmospheric Radiation Measurement (ARM) Facility, en vetenskaplig användaranläggning för U.S. Department of Energy (DOE).

Några år sedan, experter på ARM upptäckte skillnader i de slutliga dataprodukterna kopplade till en uppsättning AOS-instrument på plats före 2010, och en annan uppsättning designad och distribuerad efter det.

Som svar, ARM startade ett intensivt projekt för tre år sedan för att harmonisera aerosolobservationsinstrument och de strömmar av arkiverade data som härrör från dem. Detta AOS-harmoniseringsprojekt, under tre komplicerade och hektiska år, kommer i stort sett att vara klart i höst.

"Syftet med harmoniseringen är att förena behandlingen så att den slutliga dataprodukten kan jämföras över ARMs mäthistorik, " säger ARMs tekniska chef Jim Mather, en atmosfärsforskare vid Pacific Northwest National Laboratory (PNNL).

Första generationens bearbetning

Kärnan i problemet är två generationer av mätsystem, båda finansierade av det amerikanska energidepartementet, men var och en av dem designade av olika entreprenörer.

Disharmoni i aerosoldata berodde till stor del på skillnader i bearbetning, säger Mather. Första generationens bearbetning, till exempel, genomsnitt av alla rådata under en minut i fält, och tillämpade sedan ytterligare korrigeringar.

Före harmoniseringsarbetet, det fanns också en annan konfunderare:en betydande mängd manuell bearbetning. "En av frågorna - kanske en nyckelfråga, säger Mather, "är att denna manuella bearbetning inte kommunicerades till användarna eller gjordes på ett enhetligt sätt mellan de två typerna av system."

Alla dessa historiska korsströmmar "gjorde det nödvändigt att automatisera och beskriva så mycket av denna bearbetning som möjligt, så att det som gjordes med uppgifterna var konsekvent och väl beskrivet, " säger han. "Idén med harmonisering var att komma närmare enhetlig formatering på alla våra webbplatser. Och målet är alltid att förbättra användarvetenskapen."

Aerosoler:hög betydelse, och mer data

Data- och databehandlingsharmoni är viktigt eftersom aerosoler i sig är viktiga. De är små, mätt i mikrometer och nanometer, men tillsammans utövar dessa atmosfäriska partiklar betydande inflytande på jorden.

Genom att interagera med solstrålning genom reflektion, absorption, och spridning, aerosoler påverkar strålningen direkt. Dessutom, aerosoler påverkar jordens energibalans indirekt genom sin påverkan på molnbildningen.

I början av 1990-talet aerosoler från förbränning av biomassa, vulkanutbrott, och andra källor var allmänt erkända för deras inflytande på strålningsöverföring i atmosfären, men det fanns lite information om deras massa, optiska egenskaper, distribution, eller andra faktorer.

Sedan dess, mäta aerosoler, Mather säger, "är en kärnkapacitet" på ARM, som i 25 år har samlat, bearbetade, kvalitetskontrollerad, och arkiverade ett brett utbud av mätningar som är relevanta för jordens atmosfär.

Ständigt ökande mängder AOS-data

Stegvis, med start 1996, ARM har samlat in ökande mängder aerosoldata. Utöver daglig datainsamling, SGP var 2003 platsen för en omfattande aerosolintensiv observationsperiod. Under 2005, även på SGP, kom Aerosol Lidar Validation Experiment (ALIVE). Samma år, ARM Mobile Facility, utrustad med ett AOS-system, var redo att distribueras runt om i världen i 6 till 18 månader åt gången. Dess portabilitet gjorde det möjligt att fånga den regionala variationen av aerosoldata.

Senast 2012, ARM hade AOS-funktioner på sina fasta platser, vid två mobila anläggningar, och en ARM Aerial Facility som tog aerosolmätningar högt upp i luftpelaren.

Alla dessa AOS-data strömmade in – och 2010 från två olika typer av system. Hur såg det ut?

Experter på ARM började brottas med behovet av AOS-harmonisering 2014, att veta att två fungerande men distinkta system fanns på plats. En - kalla det "original AOS" - byggdes av DOE och blev strax efter mentor av ARM-finansierad personal vid National Oceanic and Atmospheric Administration (NOAA). Den andra - kalla det "nästa generation, eller andra generationens, AOS" - designades och mentorades av DOE:s Brookhaven National Laboratory (BNL).

"Det finns inget rätt sätt att ta aerosolprover, " säger Doug Sisterson, ARM Instrument Coordinator och en atmosfärsforskare baserad på Argonne National Laboratory.

Den typiska AOS-plattformen har en kärna av minst 10 instrument och hundra eller fler dataströmmar som kommer från varje. Harmoniseringsuppgiften – hur man översätter aerosoldata till ett gemensamt språk – "visade sig vara ett ganska omfattande företag, " säger Mather. "Ju mer komplexa instrumenten är, desto mer utmanande är dessa saker."

Det första systemet, och sedan två

Den första AOS togs i drift i april 1996 vid Southern Great Plains (SGP) atmosfärsobservatorium i Oklahoma. Inrymt i en fristående trailer, det integrerade systemet med fem instrument hade utvecklats av DOE:s Environmental Measurement Program. En bifogad intagsstack provtagen från 10 meter över marken, en höjd beräknad för att undvika grumlighet i ytan. Inom kort, NOAA instrument mentorer, finansierat av ARM, tog ansvaret.

Dessutom, ARM började också bearbeta AOS-data från ett NOAA-ägt system i Barrow, intill ARM:s North Slope of Alaska (NSA) plats. Dessa Barrow AOS-data är kända som NSA X1 i ARM Data Center. (NOAA har drivit ett AOS-system på NSA sedan 1976.) På SGP och på NSA, NOAA-mentorer upprätthöll systemkalibreringar, övervakad hed och status, och intog data innan de vidarebefordrades till ARM.

År 2009, ARM kontrakterade med BNL för att designa, bygga, och driva flera nya AOS-system. Den andra generationens system presenterade nya möjligheter för driftlägen och bearbetningsinstrumentering jämfört med de ursprungliga instrumentsviterna för AOS. I dag, de representerar en betydande expansion av nya instrument och nya mätningar.

AOS mentorer från BNL inkluderar nu Stephen R. Springston, Art Sedlacek, Chongai Kuang, Tom Watson, och andra. (Springston är ledande AOS-mentor för alla BNL-designade AOS-system.)

Efter att nästa generations system implementerades, ARM insåg att skillnaderna i bearbetning mellan första och andra generationens system behövde harmoniseras för att tillhandahålla datamängder som användarna lättare skulle kunna jämföra mellan platser och år. Dessutom, Framsteg inom beräkningshastighet och algoritmer hade också möjliggjort automatisering av bearbetningen av aerosoldata, vilket inte var möjligt 1996. AOS-harmoniseringsprojektet inleddes för att göra användarna tillfreds med att använda data från de olika systemen för sin vetenskapliga forskning.

"Harmonisering strävar efter att sätta mätningarna från alla system på lika villkor, säger Springston, "och att göra skillnader oväsentliga för slutanvändaren i bästa fall – och i värsta fall för att dokumentera skillnaderna. En spridningsmätning från en plats i Oklahoma 1999 borde vara jämförbar med en spridningsmätning i Antarktis 2016."

Flynn-faktorn

När DOE sa "Åtgärda detta, " Connor Flynn klev in. PNNL-personalforskaren, instrumenteringsexpert, och ARM Aerosol Working Group Translator har tillbringat mycket tid under de senaste tre åren med att arbeta direkt med AOS-instrumentmentorerna på BNL och NOAA; med Josh King på ARM Data Quality Office; och med utvecklarna Annette Koontz och Brian Ermold vid ARM:s Data Management Facility på PNNL.

"Det här har varit ett konsensusprojekt från första början, säger Flynn.

Sisterson menar att Flynns "storhet förstärks när man inser hur stort problem (harmonisering) var."

Springston berömmer honom för att ha brottats med den "algoritmiska konsistensen" som krävs av harmonisering, och säger att "Connor har slitit mycket för att förstå skillnader mellan alla ARM-plattformar, mentorer, operatörer, och även instrumentmodeller."

Flynn började med lagarbete. Han underlättade partnerskap mellan mentorer och andra för att nå ett tillstånd av AOS-harmoni:enhetlig automatiserad bearbetning, ett enhetligt dataformat, och ett uppmätt förtroende för att jämföra resultat från båda systemen.

Än så länge, saker går bra. Flera delar i uppgiften är redan klara, inklusive harmonisering av de flesta av AOS aerosoloptiska egenskaper, aerosolnummerdensitet (kondensationspartikelräknaren, eller CPC, familj), koncentrationer av molnkondensationskärnor (CNN-familjen), och vissa AOS-spårgasmätningar.

De mer komplexa instrumenten som fortfarande arbetar med inklusive de som mäter partikelstorleksfördelningar, hygroskopisk tillväxt, och aerosolsammansättning.

De två med högre prioritet för harmonisering inkluderar fotometern för enkelpartikelsot (SP2), används för att mäta koncentrationen och massan av sotpartiklar som produceras av källor som skogsbränder ner till nanometerområdet, och Aerosol Chemical Speciation Monitor (ACSM).

SP2 kräver fortfarande manuell bearbetning, säger Flynn, "men genom harmonisering har vi utvecklat autonoma rutiner för att ge en nivå av operativ hälsa och status i realtid."

ACSM, ett annat komplext instrument, mäter i realtid den kemiska sammansättningen av submikrona partiklar. Som ett masspektrometerinstrument, säger Flynn, dess data "är ganska komplicerade att bearbeta." Slutprodukten kan alltid innehålla en manuell granskning, han lägger till, "men vi arbetar med ACSM-mentorn, Tom Watson, och instrumentförsäljaren, Aerodyne, att förbättra både operativ hälsa och status i realtid, såväl som kvaliteten på de autonoma kemiska arternas masskoncentrationer."

Migreringen av AOS-mätningarna innebär att mentoraktiviteter och databehandling integreras inom de etablerade normerna för ARM-verksamheten och dess datakvalitetskontor. Innan du utvecklar dessa automatiska intag, kalibreringar, och dataprodukter, säger Flynn, "nästan all AOS-data färdades en kretsväg som inkluderade manuell mentorbearbetning av data innan "återleverans" av data till ARM."

Tre bearbetningssteg harmonisering

Att ta dessa integrations- och automatiseringssteg är bara det första av tre potentiella bearbetningssteg för harmonisering, säger Flynn.

Den andra underlättar jämförelsen av AOS-mätningar från olika instrumentsviter – de som designats av både NOAA och BNL. Slutliga dataprodukter har nu "dokumenterade nivåer av jämförbarhet, säger Flynn, samt korrekt och heltäckande metadata och en enhetlig "look and feel" för slutprodukten.

Det tredje bearbetningssteget av harmonisering, säger Flynn, "förbättrar synergin mellan samlokaliserade instrument inom samma AOS-svit."

Till exempel, tre mätningar görs för närvarande individuellt för optisk spridning av aerosol, utdöende, och absorption. En ny dataprodukt, AOS Aerosol Optical Properties (AOS AOP), utvärderas nu som kommer att kombinera alla tre samlokaliserade mätningar. En liknande insats kommer att kombinera mätningar av aerosolstorleksfördelning från flera instrument till ett gemensamt ramverk. Dessa nya dataprodukter kommer att göra det lättare för användare att arbeta med ARM-data för att studera aerosolprocesser.

Interjämförelsetester på samlokaliserade ARM-instrument har redan gjorts i Oklahoma och Brasilien.

Harmonisering hittills har lett till stora förbättringar. Innan, Jämförelser mellan optiska egenskaper som rapporterats av samlokaliserade AOS-system kan visa fördomar på så mycket som 25 till 50 procent. När behandlingen väl har harmoniserats, säger Flynn, mätningar från samma instrument visar "utmärkt överensstämmelse, " med bias så låg som 2 till 3 procent.

De tidigare avvikelserna berodde på "algoritmiska skillnader i bearbetningen av de två systemen, ", sade Springston. "Att identifiera dessa skillnader var ett avgörande steg i harmoniseringen."

De flesta av de viktigaste delarna av harmoniseringsprojektet kommer att genomföras i höst, inklusive harmonisering av mätningar av aerosolstorleksfördelning. "Dock, dessa produkter representerar grunder som sannolikt kommer att läggas till i framtiden, säger Flynn.

Och hur är det med historiska datamängder? Dessa kan göras från fall till fall, han säger, med hjälp av en ARM-teknisk begäran.

Mather, Systerson, och Flynn var alla i harmoni på en punkt:att ARM-dataanvändare och deras behov kommer först. Alla AOS-mentorer "tror detta också, säger Springston.

Under harmoniseringsprocessen, säger Flynn, användare bör använda och utvärdera produkten på AOS AOP C-nivå i synnerhet. ("C-nivå" anses vara den bästa datanivån i ARM.) Samtidigt, ARM-faciliteten kommer att rekommendera (och arkivera) den högsta bearbetningsnivån för varje instruments dataström.

Det finns en större bild att tänka på, Flynn säger:att få rätt aerosoldata är mycket viktigt i det nuvarande tillståndet av atmosfärsvetenskap. "En av de största osäkerheterna är effekten av aerosoler på strålningsbudgeten, " säger han. Den budgeten är solbalansräkningen som påverkar både förändring och jämvikt i planetens atmosfär.

En ännu större osäkerhet i nuvarande modeller är bildandet av moln, dessa mycket stora tillfälliga vektorer av skugga, regn, kyl, uppvärmning, och planetarisk albedo som är sådd av mycket små aerosoler. Så att binda samman viktiga aerosoler på ett harmoniserat sätt, säger Flynn, "är enorm."