NASA har finansierat fem nya projekt för att utveckla verktyg och teknik för att göra byråns massiva geovetenskapliga datauppsättningar mer tillgängliga och användarvänliga.

Vakna. Slå på den bärbara datorn. Börja bearbeta luftburna data från Adirondack-skogarna i New York. Göra kaffe. Ät frukost. Fäst den öppna bärbara datorns säkerhetsbälte i passagerarsätet medan den fortsätter att knäppa siffror. Kör till jobbet.

Det brukade vara Sara Lubkins morgonrutin som en tidig karriärforskare vid NASA:s Goddard Space Flight Center i Greenbelt, Maryland. Väl på jobbet, hon skulle använda sin stationära dator, medan hennes bärbara dator flitigt tillbringade de kommande 12 timmarna med att bearbeta luftburna instrumentdata för den relevanta informationen hon behövde för att studera invasiva skadedjur av hemlockträd.

Jordvisualisering

NASAs geovetenskapliga dataset ger olika perspektiv och information om vår planet, som ses här i denna datavisualisering av observationer av orkanen Matthew i oktober 2016.Krediter:NASA:s Scientific Visualization Studio

"Jag är ingen datavetare, Jag är en jordforskare, sa Lubkin, som nu arbetar som programansvarig för NASA Earth Science Data Systems Advancing Collaborative Connections for Earth Systems Science, eller ÅTKOMST-programmet. Men hennes erfarenhet som forskare är inte unik.

Att spendera stora bitar av tid på att bara få geovetenskapliga data till en användbar form för analys är en vanlig situation för forskare som arbetar med de stora datamängder som kommer från NASA-fältet, luftburna och satellituppdrag. Ladda ner stora filer, konvertera dataformat, att lokalisera samma studieområden i flera datamängder, att skriva kod för att särskilja olika landtyper i en satellitbild – dessa typer av uppgifter tär på tid som forskare hellre skulle använda för att analysera den faktiska informationen i datan.

Det är där ACCESS-programmet kommer in. En del av divisionen Earth Science Data Systems sedan 2005, ACCESS hittar innovativa sätt att effektivisera den besvärliga handläggningstiden. Programmet finansierar tvååriga forskningsprojekt för att förbättra datahantering bakom kulisserna och tillhandahålla färdiga datauppsättningar och tjänster till forskare, sa Lubkin.

I juni, NASA valde ut fem team av NASA, universitets- och kommersiella datavetenskapsforskare från 2017 års inlämningsrunda i en rad projekt som kommer att använda maskininlärning, cloud computing och avancerade sökfunktioner för att utveckla verktyg för att förbättra hanteringen bakom kulisserna för utvalda NASA-datauppsättningar.

"Vi investerar kontinuerligt i utveckling och utvärdering av de senaste teknologierna för att förbättra vetenskapliga datasystem, sa Kevin Murphy, programledare för NASA:s Earth Science Data Systems vid NASA:s huvudkontor i Washington. Men mer än så, de vill se till att verktygen och tekniken hjälper riktiga forskare att ta itu med verkliga problem.

Varje ACCESS-projekt har geovetenskaper och datavetare inblandade från början till slut, sa Murphy. "Med ACCESS-programmet, vi försöker verkligen förstå, till exempel, hur havsströmmar fungerar, men vi försöker göra det nu med data som är så stora att vi behöver ett team av experter som kan arbeta tillsammans för att lösa de stora frågorna om vetenskap och big data."

Projekten kommer att komplettera datahantering, distribution och andra tjänster som tillhandahålls av Earth Observing System Data and Information System (EOSDIS), som hanterar och lagrar NASA-data som samlats in från jordobservationssatelliter, flygplan och fältkampanjer. EOSDIS har 12 sammankopplade data- och arkivcenter över hela USA, som är organiserade efter disciplin. För närvarande, dessa centra är värd för 26 petabyte av jordens datauppsättningar – det är 26 miljoner gigabyte, eller tillräckligt med data för att behöva 52, 000 datorer vardera med 500 gigabyte lagringsutrymme. Den siffran förväntas växa till 150 petabyte inom fem år med lanseringen av nya satelliter.

"Satellitdata är big data, sa Jeff Walter, en av ACCESS 2017:s huvudutredare och ledande ingenjör för Science Data Services vid Atmospheric Science Data Center vid NASA:s Langley Research Center i Hampton, Virginia. "Det är väldigt komplicerat och ibland svårt att använda, även för expertanvändare. Förutom volymen, vilket gör det svårt för användare att skaffa, lagra och hantera, det finns också komplexiteten i både format och innehåll. Användare måste ofta lägga mycket tid på att förstå hur data är organiserad och vad de olika parametrarna representerar."

Walters projekt är ett av tre som kommer att använda cloud computing för att lindra nedladdnings- och lagringsproblem för användare. Börjar med två atmosfäriska datamängder, hans team kommer också att utveckla ett sätt att konvertera satellitdataformat till sådana som kan läsas av kommersiell programvara för geospatial informationssystem (GIS).

"Vårt projekt syftar till att sänka inträdesbarriären för en potentiell ny användargemenskap som kan hitta nya sätt att använda denna data, och som är mer bekanta med GIS-typer av verktyg, " sa Walter.

De två andra cloud computing-projekten kommer att utveckla bearbetnings- och analysverktyg med öppen källkod, inklusive en designad för oceandatauppsättningar. Ett fjärde projekt kommer att använda maskininlärning för att upptäcka förändringar över tid i landobservationer, börjar med detektering av jordskred, översvämningar och landhöjningar orsakade av vulkanisk aktivitet. Det femte projektet kommer att utveckla en automatiserad metod för att rada upp datamängder som observerar samma plats så att forskare kan kombinera mer än en typ av information om en plats.

Efter avslutad ACCESS-forskarna kommer att arbeta nära EOSDIS-teamen för att införliva deras framsteg i datacentrens dagliga verksamhet. När de nya verktygen är på plats, det är då den verkliga kraften hos öppna och fritt tillgängliga geovetenskapliga dataset kan blomstra, enligt Murphy. Lättanvänd data innebär att den hamnar i händerna på beslutsfattare, icke-statliga organisationer, forskare som studerar relaterade tillämpningar och forskare inom olika områden som kan ha nya användningsområden för det.

"När du gör dessa produkter öppna och tillgängliga, du har mycket oavsiktligt, goda vetenskapliga konsekvenser, Murphy sa, citerar exempel som inkluderar detektering av grundvattenrörelser från rymden, snabb upptäckt av skogsbränder och använda nattljus för att studera mänsklig energianvändning. "NASA har mycket mycket värdefull information, och ACCESS-programmet försöker verkligen hjälpa forskare att inte bara ta itu med primärvetenskapliga frågor utan också hjälpa oss att förstå vår miljö och planera för vår framtid."