När satelliter samlar in allt större mängder data, ingenjörer och forskare implementerar lösningar för att hantera dessa enorma ökningar.

De banbrytande geovetenskapliga satelliterna som lanseras under de kommande åren kommer att ge mer detaljerade vyer av vår planet än någonsin tidigare. Vi kommer att kunna spåra småskaliga havsegenskaper som kustströmmar som flyttar näringsämnen som är avgörande för marina näringsnät, övervaka hur mycket sötvatten som rinner genom sjöar och floder, och fläckrörelser på jordens yta på mindre än en halv tum (en centimeter). Men dessa satelliter kommer också att producera en störtflod av data som får ingenjörer och vetenskapsmän att sätta upp system i molnet som kan bearbeta, lagring, och analysera all den digitala informationen.

"För ungefär fem eller sex år sedan, det fanns en insikt om att framtida jorduppdrag kommer att generera en enorm mängd data och att systemen vi använder skulle bli otillräckliga mycket snabbt, sade Suresh Vannan, chef för Physical Oceanography Distributed Active Archive Center baserat på NASA:s Jet Propulsion Laboratory i södra Kalifornien.

Centret är ett av flera under NASA:s Earth Science Data Systems-program som ansvarar för bearbetning, arkivering, dokumentera, och distribuera data från byråns jordobservationssatelliter och fältprojekt. Programmet har arbetat i flera år med en lösning på informationsvolymutmaningen genom att flytta sina data- och datahanteringssystem från lokala servrar till molnet – mjukvara och datortjänster som körs på internet istället för lokalt på någons maskin.

Sentinel-6 Michael Freilich-satelliten, del av U.S.-European Sentinel-6/Jason-CS (Continuity of Service) uppdrag, är den första NASA-satelliten som använder detta molnsystem, även om mängden data som rymdfarkosten skickar tillbaka inte är lika stor som den data som många framtida satelliter kommer att returnera.

Två av dessa kommande uppdrag, SWOT och NISAR, kommer tillsammans att producera ungefär 100 terabyte data per dag. En terabyte är ungefär 1, 000 gigabyte – tillräckligt med digital lagring för cirka 250 långfilmer. SWOT, förkortning för Surface Water and Ocean Topography, kommer att producera cirka 20 terabyte vetenskapsdata per dag medan NISAR-uppdraget (NASA-Indian Space Research Organization Synthetic Aperture Radar) kommer att generera ungefär 80 terabyte dagligen. Data från SWOT kommer att arkiveras med Physical Oceanography Distributed Active Archive Center medan data från NISAR kommer att hanteras av Alaska Satellite Facility Distributed Active Archive Center. NASA:s nuvarande geovetenskapliga dataarkiv är cirka 40 petabye (1 petabyte är 1, 000 terabyte), men till 2025 – ett par år efter att SWOT och NISAR lanserats – förväntas arkivet innehålla mer än 245 petabyte data.

Både NISAR och SWOT kommer att använda radarbaserade instrument för att samla in information. Inriktar sig på en lansering 2023, NISAR kommer att övervaka planetens yta, samla in data om miljöegenskaper inklusive förändringar i marken i samband med jordbävningar och vulkanutbrott, förändringar av jordens inlandsisar och glaciärer, och fluktuationer i jordbruksverksamheten, våtmarker, och storleken på skogarna.

Inställd på en lansering 2022, SWOT kommer att övervaka höjden på planetens ytvatten, både hav och sötvatten, och ska hjälpa forskare att sammanställa den första kartläggningen av världens sötvatten och småskaliga havsströmmar. SWOT utvecklas gemensamt av NASA och den franska rymdorganisationen Centre National d'Etudes Spatial.

"Detta är en ny era för jordobservationsuppdrag, och den enorma mängd data de kommer att generera kräver en ny era för datahantering, sa Kevin Murphy, chief science data officer för NASA:s Science Mission Directorate. "NASA arbetar inte bara över hela byrån för att underlätta effektiv åtkomst till en gemensam molninfrastruktur, vi utbildar också vetenskapssamhället för att få tillgång till, analysera, och använda dessa uppgifter."

Snabbare nedladdningar

För närvarande, Jordvetenskapliga satelliter skickar data tillbaka till markstationer där ingenjörer omvandlar den råa informationen från ettor och nollor till mätningar som människor kan använda och förstå. Bearbetning av rådata ökar filstorleken, men för äldre uppdrag som skickar tillbaka relativt mindre mängder information, det här är inget stort problem. Mätningarna skickas sedan till ett dataarkiv som förvarar informationen på servrar. I allmänhet, när en forskare vill använda en datauppsättning, de loggar in på en webbplats, ladda ner den data de vill ha, och sedan arbeta med det på sin maskin.

Dock, med uppdrag som SWOT och NISAR, det kommer inte att vara genomförbart för de flesta forskare. Om någon ville ladda ner en dags information från SWOT till sin dator, de skulle behöva 20 bärbara datorer, var och en kan lagra en terabyte data. Om en forskare ville ladda ner fyra dagars data från NISAR, det skulle ta ungefär ett år att prestera på en genomsnittlig internetanslutning i hemmet. Att arbeta med data som lagras i molnet innebär att forskare inte behöver köpa stora hårddiskar för att ladda ner data eller vänta månader eftersom många stora filer laddas ner till deras system. "Bearbetning och lagring av stora mängder data i molnet kommer att möjliggöra en kostnadseffektiv, effektivt tillvägagångssätt för att studera big-data-problem, sa Lee-Lueng Fu, JPL-projektforskare för SWOT.

Infrastrukturbegränsningar kommer inte att vara lika bekymmersamt, antingen, eftersom organisationer inte behöver betala för att lagra häpnadsväckande mängder data eller underhålla det fysiska utrymmet för alla dessa hårddiskar. "Vi har helt enkelt inte det extra fysiska serverutrymmet på JPL med tillräcklig kapacitet och flexibilitet för att stödja både NISAR och SWOT, sa Hook Hua, en JPL vetenskapsdatasystemarkitekt för båda uppdragen.

NASA-ingenjörer har redan utnyttjat denna aspekt av cloud computing för en proof-of-concept-produkt som använder data från Sentinel-1. Satelliten är ett ESA-uppdrag (European Space Agency) som också tittar på förändringar på jordens yta, även om den använder en annan typ av radarinstrument än de som NISAR kommer att använda. Arbeta med Sentinel-1-data i molnet, ingenjörer producerade en färgad karta som visar förändringen i jordens yta från mer vegeterade områden till öknar. "Det tog en vecka av konstant beräkning i molnet, använder motsvarande tusentals maskiner, sade Paul Rosen, JPL-projektforskare för NISAR. "Om du försökte göra detta utanför molnet, du skulle ha behövt köpa alla dessa tusentals maskiner."

Cloud computing kommer inte att ersätta alla sätt på vilka forskare arbetar med vetenskapliga datauppsättningar, men åtminstone för geovetenskap, det vinner verkligen mark, sa Alex Gardner, en NISAR vetenskapsgruppmedlem vid JPL som studerar glaciärer och havsnivåhöjning. Han ser för sig att de flesta av hans analyser kommer att ske någon annanstans inom en snar framtid istället för på hans bärbara dator eller personliga server. "Jag förväntar mig helt om fem till tio år, Jag kommer inte ha så mycket hårddisk på min dator och jag kommer att utforska den nya brandslangen av data i molnet, " han sa.