Tidigare i år, astronomer snubblade över ett fascinerande fynd:Det finns sannolikt tusentals svarta hål nära mitten av vår galax.

Röntgenbilderna som möjliggjorde denna upptäckt var inte från något toppmodernt nytt teleskop. De togs inte ens nyligen – en del av uppgifterna samlades in för nästan 20 år sedan.

Nej, forskarna upptäckte de svarta hålen genom att gräva igenom gamla, långarkiverade data.

Upptäcker som denna kommer bara att bli vanligare, eftersom eran av "big data" förändrar hur vetenskap görs. Astronomer samlar in en exponentiellt större mängd data varje dag – så mycket att det kommer att ta år att avslöja alla dolda signaler som finns begravda i arkiven.

Astronomis utveckling

För sextio år sedan, den typiska astronomen arbetade till stor del ensam eller i ett litet team. De hade sannolikt tillgång till ett respektabelt stort markbaserat optiskt teleskop vid sin heminstitution.

Deras observationer var till stor del begränsade till optiska våglängder – mer eller mindre vad ögat kan se. Det innebar att de missade signaler från en mängd astrofysiska källor, som kan avge osynlig strålning från mycket lågfrekvent radio ända upp till högenergigammastrålar. För det mesta, om du ville göra astronomi, du måste vara en akademisk eller excentrisk rik person med tillgång till ett bra teleskop.

Gamla data lagrades i form av fotografiska plattor eller publicerade kataloger. Men att komma åt arkiv från andra observatorier kunde vara svårt – och det var praktiskt taget omöjligt för amatörastronomer.

I dag, det finns observatorier som täcker hela det elektromagnetiska spektrumet. Drivs inte längre av enskilda institutioner, dessa toppmoderna observatorier lanseras vanligtvis av rymdorganisationer och är ofta gemensamma ansträngningar som involverar många länder.

Med den digitala tidsålderns ankomst, nästan alla uppgifter är offentligt tillgängliga kort efter att de erhållits. Detta gör astronomi väldigt demokratisk – alla som vill kan analysera nästan vilken datauppsättning som helst som gör nyheterna. (Också du kan titta på Chandra-data som ledde till upptäckten av tusentals svarta hål!)

Dessa observatorier genererar en svindlande mängd data. Till exempel, rymdteleskopet Hubble, verksam sedan 1990, har gjort över 1,3 miljoner observationer och sänder cirka 20 GB rådata varje vecka, vilket är imponerande för ett teleskop som designades först på 1970-talet. Atacama Large Millimeter Array i Chile räknar nu med att lägga till 2 TB data till sina arkiv varje dag.

Data brandslang

Arkiven med astronomiska data är redan imponerande stora. Men saker är på väg att explodera.

Varje generation av observatorier är vanligtvis minst 10 gånger känsligare än den föregående, antingen på grund av förbättrad teknik eller för att uppdraget helt enkelt är större. Beroende på hur länge ett nytt uppdrag pågår, den kan upptäcka hundratals gånger fler astronomiska källor än tidigare uppdrag vid den våglängden.

Till exempel, jämför det tidiga EGRET gammastrålningsobservatoriet, som flög på 1990-talet, till NASA:s flaggskeppsuppdrag Fermi, som fyller 10 år i år. EGRET upptäckte endast cirka 190 gammastrålkällor på himlen. Fermi har sett över 5, 000.

The Large Synoptic Survey Telescope, ett optiskt teleskop som för närvarande byggs i Chile, kommer att avbilda hela himlen med några nätter. Det kommer att vara så känsligt att det kommer att generera 10 miljoner varningar per natt på nya eller övergående källor, leder till en katalog på över 15 petabyte efter 10 år.

The Square Kilometer Array, när den är färdig 2020, kommer att bli det känsligaste teleskopet i världen, kan upptäcka flygplatsradarstationer för främmande civilisationer upp till 50 ljusår bort. På bara ett års verksamhet, det kommer att generera mer data än hela internet.

Dessa ambitiösa projekt kommer att testa forskarnas förmåga att hantera data. Bilder kommer att behöva bearbetas automatiskt – vilket innebär att data måste reduceras till en hanterbar storlek eller omvandlas till en färdig produkt. De nya observatorierna driver på beräkningskraftens hölje, kräver anläggningar som kan bearbeta hundratals terabyte per dag.

De resulterande arkiven – alla offentligt sökbara – kommer att innehålla 1 miljon gånger mer information än vad som kan lagras på din typiska 1 TB backup-skiva.

Låser upp ny vetenskap

Datafloden kommer att få astronomi att bli en mer samarbetsvillig och öppen vetenskap än någonsin tidigare. Tack vare internetarkiv, robusta lärande gemenskaper och nya uppsökande initiativ, medborgare kan nu delta i vetenskapen. Till exempel, med datorprogrammet Einstein@Home, vem som helst kan använda sin dators vilotid för att hjälpa till att söka efter gravitationsvågor från kolliderande svarta hål.

Det är en spännande tid för forskare, för. Astronomer som jag studerar ofta fysiska fenomen på tidsskalor så vilt bortom den typiska mänskliga livstid att det inte kommer att hända att se dem i realtid. Händelser som en typisk galaxsammanslagning – vilket är precis vad det låter som – kan ta hundratals miljoner år. Allt vi kan fånga är en ögonblicksbild, like a single still frame from a video of a car accident.

Dock, there are some phenomena that occur on shorter timescales, taking just a few decades, years or even seconds. That's how scientists discovered those thousands of black holes in the new study. It's also how they recently realized that the X-ray emission from the center of a nearby dwarf galaxy has been fading since first detected in the 1990s. These new discoveries suggest that more will be found in archival data spanning decades.

In my own work, I use Hubble archives to make movies of "jets, " high-speed plasma ejected in beams from black holes. I used over 400 raw images spanning 13 years to make a movie of the jet in nearby galaxy M87. That movie showed, för första gången, the twisting motions of the plasma, suggesting that the jet has a helical structure.

This kind of work was only possible because other observers, for other purposes, just happened to capture images of the source I was interested in, back when I was in kindergarten. As astronomical images become larger, higher resolution and ever more sensitive, this kind of research will become the norm.

Denna artikel publicerades ursprungligen på The Conversation. Läs originalartikeln.