I nästan tre decennier, forskare och ingenjörer över hela världen har arbetat på Square Kilometer Array (SKA), ett projekt fokuserat på att designa och bygga världens största radioteleskop. Även om SKA kommer att samla in enorma mängder exakta astronomiska data på rekordtid, Vetenskapliga genombrott kommer endast att vara möjliga med system som effektivt kan bearbeta dessa data.

Eftersom bygget av SKA inte är planerat att påbörjas förrän 2021, forskare kan inte samla tillräckligt med observationsdata för att öva på att analysera de enorma mängder som experter förväntar sig att teleskopet kommer att producera. Istället, ett team från International Centre for Radio Astronomy Research (ICRAR) i Australien, Department of Energy's (DOE:s) Oak Ridge National Laboratory (ORNL) i USA, och Shanghai Astronomical Observatory (SHAO) i Kina använde nyligen Summit, världens kraftfullaste superdator, för att simulera SKA:s förväntade uteffekt. Summit ligger vid Oak Ridge Leadership Computing Facility, en DOE Office of Science User Facility på ORNL.

"Summit superdator gav en unik möjlighet att testa ett enkelt SKA-dataflöde i den skala vi förväntar oss av teleskoparrayen, sa Andreas Wicenec, chef för dataintensiv astronomi på ICRAR.

För att bearbeta de simulerade data, teamet förlitade sig på det ORNL-utvecklade Adaptable IO System (ADIOS), ett ramverk för öppen källkod för input/output (I/O) ledd av ORNL:s Scott Klasky, som också leder laboratoriets vetenskapliga datagrupp. ADIOS är designat för att påskynda simuleringar genom att öka effektiviteten i I/O-operationer och för att underlätta dataöverföringar mellan högpresterande datorsystem och andra faciliteter, vilket annars skulle vara en komplex och tidskrävande uppgift.

SKA-simuleringen på Summit markerar första gången radioastronomidata har bearbetats i så stor skala och bevisar att forskarna har expertis, mjukvaruverktyg, och datorresurser som kommer att vara nödvändiga för att bearbeta och förstå verkliga data från SKA.

"Den vetenskapliga datagruppen är dedikerad till att forska i nästa generations teknik som kan utvecklas och distribueras för de mest vetenskapligt krävande applikationerna på världens snabbaste datorer, " sa Klasky. "Jag är stolt över allt det hårda arbete ADIOS-teamet och SKA-forskarna har gjort med ICRAR, ORNL, och SHAO."

Använder två typer av radiomottagare, teleskopet kommer att upptäcka radioljusvågor som kommer från galaxer, omgivningen av svarta hål, och andra föremål av intresse i yttre rymden för att hjälpa astronomer att svara på grundläggande frågor om universum. Att studera dessa svaga, svårfångade vågor kräver en armé av antenner.

Den första fasen av SKA kommer att ha mer än 130, 000 lågfrekventa, konformade antenner belägna i västra Australien och cirka 200 högre frekvenser, skålformade antenner belägna i Sydafrika. Det internationella projektteamet kommer så småningom att hantera nära en miljon antenner för att genomföra oöverträffade studier av astronomiska fenomen.

För att efterlikna den västra australiensiska delen av SKA, forskarna körde två modeller på Summit – en av antennuppsättningen och en från det tidiga universum – genom en mjukvarusimulator designad av forskare från University of Oxford som efterliknar SKA:s datainsamling. Simuleringarna genererade 2,6 petabyte data med 247 gigabyte per sekund.

"Att generera en så stor mängd data med antennsystemsimulatorn kräver mycket kraft och tusentals grafikprocessorer för att fungera korrekt, ", sa ORNL mjukvaruingenjör Ruonan Wang. "Summit är förmodligen den enda datorn i världen som kan göra detta."

Även om simulatorn vanligtvis körs på en enda dator, teamet använde ett specialiserat verktyg för arbetsflödeshantering som Wang hjälpte ICRAR att utveckla kallad Data Activated Flow Graph Engine (DALiuGE) för att effektivt skala modelleringskapaciteten upp till 4, 560 beräkningsnoder på Summit. DALiuGE har inbyggd feltolerans, se till att mindre fel inte hindrar arbetsflödet.

"Problemet med traditionella resurser är att ett problem kan få hela jobbet att falla isär, " sa Wang. Wang tog sin doktorsexamen vid University of Western Australia, som förvaltar ICRAR tillsammans med Curtin University.

Det intensiva inflödet av data från arraysimuleringarna resulterade i en prestandaflaskhals, som laget löste genom att minska, bearbetning, och lagra data med ADIOS. Forskare ansluter vanligtvis ADIOS direkt till I/O-undersystemet för en given applikation, men simulatorns ovanligt komplicerade programvara innebar att teamet var tvungen att anpassa en plug-in-modul för att göra de två resurserna kompatibla.

"Detta var mycket mer komplicerat än en vanlig applikation, " sa Wang.

Wang började arbeta på ADIOS1, den första iterationen av verktyget, 6 år sedan under sin tid på ICRAR. Nu, han fungerar som en av huvudutvecklarna av den senaste versionen, ADIOS2. Hans team siktar på att positionera ADIOS som en överlägsen lagringsresurs för nästa generation av astronomidata och standard I/O-lösningen för framtida teleskop bortom ens SKA:s gigantiska räckvidd.

"Ju snabbare vi kan behandla data, ju bättre vi kan förstå universum, " han sa.