Forskare har bearbetat 400 gigabyte data i sekunden när de testade datapipelines för Square Kilometer Array (SKA)-teleskopet.

Forskare från ICRAR i Perth, Oak Ridge National Laboratory i USA och Shanghai Astronomical Observatory i Kina använde världens mest kraftfulla superdator – Summit – för att bearbeta simulerade observationer av det tidiga universum inför radioteleskopet som byggdes i västra Australien och Sydafrika.

Datahastigheten som uppnåddes motsvarade mer än 1600 timmars YouTube-videor i standardupplösning varje sekund.

Professor Andreas Wicenec, chef för dataintensiv astronomi vid International Centre for Radio Astronomy Research (ICRAR), sa att det var första gången radioastronomidata har bearbetats i denna skala.

"Tills nu, vi hade ingen aning om vi kunde ta en algoritm designad för att behandla data som kommer från dagens radioteleskop och tillämpa den på något tusen gånger större, " han sa.

"Att slutföra detta test framgångsrikt säger oss att vi kommer att kunna hantera datafloden från SKA när den kommer online under det kommande decenniet.

"Men, det faktum att vi behöver världens största superdator för att köra detta test framgångsrikt visar att SKA:s behov finns i gränsen till vad dagens superdatorer kan leverera."

Miljarddollar-SKA är ett av världens största vetenskapsprojekt, med lågfrekvensdelen av teleskopet inställd på att ha mer än 130, 000 antenner i projektets inledande fas, genererar cirka 550 gigabyte data varje sekund.

Summit ligger vid det amerikanska energidepartementets Oak Ridge National Laboratory i Tennessee.

Det är världens mest kraftfulla vetenskapliga superdator, med en toppprestanda på 200, 000 biljoner beräkningar per sekund.

Oak Ridge National Laboratory mjukvaruingenjör och forskare Dr Ruonan Wang, en före detta ICRAR Ph.D. studerande, sa att den enorma mängden data som användes för SKA-testkörningen innebar att data måste genereras på själva maskinen.

"Vi använde en sofistikerad mjukvarusimulator skriven av forskare vid University of Oxford, och gav den en kosmologisk modell och arraykonfigurationen för teleskopet så att den kunde generera data när den skulle komma från teleskopet som observerade himlen, " han sa.

"Vanligtvis körs den här simulatorn på bara en enda dator, genererar bara en liten bråkdel av vad SKA skulle producera.

"Så vi använde en annan mjukvara skriven av ICRAR, kallas Data Activated Flow Graph Engine (DALiuGE), att distribuera en av dessa simulatorer till var och en av de 27, 648 grafikprocessorenheter som utgör Summit.

"Vi använde också Adaptable IO System (ADIOS), utvecklad vid Oak Ridge National Laboratory, för att lösa en flaskhals som orsakas av att försöka bearbeta så mycket data samtidigt."

Testkörningen använde en kosmologisk simulering av det tidiga universum vid en tid känd som återjoniseringens epok, när de första stjärnorna och galaxerna bildades och blev synliga.

Professor Tao An vid Shanghai Astronomical Observatory sa att data först beräknades till en storlek som var 36 gånger mindre.

"Den genomsnittliga datan användes sedan för att producera en bildkub av ett slag som kan analyseras av astronomer, " han sa.

"Till sist, bildkuben skickades till Perth, simulerar hela dataflödet från teleskopet till slutanvändarna."

Bygget av SKA beräknas påbörjas 2021.