Forskare från University of Manchester som arbetar med ett revolutionerande teleskopprojekt har utnyttjat kraften i distribuerad datoranvändning från Storbritanniens GridPP-samarbete för att ta itu med ett av universums största mysterier – mörk materias och mörk energis natur.

Forskare vid University of Manchester har använt resurser från GridPP – som representerar Storbritanniens bidrag till det datornät som används för att hitta Higgs-bosonen vid CERN – för att köra bildbehandlings- och maskininlärningsalgoritmer på tusentals bilder av galaxer från den internationella Dark Energy Undersökning.

Manchester-teamet är en del av samarbetsprojektet för att bygga Large Synoptic Survey Telescope (LSST), en ny typ av teleskop som för närvarande byggs i Chile och utformad för att genomföra en 10-årig undersökning av det dynamiska universum. LSST kommer att kunna kartlägga hela den synliga himlen.

Som förberedelse för att LSST börjar sin revolutionerande skanning, ett pilotforskningsprojekt har hjälpt forskare att upptäcka och kartlägga den kosmiska skjuvningen sett över natthimlen, ett av de tydliga tecknen på mörk materia och mörk energi som anses utgöra cirka 95 procent av vad vi ser i universum. Detta kommer i sin tur att hjälpa till att förbereda för analysen av de förväntade 200 petabyte data som LSST kommer att samla in när den börjar fungera 2023.

Pilotforskarteamet baserat på Manchester of University leddes av Dr Joe Zuntz, en kosmolog ursprungligen vid Manchesters Jodrell Bank Observatory och nu forskare vid Royal Observatory i Edinburgh.

"Vårt övergripande mål är att ta itu med mysteriet med det mörka universum - och detta pilotprojekt har varit enormt betydelsefullt. När LSST är i full drift kommer forskare att möta en galaktisk dataflod - och vårt arbete kommer att förbereda oss för den analytiska utmaningen som ligger framför oss, sa Sarah Bridle, Professor i astrofysik.

Dr George Beckett, LSST-UK Science Center Project Manager baserad vid University of Edinburgh, tillade:"Piloten har varit en stor framgång. Efter att ha avslutat arbetet, Joe och hans kollegor kan utföra skjuvningsanalyser på stora bilduppsättningar mycket snabbare än vad som var fallet tidigare. Tack till medlemmarna i GridPP-communityt för deras hjälp och stöd hela tiden."

LSST kommer att producera bilder av galaxer i en mängd olika frekvensband i det synliga elektromagnetiska spektrumet, med varje bild som ger olika information om galaxens natur och historia. I svunna tider, de mätningar som behövs för att bestämma egenskaper som kosmisk skjuvning kan ha gjorts för hand, eller åtminstone med mänsklig övervakad datorbehandling.

Med de miljarder galaxer som förväntas observeras av LSST, sådana tillvägagångssätt är omöjliga. Specialiserad bildbehandlings- och maskininlärningsmjukvara (Zuntz 2013) har därför utvecklats för användning med galaxbilder från teleskop som LSST och dess föregångare. Detta kan användas för att producera kosmiska skjuvkartor. Utmaningen blir då att bearbeta och hantera data för hundratusentals galaxer och extrahera vetenskapliga resultat som krävs av LSST -forskare och det bredare astrofysiska samhället.

Eftersom varje galax är väsentligen oberoende av andra galaxer i katalogen, själva arbetsflödet för bildbehandling är mycket parallelliserbart. Detta gör det till ett idealiskt problem att hantera med den typ av HTP-resurser (High-Throughput Computing) och infrastruktur som GridPP erbjuder. På många sätt, data från CERN:s Large Hadron Collider-partikelkollisionshändelser är som de som produceras av en digitalkamera (faktiskt, pixelbaserade detektorer används nära interaktionspunkterna) – och GridPP bearbetar regelbundet miljarder sådana händelser som en del av Worldwide LHC Computing Grid (WLCG).

En pilotövning, ledd av Dr Joe Zuntz vid University of Manchester och med stöd av en av de längst tjänstgörande och mest erfarna GridPP-experterna, Senior systemadministratör Alessandra Forti, såg porteringen av bildanalysarbetsflödet till GridPPs distribuerade datorinfrastruktur. Data från Dark Energy Survey (DES) användes för piloten.

Efter att ha överfört dessa data från USA till GridPP Storage Elements, och aktivera LSST Virtual Organization på ett antal GridPP Tier-2-webbplatser, IM3SHAPE analysprogrampaketet (Zuntz, 2013) testades på lokal, rutnätsvänliga klientmaskiner för att säkerställa smidig drift på nätet. Analysjobb skickades sedan in och hanterades med hjälp av Ganga-programsviten, som kan koordinera de tusentals individuella analyser som är associerade med varje grupp av galaxer. De första körningarna skickades med Ganga till lokala nätplatser, men piloten gick vidare till att skickas till flera platser via tjänsten GridPP DIRAC (Distributed Infrastructure with Remote Agent Control). Flexibiliteten i Ganga tillåter båda typerna av inlämning, vilket gjorde övergången från lokal till distribuerad körning betydligt enklare.

I slutet av piloten, Dr Zuntz kunde köra arbetsflödet för bildbehandling på flera GridPP-webbplatser, regelbundet skickar in tusentals analysjobb på DES-bilder.