I jakten på numeriska förutsägelser för exotiska partiklar, forskare simulerar atombyggande kvarg- och gluonpartiklar över 70 gånger snabbare på Summit, världens mest kraftfulla vetenskapliga superdator, än på sin föregångare Titan vid US Department of Energy's (DOE:s) Oak Ridge National Laboratory (ORNL). Interaktionerna mellan kvarkar och gluoner beräknas med hjälp av lattice quantum chromodynamik (QCD) - en datorvänlig version av det matematiska ramverket som beskriver dessa starka kraftinteraktioner.

Med nya algoritmer och optimeringar för GPU-baserade system som Summit, Beräkningsfysikerna Balint Joo från DOE:s Jefferson Lab och Kate Clark från GPU-utvecklaren NVIDIA kombinerar två QCD-koder med öppen källkod, Chroma och QUDA-biblioteket för GPU:er, på toppmötet. Beläget vid Oak Ridge Leadership Computing Facility (OLCF), Summit är en 200-petaflop, IBM AC922-system som lanserades i juni som det topprankade systemet på Top500-listan.

QCD-beräkningar kan hjälpa till att avslöja svårfångade, kortlivade partiklar som är svåra att fånga i experiment. Framsteg inom QCD-applikationer för denna nya generation av superdatorer kommer att gynna teamet, ledd av fysikern Robert Edwards från Jefferson Lab, i sin strävan att upptäcka egenskaperna hos exotiska partiklar.

"Vi får förutsägelser från QCD, "Joo sa." Där det finns teoretiska okända, beräkningar kan ge oss energitillstånd och partikelsönderfall att leta efter i experiment."

Edwards och Joo arbetar nära med ett partikelacceleratorexperiment vid Jefferson Lab kallat GlueX som överbryggar teoretiska förutsägelser från QCD och experimentella bevis.

"GlueX är ett flaggskeppsexperiment av den nyligen avslutade uppgraderingen på 338 miljoner dollar av CEBAF Accelerator of Jefferson Lab. Experimentet i den nya Hall D i labbet använder elektronstrålen för att skapa en intensiv polariserad fotonstråle för att producera partiklar, inklusive möjligen exotiska mesoner, "Sa Edwards." Våra QCD -beräkningar informerar och guidar dessa experimentella sökningar. "

Full fart framåt

Teamet fick tidig tillgång till Summit för att testa prestandan för sin kod på systemets arkitektur. Summit har ungefär en fjärdedel av antalet noder i den 27 petaflop Titan superdatorn. Dock, Summits noder – som består av två IBM Power9-processorer och sex NVIDIA Tesla V100 GPU:er – är exceptionellt snabba och minnestäta, inklusive 42 teraflops prestanda och 512 gigabyte minne per nod.

Genom en kombination av hårdvaruutvecklingar och mjukvaruoptimeringar, teamet ökade genomströmningen på Summit nio gånger jämfört med deras tidigare Titan-simuleringar, samtidigt som de komprimerar deras ursprungliga problemstorlek för att använda åtta gånger färre grafikprocessorer för en total prestandaökning på cirka 72 gånger.

I gitter QCD-simuleringar, rymdtid representeras av ett gitter, och forskare genererar ögonblicksbilder av starkkraftsfältet på länkarna i detta gitter, känd som mätarkonfigurationer. Detta första steg kallas mätargenerering. Sedan, i ett steg som kallas kvarkpropagatorberäkningen, forskare introducerar en laddning i mätfältet och löser ett stort ekvationssystem som representerar hur en kvark skulle röra sig genom rum och tid. I ett sista analyssteg, dessa kvarkpropagatorer kombineras till initiala och slutliga partikeltillstånd, från vilka energispektra kan beräknas och relateras till experiment.

För att förbereda sin kod för Summit, teamet gjorde algoritmiska förbättringar för att öka effektiviteten. Först, de avancerade en adaptiv multigrid-lösare i QUDA-biblioteket som genererar grova och fina nät baserat på låg- och högenergitillstånd, respektive. Multigrid-processen innefattar en installationsfas, som sedan används i lösningssteg.

"Summit GPU:er är mycket väl skräddarsydda för denna multigrid-algoritm, och vi såg snabbare potential där, "Sa Clark.

Tidigare, Lösningsstegen var optimerade för Titans GPU:er, och multigrid-lösaren användes för kvarkutbredningsfasen av beräkningar som utfördes för varje mätarkonfiguration. För toppmötet, teamet integrerade multigrid-lösaren i den första mätargenereringsfasen.

"I mätgenereringsfasen, mätarkonfigurationer ändras snabbt och kräver att installationsprocessen upprepas ofta, " Sa Joo. "Därför, ett avgörande optimeringssteg var att flytta denna installationsfas helt till GPU:erna."

Teamet såg en annan möjlighet att påskynda mätkonfigurationsgenerering genom att införliva andra algoritmiska och mjukvaruförbättringar vid sidan av multigridlösaren.

Först, för att minska mängden arbete som krävs för att byta från en mätarkonfiguration till nästa, teamet implementerade en kraftgradientintegrator som använder en molekylär dynamikmetod som tidigare var anpassad för QCD.

"Processen liknar matematiskt att simulera molekyler av en gas, så en molekylär dynamikprocedur används för att generera varje ny mätarkonfiguration från den föregående, "Joo sa.

Andra, medan QUDA-biblioteket automatiskt kör beräkningar som behövs för mätarkonfigurationsgenerering på GPU:er, den fullständiga algoritmen har många andra bitar av kod som kan orsaka en prestandaflaskhals om inte också GPU-accelererad. För att undvika denna flaskhals och förbättra prestanda, teamet använde QDP-Just-in-Time (JIT) versionen av QDP++ mjukvarulagret som ligger bakom Chroma för att rikta in sig på alla matematiska uttryck för att köras fullt ut på GPU:er.

"Förbättringarna i hastigheten från dessa optimeringar gjorde att vi kunde starta en simulering som vi helt enkelt inte kunde tänka oss att utföra tidigare, " Sa Joo. "På Titan, vi har redan påbörjat en ny körning genom ASCR Leadership Computing Challenge-programmet med kvarkar som har massor som mer liknar dem i naturen, som riktar sig direkt till vårt spektroskopiprogram vid Jefferson Lab."