Maskininlärningsalgoritmer kan slå världens hårdaste videospel på några minuter och lösa komplexa ekvationer snabbare än de kollektiva ansträngningarna från generationer av fysiker. Men de konventionella algoritmerna kämpar fortfarande med att välja ut stoppskyltar på en livlig gata.

Objektidentifiering fortsätter att hämma området för maskininlärning - särskilt när bilderna är flerdimensionella och komplicerade, som de partikeldetektorer tar av kollisioner i högenergifysikexperiment. Dock, en ny klass av neurala nätverk hjälper dessa modeller att öka deras mönsterigenkänningsförmåga, och tekniken kan snart implementeras i partikelfysikexperiment för att optimera dataanalys.

Den här sommaren, Fermilab-fysiker gjorde ett framsteg i sin ansträngning att bädda in grafiska neurala nätverk i experimentsystemen. Forskaren Lindsey Gray uppdaterade mjukvara som gör att dessa banbrytande algoritmer kan distribueras på data från Large Hadron Collider vid CERN. För första gången, dessa nätverk kommer att integreras i partikelfysikexperiment för att bearbeta detektordata direkt – vilket öppnar slussarna för ett stort hopp i effektivitet som kommer att ge mer exakt insikt från nuvarande och framtida detektorer.

"Det som bara var ett forskningsobjekt för en vecka sedan är nu ett allmänt användbart verktyg som kan förändra vår förmåga att analysera data från partikelfysikexperiment, " sa Gray.

Hans arbete fokuserar initialt på att använda grafiska neurala nätverk för att analysera data från CMS-experimentet vid LHC, ett av kolliderarens fyra stora partikelfysikexperiment.

Programmerare utvecklar neurala nätverk för att sålla bland berg av data i sökandet efter en specifik kategori eller kvantitet – säg, en stoppskylt på ett foto av en fullsatt gata.

Normala digitala fotografier är i grunden ett gigantiskt rutnät av rött, gröna och blå fyrkantiga pixlar. Efter att ha blivit tränad att känna igen hur en stoppskylt ser ut, klassiska neurala nätverk inspekterar hela pixelblocket för att se om målet är närvarande eller inte. Denna metod är ineffektiv, dock, eftersom modellerna måste bearbeta massor av irrelevanta, förvirrande data.

Datavetare har utvecklat nya klasser av neurala nätverk för att förbättra denna process, men algoritmerna kämpar fortfarande för att identifiera objekt i bilder som är mer komplexa än bara ett tvådimensionellt rutnät av kvadratiska pixlar.

Ta molekyler, till exempel. För att avgöra om en kemikalie är giftig eller inte, kemister måste lokalisera vissa egenskaper som kolringar och karboxylgrupper i en molekyl. Fotografierna av kemikalierna som tagits med röntgenkromatografimaskiner ger 3D-bilder av bundna atomer, som ser lite olika ut varje gång de ses.

Eftersom data inte lagras i ett kvadratiskt rutnät, det är svårt för typiska neurala nätverk att lära sig att identifiera de giftiga föreningarna. För att komma runt detta, kemister har börjat använda en ny uppsättning neurala nätverk:grafiska neurala nätverk, eller GNN.

Till skillnad från dessa typiska neurala nätverk, GNN:er kan berätta vilka pixlar som är anslutna till varandra även om de inte är i ett 2D-rutnät. Genom att använda "kanterna" mellan "noderna" av data (i detta fall, bindningarna mellan atomerna), dessa maskininlärningsmodeller kan identifiera önskade ämnen mycket mer effektivt.

Grays vision är att ta med dessa modeller och deras förbättrade målidentifiering för att effektivisera databehandlingen för partikelkollisioner.

"Med ett grafiskt neuralt nät, du kan skriva en betydligt bättre mönsterigenkänningsalgoritm för att användas för något så komplext som partikelacceleratordata eftersom den har förmågan att titta på relationer mellan all data som kommer in för att hitta de mest relevanta delarna av den informationen, " han sa.

Grays forskning fokuserar på att implementera GNN i CMS-detektorns kalorimeter med hög granularitet, eller HGCal. CMS tar miljarder bilder av högenergikollisioner varje sekund för att söka efter bevis på nya partiklar.

En utmaning med kalorimetern är att den samlar in så mycket data – tillräckligt med bilder för att fylla upp 20 miljoner iPhones varje sekund – att en stor majoritet måste slängas på grund av begränsningar i lagringsutrymme. HGCals triggersystem måste på några miljondelar av en sekund bestämma vilka delar av datan som är intressanta och bör sparas. Resten raderas.

"Om du har ett neuralt nätverk som du kan optimera för att köras under en viss tid, då kan du fatta dessa beslut mer tillförlitligt. Du missar inte saker, och du behåller inte saker som du egentligen inte behöver, sa Kevin Pedro, en annan Fermilab-forskare som arbetar med Gray.

HGCal-detektorerna samlar in massor av olika information samtidigt om partikelinteraktioner, vilket ger mycket komplicerade bilder.

"Dessa data är konstigt utformade, de har slumpmässiga luckor i sig, och de är inte ens i närheten av ett sammanhängande rutnät av rutor, " sa Gray. "Det är där graferna kommer in - eftersom de tillåter dig att bara hoppa över alla meningslösa saker."

I teorin, GNN:erna skulle tränas för att analysera sambanden mellan intressanta pixlar och kunna förutsäga vilka bilder som bör sparas och vilka som kan raderas mycket mer effektivt och exakt. Dock, eftersom denna klass av neurala nät är så ny för partikelfysik, det är ännu inte möjligt att implementera dem direkt i triggerhårdvaran.

Grafens neurala nätverk är väl lämpat för HGCal på ett annat sätt:HGCals moduler är hexagonala, en geometri som, även om det inte är kompatibelt med andra typer av neurala nätverk, fungerar bra med GNN.

"Det är det som gör det här projektet till ett genombrott, ", sa Fermilabs informationschef Liz Sexton-Kennedy. "Det visar Kevins och Lindseys uppfinningsrikedom:De arbetade nära kollegor som designade kalorimetern, och de använde sin unika expertis inom mjukvara för att ytterligare utöka experimentets möjligheter. "

Gray lyckades också skriva en kod som utökar funktionerna hos PyTorch, ett allmänt använt ramverk för maskininlärning med öppen källkod, för att tillåta grafiska neurala nätverksmodeller att köras på distans på enheter runt om i världen.

"Innan detta, det var extremt klumpigt och omständligt att bygga en modell och sedan distribuera den, " sa Gray. "Nu när det är funktionellt, du skickar bara ut data till tjänsten, den tar reda på hur man bäst utför det, och sedan skickas utdata tillbaka till dig."

Gray och Pedro sa att de hoppas att de grafiska neurala nätverken ska fungera när LHC:s Run 3 återupptas 2021. På så sätt, modellerna kan utbildas och testas innan kolliderarens uppgradering av hög ljusstyrka, vars ökade datainsamlingsmöjligheter kommer att göra GNN ännu mer värdefulla.

När nätverken väl är igång på ett ställe, det borde vara mycket lättare att få dem att fungera i andra experiment runt labbet.

"Du kan fortfarande tillämpa samma saker som vi lär oss om grafiska neurala nätverk i HGCal på andra detektorer i andra experiment, Gray sa. "Hastigheten med vilken vi använder maskininlärning i högenergifysik är inte ens i närheten av mättad ännu. Människor kommer att fortsätta hitta fler och fler sätt att tillämpa det."