Att identifiera cybersäkerhetshot från rå internetdata kan vara som att placera en nål i en höstack. Mängden internettrafikdata som genereras under en 48-timmarsperiod, till exempel, är för massiv för att en eller till och med 100 bärbara datorer ska kunna bearbetas till något smältbart för mänskliga analytiker. Det är därför analytiker förlitar sig på provtagning för att söka efter potentiella hot, välja små datasegment att titta på på djupet, i hopp om att hitta misstänkt beteende.

Även om denna typ av provtagning kan fungera för vissa uppgifter, som att identifiera populära IP -adresser, det är otillräckligt för att hitta subtila hotfulla trender.

"Om du försöker upptäcka avvikande beteenden, per definition att beteende är sällsynt och osannolikt, "säger Vijay Gadepally, en högre personal vid Lincoln Laboratory Supercomputing Center (LLSC). "Om du provar, det gör en redan ovanlig sak nästan omöjlig att hitta. "

Gadepally ingår i ett forskargrupp vid laboratoriet som tror att superdatorer kan erbjuda en bättre metod - en som ger analytiker tillgång till all relevant information på en gång - för att identifiera dessa subtila trender. I en nyligen publicerad tidning, laget kondenserade framgångsrikt 96 timmar rå, 1-gigabit-nätverk länkar internettrafikdata till en förpackningsklar bunt. De skapade paketet genom att köra 30, 000 processorkärnor (lika med cirka 1, 000 bärbara datorer) vid LLSC i Holyoke, Massachusetts, och det lagras i MIT SuperCloud, där den kan nås av alla som har ett konto.

"[Vår forskning] visade att vi kunde utnyttja superdatorresurser för att få in en enorm mängd data och sätta den i en position där en cybersäkerhetsforskare kan använda den, "Förklarar Gadepally.

Ett exempel på den typ av hotande aktivitet som kräver att analytiker gräver sig in i en så enorm mängd data är instruktioner från kommando-och-kontroll-servrar (C&C). Dessa servrar utfärdar kommandon till enheter som är infekterade med skadlig kod för att stjäla eller manipulera data.

Gadepally liknar deras beteendemönster med skräppostuppringare:Även om en vanlig uppringare kan ringa och ta emot lika många samtal, en skräppost skulle ringa miljontals fler samtal än de tar emot. Det är samma idé för en C &C -server, och detta mönster kan bara hittas genom att titta på massor av data under en lång tid.

"Den nuvarande branschstandarden är att använda små datafönster, där du slänger ut 99,99 procent, "Säger Gadepally." Vi kunde behålla 100 procent av data för denna analys. "

Teamet planerar att sprida kunskapen om deras förmåga att komprimera en så stor mängd data och de hoppas att analytiker kommer att dra nytta av denna resurs för att ta nästa steg för att slå ner på hot som hittills varit svårfångade. De arbetar också med sätt att bättre förstå hur "normalt" internetbeteende ser ut som en helhet, så att hoten lättare kan identifieras.

"Upptäckten av cyberhot kan förbättras kraftigt genom att ha en exakt modell av normal bakgrundsnätverkstrafik, "säger Jeremy Kepner, en Lincoln Laboratory -stipendiat vid LLSC som står i spetsen för denna nya forskning. Analytiker skulle kunna jämföra internettrafikdata som de undersöker med dessa modeller för att få avvikande beteende till ytan lättare.

"Med hjälp av vår processrörledning, vi kan utveckla nya tekniker för att beräkna dessa bakgrundsmodeller, " han säger.

Som regering, företag, och personliga användare förlitar sig allt oftare på internet för sin dagliga verksamhet, att upprätthålla cybersäkerhet kommer att förbli en viktig uppgift för forskare och forskarna säger att superdatorer är en outnyttjad resurs som kan hjälpa.

Denna artikel publiceras på nytt med tillstånd av MIT News (web.mit.edu/newsoffice/), en populär webbplats som täcker nyheter om MIT -forskning, innovation och undervisning.