Det moderna talesättet "fungerar smartare, inte hårdare "betonar vikten av att inte bara arbeta för att producera, men också effektivt utnyttja resurser.

Och det är inget som superdatorer för närvarande gör bra hela tiden, särskilt när det gäller att hantera enorma mängder data.

Men ett team av forskare vid Institutionen för datavetenskap i Virginia Tech's College of Engineering hjälper superdatorer att arbeta mer effektivt på ett nytt sätt, använder maskininlärning för att distribuera korrekt, eller lastbalans, databehandlingsuppgifter på de tusentals servrar som består av en superdator.

Genom att införliva maskininlärning för att förutsäga inte bara uppgifter utan typer av uppgifter, forskare fann att belastningen på olika servrar kan hållas balanserad i hela systemet. Teamet kommer att presentera sin forskning i Rio de Janeiro, Brasilien, på det 33:e internationella parallell- och distribuerade bearbetningssymposiet den 22 maj, 2019.

Nuvarande datahanteringssystem i superdatorer förlitar sig på metoder som tilldelar uppgifter på ett round-robin-sätt till servrar utan hänsyn till typen av uppgift eller datamängd som det kommer att belasta servern med. När belastningen på servrar inte är balanserad, system trasslar ner sig av efterföljare, och prestandan försämras kraftigt.

"Superdator-system är en förebild av amerikansk konkurrenskraft inom högpresterande datorer, "sade Ali R. Butt, professor i datavetenskap. "De är avgörande för att inte bara uppnå vetenskapliga genombrott utan för att upprätthålla effektiviteten hos system som gör att vi kan bedriva vår vardag, från att använda streamingtjänster för att titta på filmer till att bearbeta finansiella transaktioner online till att förutsäga vädersystem med hjälp av vädermodellering. "

För att implementera ett system för att använda maskininlärning, laget byggde ett nytt end-to-end-kontrollplan som kombinerade de applikationscentrerade styrkorna på klientsidans tillvägagångssätt med de systemcentrerade styrkorna på serversidan.

"Denna studie var ett stort steg i hanteringen av superdatorer. Det vi har gjort har gett superdatorer en prestandahöjning och bevisat att dessa system kan hanteras smart på ett kostnadseffektivt sätt genom maskininlärning, "sa Bharti Wadhwa, första författare på tidningen och en doktorsexamen kandidat vid institutionen för datavetenskap. "Vi har gett användarna möjligheten att designa system utan att det kostar mycket."

Den nya tekniken gav laget möjligheten att ha "ögon" för att övervaka systemet och tillät datalagringssystemet att lära sig och förutsäga när större laster kan komma ner på gäddan eller när belastningen blev för stor för en server. Systemet gav också information i realtid på ett applikationsagnostiskt sätt, skapa en global syn på vad som hände i systemet. Tidigare kunde servrar inte lära sig och mjukvaruapplikationer var inte tillräckligt smidiga för att kunna anpassas utan större omdesign.

"Algoritmen förutspådde framtida begäranden av applikationer via en tidsseriemodell, "sade Arnab K. Paul, andra författare och doktorand kandidat även vid institutionen för datavetenskap. "Denna förmåga att lära av data gav oss ett unikt tillfälle att se hur vi kan placera framtida förfrågningar på ett lastbalanserat sätt."

End-to-end-systemet möjliggjorde också en oöverträffad förmåga för användare att dra nytta av lastbalanserad inställning utan att ändra källkoden. I nuvarande traditionella superdatorer är detta ett kostsamt förfarande eftersom det kräver att grunden för applikationskoden ändras

"Det var ett privilegium att bidra till superdatorområdet med detta team, "sa Sarah Neuwirth, en postdoktor från Heidelbergs universitet för datorteknik. "För att superdatorer ska utvecklas och möta utmaningarna i ett samhälle från 2000-talet, vi kommer att behöva leda internationella insatser som detta. Mitt eget arbete med vanliga superdatorsystem hade stor nytta av detta projekt. "

End-to-end-kontrollplanet bestod av lagringsservrar som publicerade sin användningsinformation till metadataservern. En autoregressiv, integrerad rörlig genomsnittlig tidsseriemodell användes för att förutsäga framtida förfrågningar med ungefär 99 procents noggrannhet och skickades till metadataservern för att kartlägga till lagringsservrar med hjälp av minimikostnadsflödesgrafalgoritm.