Storskalig, avancerad dator med hög prestanda, kallas ofta superdatorer, är avgörande för att lösa både komplexa och stora frågor.

Allt från att svara på metafysiska frågor om universums ursprung till att upptäcka cancerbekämpande läkemedel till att stödja snabba streamingtjänster, kräver behandling av enorma mängder data.

Men lagringsplattformar som är viktiga för dessa avancerade datorsystem har fastnat i en stel ram som krävde att användarna antingen kunde välja mellan anpassning av funktioner eller hög tillgänglighet.

Nu, Forskare från Virginia Tech har hittat ett sätt att ge högpresterande datorsystem (HPC) datasystem flexibilitet att trivas med ett första i sitt slag som kallas BespoKV, kanske hjälper till att en dag uppnå HPC -målet att prestera i exascale, eller 1 miljard miljarder beräkningar per sekund.

Forskarna kommer att presentera sina resultat vid Association of Computing Machinery/IEEE Supercomputing Conference i Dallas, Texas, den 13 november.

Huvudingrediensen för den nya plattformens funktion är nyckelvärdessystem (KV). KV-system lagrar och hämtar viktiga data från mycket snabb minnesbaserad lagring istället för långsammare diskar. Dessa system används alltmer i dagens högpresterande applikationer som använder distribuerade system, som består av många datorer för att lösa ett problem. Högpresterande datorer är beroende av att ha datorintag, bearbeta, och analysera enorma mängder data i oöverträffade hastigheter. För närvarande, de bästa systemen fungerar med en kvadriljon beräkningar per sekund, eller en petaflop.

Forskningen är relevant för branscher som behandlar stora mängder data, om det är rymdhuggning, intensiv visuell grafik av filmströmmande webbplatser; miljontals finansiella transaktioner hos stora kreditkortsföretag; eller användargenererat innehåll på sociala medier. Tänk på stora mediesajter som Facebook där innehållet ständigt förändras och kontinuerligt nås. När användare laddar upp innehåll till sina profilsidor, att informationen finns på flera servrar.

Men om du kontinuerligt måste komma åt visst innehåll, KV-system kan vara mycket mer effektiva som lagringsmedium eftersom innehållet laddas från den snabbare lagringen i minnet i närheten, inte den långt borta lagringsservern. Detta gör att systemet kan ge mycket hög prestanda när det gäller att slutföra uppgifter eller förfrågningar.

"Jag blev intresserad av viktiga värdesystem eftersom den här grundläggande och enkla lagringsplattformen inte har utnyttjats i högpresterande datorsystem där det kan ge många fördelar, "sade Ali Anwar, första författare på papperet som presenteras och en ny Virginia Tech -examen som för närvarande är anställd på IBM Research. "BespoKV är ett nytt ramverk som kan göra det möjligt för HPC -system att ge mycket flexibilitet och prestanda och inte vara kedjade för en styv lagringsdesign."

Den främsta innovationen i BespoKV är att den stöder att komponera en rad KV -butiker med önskvärda funktioner. Det fungerar genom att ta en enda-server KV-butik som kallas en datalet och möjliggör omedelbara och färdiga att använda distribuerade KV-butiker. Nu, istället för att göra om ett system från grunden för att utföra en specifik uppgift, en utvecklare kan släppa en datalet till BespoKV och ladda ner "rörigt rörsystem" för distribuerade system till ramverket. BespoKV kopplar bort KV -butiksdesignen till kontrollplanet för distribuerad hantering och dataplanet för lokal datalagring.

Ramverket möjliggör också nya HPC -tjänster för arbetsbelastningar som företag och institutioner ännu inte har förutse.

En av de största begränsande effekterna av nuvarande state-of-the-art KV-butiker är att de är utformade med redan existerande distribuerade tjänster i åtanke och är ofta specialiserade för en specifik miljö. En annan begränsande faktor är den oflexibla monolitiska designen där distribuerade funktioner är djupt bakade i ett system med backend -datalager som gör saker som att hantera lager, order, och utbud. Den stela utformningen av dessa KV -butiker anpassar sig inte till ständigt föränderliga användares krav på otaliga backend, topologi, konsistens, och en mängd andra tjänster.

"Utvecklare från stora företag kan verkligen sätta tänderna i att designa innovativa HPC -lagringssystem med BespoKV, "sade Ali Butt, professor i datavetenskap. "Datatillgångsprestanda är en stor begränsning i HPC-lagringssystem och använder i allmänhet en blandning av lösningar för att ge flexibilitet tillsammans med prestanda, vilket är besvärligt. Vi har skapat ett sätt att väsentligt påskynda systemets beteende för att uppfylla önskad prestanda, konsistens, och tillförlitlighetsnivåer. "

BespoKV kan vara smidig eftersom det tillåter en godtycklig kartläggning mellan önskade tjänster och tillgängliga komponenter samtidigt som distribuerade hanteringstjänster stöds för att realisera och möjliggöra de distribuerade KV -butikerna som är associerade med dataleten.

"Nu när vi har bevisat att vi kan göra en effektiv och enkel åtgärd med att använda KV -system i kraftfulla HPC -system, kunderna behöver inte välja mellan skalbarhet och flexibilitet, "sa Butt.