Ett nytt distribuerat filsystem för högpresterande datorer tillgängligt idag via mjukvarusamarbetsplatsen GitHub ger oöverträffad prestanda för att skapa, uppdatera och hantera extremt antal filer.

"Vi designade DeltaFS för att möjliggöra skapandet av biljoner filer, sa Brad Settlemyer, en Los Alamos datavetare och projektledare. Los Alamos National Laboratory och Carnegie Mellon University utvecklade tillsammans DeltaFS. "Ett sådant verktyg hjälper forskare att lösa klassiska problem inom högpresterande datorer, såsom spårning av partikelbanor eller vortexdetektion."

DeltaFS bygger ett filsystem som ser ut för användaren precis som alla andra filsystem, kräver inte specialiserad hårdvara, och är exakt skräddarsydd för att hjälpa forskaren med nya upptäckter när han använder en högpresterande datorplattform.

"En av de främsta utmaningarna, och primära mål för DeltaFS, skalade över tusentals servrar utan att kräva att en del av dem var dedikerade till filsystemet, sade George Amvrosiadis, biträdande forskningsprofessor vid Carnegie Mellon University och medförfattare i projektet. "Detta befriar administratörer från att behöva bestämma hur de ska fördela resurser för filsystemet, som kommer att bli en nödvändighet när exascale-maskiner blir verklighet."

Filsystemet åstadkommer två viktiga förändringar i högpresterande datoranvändning. Först, DeltaFS möjliggör nya strategier för att designa superdatorerna själva, dramatiskt förändra kostnaderna för att skapa och hantera filer. Dessutom, DeltaFS förbättrar radikalt prestanda för mycket selektiva frågor, dramatiskt minska tiden till vetenskaplig upptäckt.

DeltaFS är en övergående, programvarudefinierad tjänst som gör det möjligt att komma åt data från en handfull upp till hundratusentals datorer baserat på användarens prestationskrav.

"Lagringsteknikerna som används i DeltaFS är tillämpliga inom många vetenskapliga domäner, men vi tror att vi genom att lindra flaskhalsen för metadata verkligen har visat ett sätt att designa och anskaffa mycket effektivare HPC -lagringssystem, Sa Settlemyer.