MIT-forskare har designat ett nytt flash-lagringssystem som kan minska hälften av energin och det fysiska utrymmet som krävs för en av de dyraste komponenterna i datacenter:datalagring.

Datacenter är serverfarmar som underlättar kommunikationen mellan användare och webbtjänster, och är några av de mest energikrävande anläggningarna i världen. I dem, tusentals kraftkrävande servrar lagrar användardata, och separata servrar kör apptjänster som får åtkomst till denna data. Andra servrar underlättar ibland beräkningen mellan dessa två serverkluster.

De flesta lagringsservrar använder idag solid-state-enheter (SSD), som använder flashlagring – elektroniskt programmerbara och raderbara minnesmikrochips utan rörliga delar – för att hantera dataförfrågningar med hög genomströmning vid höga hastigheter. I ett dokument som presenterades vid ACM International Conference on Architectural Support for Programming Languages ​​and Operating Systems, forskarna beskriver ett nytt system som heter LightStore som modifierar SSD:er för att ansluta direkt till ett datacenters nätverk – utan att behöva några andra komponenter – och för att stödja beräkningsmässigt enklare och effektivare datalagringsoperationer. Ytterligare mjukvaru- och hårdvaruinnovationer integrerar systemet sömlöst i befintlig datacenterinfrastruktur.

I experiment, forskarna hittade ett kluster av fyra LightStore-enheter, kallade lagringsnoder, körde dubbelt så effektivt som traditionella lagringsservrar, mäts av den strömförbrukning som behövs för att fältdataförfrågningar. Klustret krävde också mindre än hälften av det fysiska utrymmet som ockuperades av befintliga servrar.

Forskarna bröt ner energibesparingar genom individuella datalagringsoperationer, som ett sätt att bättre fånga systemets fulla energibesparingar. I "slumpmässig skrivning" data, till exempel, vilket är den mest beräkningsintensiva operationen i flashminnet, LightStore fungerade nästan åtta gånger mer effektivt än traditionella servrar.

Förhoppningen är att en dag, LightStore-noder kan ersätta kraftkrävande servrar i datacenter. "Vi ersätter den här arkitekturen med en enklare, billigare förvaringslösning ... som kommer att ta hälften så mycket utrymme och hälften så mycket kraft, ger ändå samma genomströmningskapacitet, säger medförfattaren Arvind, Johnson-professorn i datavetenskap och forskare vid datavetenskap och artificiell intelligens Laboratory. "Det kommer att hjälpa dig i operativa utgifter, eftersom den förbrukar mindre ström, och investeringar, eftersom energibesparingar i datacenter direkt översätts till pengar."

Med Arvind på tidningen är:första författare Chanwoo Chung, en doktorand vid institutionen för elektroteknik och datavetenskap; och doktorander Jinhyung Koo och Junsu Im, och professor Sungjin Lee, hela Daegu Gyeongbuk Institute of Science and Technology (DGIST).

Lägger till "värde" för att blinka

Ett stort effektivitetsproblem med dagens datacenter är att arkitekturen inte har ändrats för att rymma flashlagring. För flera år sedan, datalagringsservrar bestod av relativt långsamma hårddiskar, tillsammans med massor av dynamiska minneskretsar (DRAM) och centrala bearbetningsenheter (CPU) som hjälper till att snabbt bearbeta all data som strömmar in från appservrarna.

I dag, dock, hårddiskar har mestadels ersatts med mycket snabbare flashenheter. "Folk kopplade precis in flash till där hårddiskarna brukade vara, utan att ändra något annat, " säger Chung. "Om du bara kan ansluta flash-enheter direkt till ett nätverk, du behöver inte alls dessa dyra lagringsservrar."

För LightStore, forskarna modifierade först SSD:er för att nås i termer av "nyckel-värdepar, " ett mycket enkelt och effektivt protokoll för att hämta data. användarförfrågningar visas som nycklar, som en rad med siffror. Nycklar skickas till en server, som släpper data (värde) som är associerade med den nyckeln.

Konceptet är enkelt, men nycklar kan vara extremt stora, så att beräkna (söka och infoga) dem enbart i SSD kräver mycket beräkningskraft, som förbrukas av traditionella "flash-översättningslager". Denna ganska komplexa programvara körs på en separat modul på en flash-enhet för att hantera och flytta runt data. Forskarna använde vissa datastruktureringstekniker för att köra denna flashhanteringsprogramvara med bara en bråkdel av datorkraften. Genom att göra så, de laddade av programvaran helt och hållet till en liten krets i flashenheten som körs mycket mer effektivt.

Denna avlastning frigör separata processorer som redan finns på enheten – som är designade för att förenkla och snabbare exekvera beräkningar – för att köra anpassad LightStore-programvara. Denna programvara använder datastruktureringstekniker för att effektivt bearbeta förfrågningar om nyckel-värdepar. Väsentligen, utan att ändra arkitekturen, forskarna konverterade en traditionell flash-enhet till en nyckel-värde enhet. "Så, vi lägger till den här nya funktionen för flash—men vi lägger egentligen ingenting alls, säger Arvind.

Anpassning och skalning

Utmaningen var då att se till att appservrar kunde komma åt data i LightStore-noder. I datacenter, appar kommer åt data genom en mängd olika strukturella protokoll, som filsystem, databaser, och andra format. Traditionella lagringsservrar kör sofistikerad programvara som ger appservrarna åtkomst via alla dessa protokoll. Men det här använder en bra mängd beräkningsenergi och är inte lämpligt att köra på LightStore, som är beroende av begränsade beräkningsresurser.

Forskarna designade mycket beräkningslätt programvara, kallas en "adapter, " som översätter alla användarförfrågningar från apptjänster till nyckel-värdepar. Adaptrarna använder matematiska funktioner för att konvertera information om den begärda datan – som kommandon från appserverns specifika protokoll och identifieringsnummer – till en nyckel. Den skickar sedan den nyckeln till lämplig LightStore-nod, som hittar och släpper den parade datan. Eftersom denna programvara är beräkningsmässigt enklare, den kan installeras direkt på appservrar.

"Oavsett data du kommer åt, vi gör någon översättning som berättar nyckeln och värdet som är förknippat med den. Genom att göra så, Jag tar också bort lite komplexitet från lagringsservrarna, säger Arvind.

En sista innovation är att lägga till LightStore-noder i ett kluster skalas linjärt med datagenomströmningen – den hastighet med vilken data kan bearbetas. Traditionellt, människor staplar SSD-enheter i datacenter för att klara högre genomströmning. Men, medan datalagringskapaciteten kan växa, genomströmningsplatåerna efter bara några ytterligare körningar. I experiment, forskarna fann att fyra LightStore-noder överträffar genomströmningsnivåerna med samma antal SSD:er.

Den här historien återpubliceras med tillstånd av MIT News (web.mit.edu/newsoffice/), en populär webbplats som täcker nyheter om MIT-forskning, innovation och undervisning.