Med hjälp av en 5, 000 mils nätverksslinga som drivs av ESnet, forskare vid Department of Energys SLAC National Accelerator Laboratory (SLAC) och Zettar Inc. överförde nyligen 1 petabyte på 29 timmar, med kryptering och kontrollsumma, slog förra årets rekord med 5 timmar, en förbättring på nästan 15 procent.

Projektet syftar till att uppnå de höga dataöverföringshastigheter som behövs för att ta emot mängden data som ska genereras av Linac Coherent Light Source II (LCLS II), som förväntas komma online 2020. LCLS är världens första hårda röntgenfria elektronlaser (XFEL) och dess stroboskopliknande pulser är bara några miljondelar av en miljarddels sekund långa, och en miljard gånger ljusare än tidigare röntgenkällor. LCLS II kommer att ge ett stort hopp i kapacitet – att gå från 120 pulser per sekund till 1 miljon pulser per sekund. Forskare använder LCLS för att ta skarpa bilder av atomära rörelser, se kemiska reaktioner utvecklas, undersöka materialens egenskaper och utforska grundläggande processer i levande varelser.

Den ökade förmågan förväntas generera dataöverföringar på flera terabit per sekund – eftersom experimentresultaten skickas från SLAC till Department of Energys (DOE) superdatoranläggningar vid Lawrence Berkeley och Oak Ridge nationella laboratorier för analys. Som DOE:s dedikerade nätverksanvändaranläggning för vetenskaplig forskning, ESnet transporterar data mellan universitet och DOE:s nationella laboratorier och nationella användaranläggningar längs ett multi-100 gigabit per sekund (Gbps) stamnät.

Enligt Stanford Emeritus Les Cottrell, den nuvarande demonstrationen av höghastighetsdatatransport är en del av ett program för att utveckla och utvärdera verktyg för att möta det kommande decenniets kritiska dataöverföringskrav för nästa generations XFEL:er på SLAC.

Zettar, ett National Science Foundation-finansierat mjukvaruföretag i Palo Alto, utvecklar mjukvarulösning för hyperskalig datadistribution som klarar överföringshastigheter på flera 100+Gbps och samarbetar med ESnet och DOE nationella labb. För rättegången, teamet använde ESnets On-Demand Secure Circuits and Advance Reservation System (OSCARS) för att reservera bandbredden för körningen.

"Den innovativa och mångsidiga karaktären hos ESnets OSCARS gjorde det möjligt för oss att designa en unik 5000 mil 100 Gbps loop, som våra ESnet-kollegor snabbt hjälpte till att etablera 2015, ", sade Zettars grundare och VD Chin Fang. "Designen av ESnet möjliggör användning av en separat dedikerad kanal för testning utan påverkan på eller störningar från produktionstrafik. Vi kunde alltså ha datalagringsklustren och dataöverföringsnoderna samlokaliserade i samma rack även om de var i båda ändarna av slingan. Fysiskt var de åtskilda med tum, men digitalt är de åtskilda av 5000 miles. Dessutom har klustren själva ett självpåtaget tak på 80 Gbps."

Fang sa att den fem timmar långa förbättringen av överföringen av petabyte av data uppnåddes tack vare förbättringar i både mjukvara och hårdvara. Det här året, Zettar förbättrade avsevärt parallelliteten i sin mjukvara för att påskynda dataöverföringar för både krypterad och icke-krypterad data. Intel försåg också teamet med snabbare processorer och solid-state-minnesprodukter för att flytta data in och ut ur huvudlagringssystem snabbare. I detta fall, projektet använde simulerade datauppsättningar med filstorleksfördelningar från LCLS Data Management Group.

"Den flexibla trafiktekniska designen av ESnets nätverk säkerställer att TCP-baserade överföringsprotokoll kan användas effektivt för dataöverföring med hög genomströmning, ", sa ESnets direktör Inder Monga. "ESnets vägledande strategi är att förutse och ligga steget före kraven på dataöverföring från våra vetenskapliga användare. Pågående försök som de vi stödjer för SLAC är viktiga för oss eftersom vi ser riktningarna som forskarteamen är på väg och vi kan förbättra vårt stöd och vår infrastruktur för att vara redo när faciliteter som LCLS II kommer online."