Kredit:John Innes Center
En fri, verktygslåda med öppen källkod för att hjälpa forskare att hantera överbelastning av datahantering har tagits fram av John Innes Center Informatics-teamet.
Verktygslådan, kallas "dtool, " är en svit med programvara för att hantera vetenskaplig data och göra den tillgänglig för frontlinjeforskare som arbetar inom flera projektområden.
Det fungerar genom att paketera data och metadata – information som identifierar data – i praktiska lådor eller datauppsättningar.
Dessa fristående paket med data och metadata gör det enkelt att flytta datauppsättningar och skapa fjärransäkerhetskopior.
Verktygen fungerar med både traditionella filsystem och molnalternativ som Amazon S3 och Microsoft Azure, gör det möjligt för forskare att välja den lagringslösning som bäst passar deras behov och budget.
Systemet innebär att forskare snabbt kan hitta intressanta datamängder utan huvudvärk för att behöva komma åt och underhålla en central databas. Den paketerade metadatan kan användas för att verifiera integriteten hos data i lådan.
John Innes Center-teamet beskriver fördelarna med dtool i en artikel publicerad i PeerJ – Journal of Life and Environmental Sciences.
De säger att verktygslådan ger sinnesfrid eftersom forskare vet att data som ligger till grund för vetenskapliga resultat är säkra, sökbar och tillgänglig i en mycket distribuerad forskningsmiljö som John Innes Centre.
Dr Tjelvar Olsson, Senior Scientific Data and Infrastructure Manager på John Innes Center, som är en av skaparna av systemet, sa:"På John Innes Center har vi 40 olika forskargrupper som hanterar enorma volymer av alla typer av data.
"Vi vill att fler ska använda dtool för att hantera sin data. Vi har designat det på ett sätt som passar in i deras sätt att arbeta, en lätt, lösning som används på ett minimalt sätt som ligger ovanpå vad de redan gör."
En av de tidiga användare av dtool är teamet av Dr. Brande Wulff som arbetar med sjukdomsresistens i vete vid John Innes Centre.
Framsteg inom teknologier som genetisk sekvensering och beräkningssystembiologi har bidragit till en explosion i volymer och typer av data. Även om detta har lett till stora framsteg inom växt- och mikrobiologisk vetenskap har det lett till betydande utmaningar inom datahantering och bearbetning för frontlinjeforskare.
Dr Matthew Hartley, Chef för JIC:s informatikteam, som hjälpte till att ta fram dtool, sa att effekten redan märktes.
"Hantering av data i stor skala är en av de största utmaningarna inom beräkningsbiologisk forskning. Dtool har gjort lagring av våra data billigare, gett oss sinnesfrid och påskyndat vår forskning."
"Lättviktsdatahantering med dtool" publiceras i PeerJ .