Två astronomer från University of Groningen (Nederländerna) har utvecklat ett mjukvarubibliotek som enkelt kan generera visualiseringar baserade på hundratals miljoner datapunkter. Maarten Breddels och Jovan Veljanoski utvecklade till en början sin mjukvara för att hantera den enorma mängden data från Gaia-uppdraget. Dock, programvaran kan även visa mönster i andra stora datafiler. Programvaran är öppen källkod och gratis att använda. Forskarna förklarar ins och outs i en artikel som har godkänts för publicering i tidskriften Astronomi &Astrofysik .

Breddels och Veljanoski kallar sin programvara Vaex, som står för "visualisering och utforskning av stora tabelluppsättningar." Den interaktiva programvaran kan generera visualiseringar av miljarder datapunkter på bara en sekund. Det beter sig på samma sätt som Google Maps. När du panorerar eller zoomar, en uppdaterad eller mer detaljerad karta visas nästan omedelbart. Dock, Google Maps går snabbt, kraftfulla servrar, medan Vaex arbetar på en bärbar dator.

Kraften i Vaex ligger i kombinationen av flera smarta tekniker. Först, den använder en smart algoritm som maximerar all tillgänglig datorkraft. Sedan, den läser endast nödvändig data från hårddisken och skickar den direkt till datorns huvudminne. Till sist, det är extremt minneseffektivt, och arbetsminnet lagrar inte onödiga kopior av datan.

Breddels har visat upp Vaex live på flera konferenser. Som ett exempel, han använde en datauppsättning bestående av 1 miljard poster relaterade till Yellow Cab-taxibilarna i New York City. Han visar vilka taxiresor som är mest lukrativa, och där taxibilarna ska vänta vilken del av dagen som helst för att maximera sin vinst. Detta exempel visar hur Vaex kan vara intressant och fördelaktigt för allmänna tillämpningar utanför astronomi.