Big Data är fortfarande i hög grad en elitgrej:bara de mest IT-kunniga och rika företagen har en chans att skrapa på ytan av dess potential. Allt detta kan vara på väg att förändras tack vare en Big Data-analysplattform utvecklad under TOREADOR-projektet, som automatiskt kommer att hantera alla större problem relaterade till förberedelse av data på begäran.

"Förväntningarna på Big Data är mycket höga, men klyftan mellan ambition och genomförande är fortfarande stor, särskilt för små och medelstora företag, " Dr. Ernesto Damiani suckar. Och han borde veta:sedan början av 2016, Dr. Damiani har lett ett konsortium på tio personer som undersöker orsakerna till dessa blandade förmögenheter och möjliga lösningar.

Om relativt få små och medelstora företag har införlivat Big Data-analys i sina erbjudanden eller interna processer, det är främst av två anledningar. Den första är bristen på kompetens inom Big Data-analys, som Dr Damiani förklarar. Ett företag som vill, till exempel, att skräddarsy sina erbjudanden efter kundernas beteende med hjälp av en gratis app skulle behöva tillgripa mycket dyr konsultverksamhet. Det är för närvarande det enda sättet att kartlägga affärsmål till en klass av datavetenskapliga och tekniska lösningar.

"Konkret, Projektuppdraget kan vara något i stil med att "samla händelserna som genereras av kärnkundernas appar och använd dem för att träna en skalbar slumpmässig skog-flerkategoriklassificerare av deras beteende för att distribueras på en offentlig molntjänst", " han säger.

Det andra skälet är den långa utrullningstiden och, på nytt, den oöverkomliga kostnaden för Big Data-kampanjer även när den datavetenskapliga metoden redan har identifierats. Tillsammans, dessa problem har hållit små och medelstora företag och icke-IKT-kunniga företag borta från Big Data-analys, även om de står för en betydande del av EU:s tillverkningsryggrad.

TOREADOR (TrustwOrthy model-aware Analytics Data PlatfORm) metodik och verktygslåda erbjuder en lösning på båda problemen:de automatiserar och commoditiserar Big Data-analys, samtidigt som det gör anpassningen till domänspecifika kundkrav mycket enklare än tidigare.

TOREADOR-ramverket stöder två automatiserade transformationer. Den första utgår från en maskinläsbar deklarativ modell som samlar in dataägarnas mål, och slutar i en teknologioberoende semantikmedveten procedurmodell som beskriver beräkningen som ska utföras. Sedan, den andra transformationen bygger på den processuella modellen för att beräkna en teknikberoende implementeringsmodell. Det senare kan köras på en Apache-plattform, i kundens lokaler, på kommersiella molntjänster som AWS, som Python-kod körbar på Azure-plattformen eller som en Docker-behållare.

"Våra deklarativa modeller kan interaktivt samla in affärsmålen för Big Data-kampanjer och tillåta TOREADOR-verktygssatsen att ge automatiska råd om genomförbarheten av lösningar. Våra procedurmodeller ger sedan en innovativ beskrivning av Big Data-analysberäkningen i OWL/S-semantiken- medvetna standarder, och våra kompilatorer översätter dessa procedurmodeller till helt körbara arbetsflöden eller till och med inbyggd parallelliserad Python-kod. Vi tittar på en iterativ utvecklingsprocess, där användare som inte är IT-kunniga snabbt kan skapa en kampanj genom att skapa ett körbart arbetsflöde på en offentlig molntjänst, och sedan – om det behövs – anropa utvecklare för att generera självständig Python-kod, " förklarar Dr Damiani.

Projektpartners har redan identifierat fyra industripiloter inom området för prediktivt underhåll av flygplansmotorer, prediktiv hantering av solkraftverk, analys av affärsapplikationsloggar, och klickströmsanalys för e-handelsapplikationer.

"TOREADOR-plattformen är tillgänglig och har distribuerats på de fyra pilotplatserna. Den har också gjorts tillgänglig som en gratis pre-release för utvalda medlemmar av TOREADOR-communityt, som består av europeiska företag (flera av dem små och medelstora företag) rekryterade med hjälp av TAIGER (Spanien), ett innovativt små och medelstora företag i TOREADOR-konsortiet. Detaljer om dessa tidiga användare finns på vår webbplats. Förutom, TOREADOR-metoden har släppts till andra europeiska projekt med hjälp av Big Data-kampanjer som EVOTION, " säger Dr Damiani.

Projektet beräknas vara klart i slutet av 2018. Fram till dess konsortiet avser att fortsätta att utöka katalogen av tjänster som är tillgängliga på plattformen och ge exempel på TOREADOR-aktiverade Big Data-kampanjer, inklusive utbildning och implementering av avancerade maskininlärningsmodeller.