Den världsomspännande webben har vuxit enormt sedan dess akademiska och forskningsmässiga start 1991, och dess efterföljande expansion till det offentliga och kommersiella området. Initialt, det var ett nätverk av hyperlänkade sidor och andra digitala resurser. Mycket tidigt, det blev uppenbart att vissa resurser var så stora att det skulle vara mer meningsfullt att generera det material som krävs av enskilda användare dynamiskt snarare än att lagra varje enskild digital enhet som ett unikt föremål.

I dag, otaliga webbplatser är dynamiska, varje unikt besök hämtar information och data dynamiskt från en backend-databas och presenterar den för användaren på begäran. Medan statiska sidor lätt kan spideras av sökmotorer, databasinnehåll som driver dynamiska webbplatser är otillgängligt. Redan så länge sedan som 2001 när det redan fanns flera terabyte offentliga, statisk webbdata, man uppskattade att det "osynliga nätet, " eller "dold webb, " inte att förväxla med "det mörka nätet, " var cirka 550 gånger större än de synliga resurserna.

Skriver i International Journal of Business Intelligence and Data Mining, ett team från Indien beskriver hur de har utvecklat en genetisk algoritmbaserad intelligent multiagentarkitektur som kan extrahera information från den osynliga webben. Verktygen kan tillåta att även material som påstås vara förbjudet för konventionella sökmotorer kan spideras, skrapad, och katalogiserad för ett brett spektrum av applikationer.

D. Weslin från Bharathiar University och Joshva Devadas från Vellore Institute of Technology beskriver detaljerna och fördelarna med deras tillvägagångssätt i det senaste numret av tidskriften. "De experimentella resultaten visar att den föreslagna arkitekturen ger bättre precision och återkallelse än de befintliga sökrobotarna, " skriver laget.