Modeller och algoritmer för att analysera komplexa nätverk används i stor utsträckning inom forskning och påverkar samhället i stort genom sina tillämpningar i sociala nätverk online, sökmotorer, och rekommendationssystem. Enligt en ny studie, dock, en allmänt använd algoritmisk metod för att modellera dessa nätverk är fundamentalt felaktig, misslyckas med att fånga viktiga egenskaper hos komplexa nätverk i verkligheten.

"Det är inte så att dessa tekniker ger dig absolut skräp. De har förmodligen en del information i dem, men inte så mycket information som många tror, " sa C. "Sesh" Seshadhri, docent i datavetenskap och teknik vid Baskin School of Engineering vid UC Santa Cruz.

Seshadhri är första författare till ett papper om de nya fynden som publicerades 2 mars Proceedings of the National Academy of Sciences . Studien utvärderade tekniker som kallas "lågdimensionella inbäddningar, " som vanligtvis används som input till modeller för maskininlärning. Detta är ett aktivt forskningsområde, med nya inbäddningsmetoder som utvecklas i snabb takt. Men Seshadhri och hans medförfattare säger att alla dessa metoder delar samma brister.

För att förklara varför, Seshadhri använde exemplet med ett socialt nätverk, en välbekant typ av komplext nätverk. Många företag tillämpar maskininlärning på sociala nätverksdata för att skapa förutsägelser om människors beteende, rekommendationer för användare, och så vidare. Inbäddningstekniker omvandlar i huvudsak en persons position i ett socialt nätverk till en uppsättning koordinater för en punkt i ett geometriskt utrymme, ger en lista med nummer för varje person som kan kopplas in i en algoritm.

"Det är viktigt eftersom något abstrakt som en persons position i ett socialt nätverk" kan konverteras till en konkret lista med siffror. En annan viktig sak är att du vill konvertera detta till ett lågdimensionellt utrymme, så att listan med siffror som representerar varje person är relativt liten, " förklarade Seshadhri.

När denna konvertering har gjorts, systemet ignorerar det faktiska sociala nätverket och gör förutsägelser baserade på relationerna mellan punkter i rymden. Till exempel, om många människor nära dig i det utrymmet köper en viss produkt, systemet kan förutsäga att du sannolikt kommer att köpa samma produkt.

Seshadhri och hans medförfattare visade matematiskt att betydande strukturella aspekter av komplexa nätverk går förlorade i denna inbäddningsprocess. De bekräftade också detta resultat genom att empiriskt testa olika inbäddningstekniker på olika typer av komplexa nätverk.

"Vi säger inte att vissa specifika metoder misslyckas. Vi säger att varje inbäddningsmetod som ger dig en liten lista med siffror i grunden kommer att misslyckas, eftersom en lågdimensionell geometri inte är tillräckligt uttrycksfull för sociala nätverk och andra komplexa nätverk, " sa Seshadhri.

En avgörande egenskap hos verkliga sociala nätverk är tätheten av trianglar, eller förbindelser mellan tre personer.

"Där du har många trianglar, det betyder att det finns mycket samhällsstruktur i den delen av ett socialt nätverk, " sade Seshadhri. "Dessutom, dessa trianglar är ännu mer betydelsefulla när du tittar på människor som har begränsade sociala nätverk. I ett typiskt socialt nätverk, vissa människor har massor av kontakter, men de flesta människor har inte många kontakter."

I sin analys av inbäddningstekniker, forskarna observerade att många av de sociala trianglar som representerar samhällsstrukturen går förlorade i inbäddningsprocessen. "All denna information verkar försvinna, så det är nästan som att just det du ville hitta har gått förlorat när du konstruerar dessa geometriska representationer, " sa Seshadhri.

Lågdimensionella inbäddningar är ingalunda de enda metoderna som används för att generera förutsägelser och rekommendationer. De är vanligtvis bara en av många ingångar i en mycket stor och komplex maskininlärningsmodell.

"Den här modellen är en enorm svart låda, och många av de positiva resultaten som rapporteras säger att om du inkluderar dessa lågdimensionella inbäddningar, din prestation går upp, kanske du får en liten bula. Men om du använde den själv, det verkar som om du skulle sakna mycket, "Sa Seshadhri.

Han noterade också att nya inbäddningsmetoder mestadels jämförs med andra inbäddningsmetoder. Nyligen empiriskt arbete av andra forskare, dock, visar att olika tekniker kan ge bättre resultat för specifika uppgifter.

"Låt oss säga att du vill förutsäga vem som är republikan och vem som är demokrat. Det finns tekniker utvecklade specifikt för den uppgiften som fungerar bättre än inbäddningar, "sa han." Påståendet är att dessa inbäddningstekniker fungerar för många olika uppgifter, och det är därför många människor har adopterat dem. Det är också väldigt enkelt att koppla in dem i ett befintligt maskininlärningssystem. Men för någon speciell uppgift, det visar sig att det alltid finns något bättre du kan göra."

Med tanke på det växande inflytandet från maskininlärning i vårt samhälle, Seshadhri sa att det är viktigt att undersöka om de underliggande antagandena bakom modellerna är giltiga.

"Vi har alla dessa komplicerade maskiner som gör saker som påverkar våra liv avsevärt. Vårt budskap är bara att vi måste vara mer försiktiga med att utvärdera dessa tekniker, " sa han. "Särskilt i dessa tider när maskininlärning blir mer och mer komplicerad, det är viktigt att ha en viss förståelse för vad som kan och inte kan göras."