Facebook har i det tysta experimenterat med att minska mängden politiskt innehåll som det lägger in i användarnas nyhetsflöden. Flytten är ett tyst erkännande av att hur företagets algoritmer fungerar kan vara ett problem.

Kärnan i saken är skillnaden mellan att provocera fram ett svar och att tillhandahålla innehåll som folk vill ha. Algoritmer för sociala medier – reglerna som deras datorer följer när de bestämmer vilket innehåll du ser – är mycket beroende av människors beteende för att fatta dessa beslut. I synnerhet tittar de efter innehåll som folk svarar på eller "engagerar sig" med genom att gilla, kommentera och dela.

Som datavetare som studerar hur många människor interagerar med hjälp av teknik förstår jag logiken i att använda folkmassornas visdom i dessa algoritmer. Jag ser också stora fallgropar i hur sociala medieföretag gör det i praktiken.

Från lejon på savannen till likes på Facebook

Begreppet folkmassornas visdom förutsätter att att använda signaler från andras handlingar, åsikter och preferenser som vägledning kommer att leda till sunda beslut. Till exempel är kollektiva förutsägelser normalt mer exakta än enskilda. Kollektiv intelligens används för att förutsäga finansmarknader, sport, val och till och med sjukdomsutbrott.

Under miljontals år av evolution har dessa principer kodats in i den mänskliga hjärnan i form av kognitiva fördomar som kommer med namn som förtrogenhet, blott-exponering och bandwagon-effekt. Om alla börjar springa bör du också börja springa; kanske någon såg ett lejon komma och springa kan rädda ditt liv. Du kanske inte vet varför, men det är klokare att ställa frågor senare.

Din hjärna plockar upp ledtrådar från omgivningen – inklusive dina kamrater – och använder enkla regler för att snabbt översätta dessa signaler till beslut:Följ med vinnaren, följ majoriteten, kopiera din granne. Dessa regler fungerar anmärkningsvärt bra i typiska situationer eftersom de är baserade på sunda antaganden. Till exempel antar de att människor ofta agerar rationellt, det är osannolikt att många har fel, det förflutna förutspår framtiden och så vidare.

Tekniken gör det möjligt för människor att komma åt signaler från ett mycket större antal andra människor, av vilka de flesta inte känner. Artificiell intelligens applikationer använder kraftigt dessa popularitets- eller "engagemangssignaler", från att välja sökmotorresultat till att rekommendera musik och videor och från att föreslå vänner till att rangordna inlägg i nyhetsflöden.

Allt viralt förtjänar inte att vara

Vår forskning visar att praktiskt taget alla webbteknologiska plattformar, såsom sociala medier och nyhetsrekommendationssystem, har en stark popularitetsbias. När applikationer drivs av ledtrådar som engagemang snarare än explicita sökmotorfrågor, kan popularitetsbias leda till skadliga oavsiktliga konsekvenser.

Sociala medier som Facebook, Instagram, Twitter, YouTube och TikTok förlitar sig starkt på AI-algoritmer för att rangordna och rekommendera innehåll. Dessa algoritmer tar som input vad du "gillar", kommenterar och delar - med andra ord innehåll du engagerar dig i. Målet med algoritmerna är att maximera engagemanget genom att ta reda på vad folk gillar och ranka det högst upp i sina flöden.

På ytan verkar detta rimligt. Om folk gillar trovärdiga nyheter, expertutlåtanden och roliga videor bör dessa algoritmer identifiera sådant högkvalitativt innehåll. Men folkmassornas visdom gör här ett viktigt antagande:att rekommendera vad som är populärt kommer att hjälpa högkvalitativt innehåll att "bubbla upp".

Vi testade detta antagande genom att studera en algoritm som rangordnar objekt med en blandning av kvalitet och popularitet. Vi fann att popularitetsbias generellt sett är mer sannolikt att sänka den övergripande kvaliteten på innehållet. Anledningen är att engagemang inte är en tillförlitlig kvalitetsindikator när få personer har exponerats för en vara. I dessa fall genererar engagemang en brusig signal, och algoritmen kommer sannolikt att förstärka detta initiala brus. När väl populariteten för ett föremål av låg kvalitet är tillräckligt stor, kommer det att fortsätta att förstärkas.

Algoritmer är inte det enda som påverkas av engagemangsbias – det kan också påverka människor. Bevis visar att information överförs via "komplex smitta", vilket innebär att ju fler gånger någon exponeras för en idé online, desto mer sannolikt är det att de adopterar och delar den vidare. När sociala medier berättar för människor att ett föremål håller på att bli viralt, slår deras kognitiva fördomar in och översätts till den oemotståndliga lusten att uppmärksamma den och dela den.

Inte så kloka folkmassor

Vi körde nyligen ett experiment med en app för nyhetsläserhet som heter Fakey. Det är ett spel utvecklat av vårt labb, som simulerar ett nyhetsflöde som Facebook och Twitter. Spelare ser en blandning av aktuella artiklar från falska nyheter, skräpvetenskap, hyperpartiska och konspiratoriska källor, såväl som vanliga källor. De får poäng för att dela eller gilla nyheter från pålitliga källor och för att flagga artiklar med låg trovärdighet för faktakontroll.

Vi fann att spelare är mer benägna att gilla eller dela och mindre benägna att flagga artiklar från källor med låg trovärdighet när spelare kan se att många andra användare har engagerat sig i dessa artiklar. Exponering för engagemangsmåtten skapar alltså en sårbarhet.

Folkmassornas visdom misslyckas eftersom den bygger på det falska antagandet att folkmassan består av olika, oberoende källor. Det kan finnas flera anledningar till att så inte är fallet.

För det första, på grund av människors tendens att umgås med liknande människor, är deras onlinekvarter inte särskilt olika. Lättheten med vilken en användare av sociala medier kan bli vän med dem som de inte håller med om driver människor in i homogena samhällen, ofta kallade ekokammare.

För det andra, eftersom många människors vänner är vänner till varandra, påverkar de varandra. Ett känt experiment visade att att veta vilken musik dina vänner gillar påverkar dina egna uttalade preferenser. Din sociala önskan att anpassa sig förvränger ditt oberoende omdöme.

För det tredje kan popularitetssignaler spelas. Genom åren har sökmotorer utvecklat sofistikerade tekniker för att motverka så kallade "länkfarmar" och andra system för att manipulera sökalgoritmer. Sociala medieplattformar, å andra sidan, har precis börjat lära sig om sina egna sårbarheter.

Människor som syftar till att manipulera informationsmarknaden har skapat falska konton, som troll och sociala bots, och organiserat falska nätverk. De har översvämmat nätverket för att skapa sken av att en konspirationsteori eller en politisk kandidat är populär, och lurat både plattformsalgoritmer och människors kognitiva fördomar på en gång. De har till och med ändrat strukturen på sociala nätverk för att skapa illusioner om majoritetens åsikter.

Dial down engagemang

Vad ska man göra? Teknikplattformar är för närvarande på defensiven. De blir mer aggressiva under valen när det gäller att ta bort falska konton och skadlig desinformation. Men dessa ansträngningar kan vara besläktade med en omgång mullvad.

Ett annat förebyggande tillvägagångssätt skulle vara att lägga till friktion. Med andra ord att bromsa processen att sprida information. Högfrekventa beteenden som automatiserad gillande och delning kan hämmas av CAPTCHA-tester eller avgifter. Detta skulle inte bara minska möjligheter till manipulation, utan med mindre information skulle människor kunna ägna mer uppmärksamhet åt vad de ser. Det skulle lämna mindre utrymme för engagemang för att påverka människors beslut.

Det skulle också hjälpa om sociala medieföretag justerade sina algoritmer för att förlita sig mindre på engagemang för att avgöra vilket innehåll de tjänar dig.