Inför allvarlig oro över desinformation, sociala medienätverk och nyhetsorganisationer använder ofta faktagranskare för att sortera det verkliga från det falska. Men faktagranskare kan bara bedöma en liten del av berättelserna som svävar runt på nätet.

En ny studie av MIT-forskare föreslår ett alternativt tillvägagångssätt:Crowdsourced noggrannhetsbedömningar från grupper av normala läsare kan vara praktiskt taget lika effektiva som arbetet av professionella faktagranskare.

"Ett problem med faktagranskning är att det bara finns alldeles för mycket innehåll för professionella faktagranskare att kunna täcka, särskilt inom en rimlig tidsram, säger Jennifer Allen, en Ph.D. student vid MIT Sloan School of Management och medförfattare till en nypublicerad artikel som beskriver studien.

Men den aktuella studien, undersöker över 200 nyhetsartiklar som Facebooks algoritmer hade flaggat för ytterligare granskning, kanske har hittat ett sätt att lösa det problemet, genom att använda relativt små, politiskt balanserade grupper av lekmannaläsare för att utvärdera rubrikerna och leda meningar i nyhetsartiklar.

"Vi tyckte att det var uppmuntrande, " säger Allen. "Det genomsnittliga betyget för en folkmassa på 10 till 15 personer korrelerade lika bra med faktagranskarnas bedömningar som faktagranskare korrelerade med varandra. Detta hjälper till med skalbarhetsproblemet eftersom dessa bedömare var vanliga människor utan faktakontrollutbildning, och de läser bara rubrikerna och leder meningar utan att spendera tid på att göra någon research."

Det betyder att crowdsourcing-metoden kan användas brett – och billigt. Studien uppskattar att kostnaden för att låta läsare utvärdera nyheter på detta sätt är cirka 0,90 USD per artikel.

"Det finns ingen sak som löser problemet med falska nyheter på nätet, säger David Rand, en professor vid MIT Sloan och senior medförfattare till studien. "Men vi arbetar med att lägga till lovande metoder för verktyget mot desinformation."

Pappret, "Uppskalning av faktakontroll med hjälp av folkmassans visdom, " publiceras idag i Vetenskapens framsteg . Medförfattarna är Allen; Antonio A. Arechar, en forskare vid MIT Human Cooperation Lab; Gordon Pennycook, en biträdande professor i beteendevetenskap vid University of Regina's Hill/Levene Schools of Business; och Rand, som är Erwin H. Schell-professorn och professor i managementvetenskap och hjärn- och kognitionsvetenskap vid MIT, och chef för MIT:s Applied Cooperation Lab.

En kritisk massa av läsare

För att genomföra studien, forskarna använde 207 nyhetsartiklar som en intern Facebook-algoritm identifierade vara i behov av faktakontroll, antingen för att det fanns anledning att tro att de var problematiska eller helt enkelt för att de delades brett eller handlade om viktiga ämnen som hälsa. Experimentet distribuerade 1, 128 invånare i USA använder Amazons Mechanical Turk-plattform.

Dessa deltagare fick rubriken och huvudsatsen på 20 nyhetsartiklar och ställdes sju frågor – hur mycket berättelsen var "korrekt, " "Sann, " "pålitlig, " "pålitlig, " "objektiv, " "opartisk, " och "beskriva en händelse som faktiskt hände" - för att generera en övergripande noggrannhetspoäng för varje nyhet.

På samma gång, tre professionella faktagranskare fick alla 207 berättelser — ombads att utvärdera berättelserna efter att ha undersökt dem. I linje med andra studier om faktagranskning, även om faktagranskarnas betyg var starkt korrelerade med varandra, deras överenskommelse var långt ifrån perfekt. I cirka 49 procent av fallen alla tre faktagranskare var överens om den korrekta domen om en berättelses fakta; cirka 42 procent av tiden, två av de tre faktagranskarna höll med; och cirka 9 procent av tiden, de tre faktagranskarna hade olika betyg.

Spännande nog, när de vanliga läsarna som rekryterades till studien sorterades i grupper med samma antal demokrater och republikaner, deras genomsnittliga betyg var starkt korrelerade med de professionella faktagranskarnas betyg – och med minst ett tvåsiffrigt antal läsare inblandade, publikens betyg korrelerade lika starkt med faktagranskare som faktagranskare gjorde med varandra.

"Dessa läsare var inte tränade i faktagranskning, och de läste bara rubrikerna och huvudmeningarna, och trots det kunde de matcha faktagranskarnas prestanda, " säger Allen.

Även om det från början kan tyckas förvånande att en skara på 12 till 20 läsare kunde matcha prestanda hos professionella faktagranskare, detta är ytterligare ett exempel på ett klassiskt fenomen:folkmassornas visdom. Över ett brett spektrum av applikationer, grupper av lekmän har visat sig matcha eller överträffa prestanda för expertbedömningar. Den aktuella studien visar att detta kan inträffa även i det mycket polariserande sammanhanget med identifiering av felaktig information.

Experimentets deltagare gjorde också ett politiskt kunskapstest och ett test av deras benägenhet att tänka analytiskt. Övergripande, betygen av personer som var bättre informerade om medborgerliga frågor och engagerade i mer analytiskt tänkande var mer i linje med faktagranskarna.

"Människor som ägnade sig åt mer resonemang och var mer kunniga höll mer med faktagranskarna, " säger Rand. "Och det var sant oavsett om de var demokrater eller republikaner."

Mekanismer för deltagande

Forskarna säger att upptäckten kan appliceras på många sätt - och noterar att vissa sociala mediers giganter aktivt försöker få crowdsourcing att fungera. Facebook har ett program, kallas Community Review, där lekmän anlitas för att bedöma nyhetsinnehåll; Twitter har sitt eget projekt, Fågelklocka, efterfrågar läsarnas input om riktigheten av tweets. Folkmassornas visdom kan användas antingen för att applicera offentliga etiketter på innehåll, eller för att informera rankningsalgoritmer och vilket innehåll människor visas i första hand.

För att vara säker, författarna noterar, alla organisationer som använder crowdsourcing måste hitta en bra mekanism för läsarnas deltagande. Om deltagandet är öppet för alla, det är möjligt att crowdsourcing-processen kan påverkas orättvist av partisaner.

"Vi har ännu inte testat detta i en miljö där vem som helst kan välja, ", konstaterar Allen. "Plattformar bör inte nödvändigtvis förvänta sig att andra crowdsourcingstrategier skulle ge lika positiva resultat."

Å andra sidan, Rand säger, nyhets- och sociala medier-organisationer skulle behöva hitta sätt att få tillräckligt stora grupper av människor att aktivt utvärdera nyheter, för att få crowdsourcingen att fungera.

"De flesta människor bryr sig inte om politik och bryr sig tillräckligt för att försöka påverka saker, " säger Rand. "Men oron är att om du låter folk betygsätta vilket innehåll de vill, då är de enda som gör det de som vill spela systemet. Fortfarande, till mig, ett större problem än att översvämmas av eldsjälar är problemet att ingen skulle göra det. Det är ett klassiskt problem med kollektiva nyttigheter:samhället i stort tjänar på att människor identifierar desinformation, men varför ska användare bry sig om att investera tid och ansträngning för att ge betyg?"