Sedan de första dagarna av sociala medier, det har funnits spänning över hur dataspår som lämnats efter användare kan utnyttjas för att studera mänskligt beteende. Nu för tiden, Forskare som en gång var begränsade till undersökningar eller experiment i laboratoriemiljöer har tillgång till enorma mängder "verkliga" data från sociala medier.

De forskningsmöjligheter som möjliggörs av data från sociala medier är obestridliga. Dock, forskare analyserar ofta dessa data med verktyg som inte var designade för att hantera den typen av stora, bullriga observationsuppsättningar av data som du hittar på sociala medier.

Vi undersökte problem som forskare kan stöta på på grund av denna bristande överensstämmelse mellan data och metoder.

Vad vi fann är att de metoder och statistik som vanligtvis används för att ge bevis för till synes betydelsefulla vetenskapliga rön också kan tyckas stödja meningslösa påståenden.

Absurd vetenskap

Motivationen för vår artikel kommer från en serie forskningsstudier som medvetet presenterar absurda vetenskapliga resultat.

En hjärnavbildningsstudie visade sig visa nervaktiviteten hos en död lax med uppgift att identifiera känslor på foton. En analys av longitudinell statistik från offentliga hälsojournaler antydde att akne, höjd, och huvudvärk är smittsam. Och en analys av mänskligt beslutsfattande som till synes tyder på att människor exakt kan bedöma befolkningsstorleken i olika städer genom att rangordna dem i alfabetisk ordning.

Varför skulle en forskare gå ut ur deras sätt att utforska sådana löjliga idéer? Värdet av dessa studier ligger inte i att presentera ett nytt materiellt fynd. Ingen seriös forskare skulle argumentera, till exempel, att en död lax har ett perspektiv på känslor på bilder.

Snarare, de orimliga resultaten belyser problem med de metoder som används för att uppnå dem. Vår forskning undersöker om samma problem kan drabba studier som använder data från sociala medier. Och vi upptäckte att de verkligen gör det.

Positiva och negativa resultat

När en forskare försöker ta upp en forskningsfråga, metoden de använder bör kunna göra två saker:

• avslöja en effekt när det finns en meningsfull effekt
• visar ingen effekt när det inte finns någon meningsfull effekt.

Till exempel, Föreställ dig att du har kronisk ryggsmärta och att du tar ett medicinskt test för att hitta orsaken. Testet identifierar en feljusterad disk i din ryggrad. Detta fynd kan vara viktigt och informera en behandlingsplan.

Dock, om du sedan upptäcker att samma test identifierar denna feljusterade disk hos en stor del av befolkningen som inte har kronisk ryggsmärta, upptäckten blir mycket mindre informativ för dig.

Det faktum att testet inte lyckas identifiera en relevant, särskiljande egenskaper hos negativa fall (ingen ryggsmärta) från positiva fall (ryggsmärta) betyder inte att den felinriktade disken i din ryggrad är obefintlig. Denna del av fyndet är lika "verkligt" som vilket fynd som helst. Men misslyckandet betyder att resultatet inte är användbart:"bevis" som är lika sannolikt att hittas när det finns en meningsfull effekt (i detta fall, ryggsmärta) som när det inte finns någon är helt enkelt inte diagnostiskt, och, som resultat, sådana bevis är oinformativa.

XYZ-smitta

Med samma logik, vi utvärderade vanliga metoder för att analysera sociala medier-data – så kallade "nollhypotes signifikanstestning" och "korrelationsstatistik" – genom att ställa en absurd forskningsfråga.

Tidigare och aktuella studier har försökt identifiera vilka faktorer som påverkar Twitter-användares beslut att retweeta andra tweets. Detta är intressant både som ett fönster till mänskligt tänkande och eftersom vidaredelning av inlägg är en nyckelmekanism genom vilken meddelanden förstärks eller sprids på sociala medier.

Så vi bestämde oss för att analysera Twitter-data med ovanstående standardmetoder för att se om en meningslös effekt som vi kallar "XYZ-smitta" påverkar retweets. Specifikt, vi frågade, "Har antalet X, Ja, och Zs i en tweet ökar sannolikheten för att den sprids?"

Efter att ha analyserat sex datauppsättningar som innehåller hundratusentals tweets, "svaret" vi hittade var ja. Till exempel, i en datauppsättning på 172, 697 tweets om covid-19, närvaron av ett X, Y, eller Z i en tweet verkade öka meddelandets räckvidd med en faktor på 8%.

Naturligtvis, vi tror inte på närvaron av X, Ja, och Zs är en central faktor för huruvida människor väljer att retweeta ett meddelande på Twitter.

Dock, som det medicinska testet för att diagnostisera ryggsmärtor, våra upptäckter visar att ibland, metoder för dataanalys i sociala medier kan "avslöja" effekter där det inte borde finnas några. Detta väcker frågor om hur meningsfulla och informativa resultat som erhålls genom att tillämpa nuvarande samhällsvetenskapliga metoder på data i sociala medier verkligen är.

När forskare fortsätter att analysera sociala medier och identifiera faktorer som formar utvecklingen av den allmänna opinionen, kapa vår uppmärksamhet, eller på annat sätt förklara vårt beteende, vi bör tänka kritiskt kring de metoder som ligger till grund för sådana fynd och ompröva vad vi kan lära av dem.

Vad är ett "meningsfullt" fynd?

De frågor som tas upp i vår tidning är inte nya, och det finns verkligen många forskningsmetoder som har utvecklats för att säkerställa att resultaten är meningsfulla och robusta.

Till exempel, forskare uppmuntras att förregistrera sina hypoteser och analysplaner innan de påbörjar en studie för att förhindra en sorts datakörning som kallas "p-hacking". En annan användbar praxis är att kontrollera om resultaten är stabila efter att ha tagit bort extremvärden och kontrollerat för kovariater. Viktiga är också replikationsstudier, som bedömer om resultaten som erhållits i ett experiment kan återfinnas när experimentet upprepas under liknande förhållanden.

Dessa metoder är viktiga, men de ensamma är inte tillräckliga för att hantera det problem vi identifierar. Samtidigt som det behövs utveckling av standardiserade forskningsmetoder, forskarsamhället måste först tänka kritiskt på vad som gör ett fynd i sociala mediers data meningsfullt.

Den här artikeln är återpublicerad från The Conversation under en Creative Commons-licens. Läs originalartikeln.