Tidigare i höst, Dartmouth College forskare släppte en studie som hävdar att de länkar våldsamma videospel till aggression hos barn. Logiken i en metaanalytisk studie som denna är att genom att kombinera många individuella studier, forskare kan leta efter vanliga trender eller effekter som identifierats i tidigare arbeten. Endast, som psykologforskare som länge har fokuserat på detta område, Jag hävdar att den här metaanalysen inte gjorde något av det slaget. Faktiskt, storleken på den effekt de fann är ungefär densamma som att äta potatis på tonåring självmord. Om något, det tyder på att videospel inte förutsäger ungdomsaggression.

Den här studien, och andra gillar det, är symptomatiskt för ett stort problem inom samhällsvetenskap:överhypning av tvivelaktiga, opålitliga forskningsresultat som har liten tillämpning i verkligheten. Ofta formar sådana fynd offentliga uppfattningar om det mänskliga tillståndet och styr den allmänna politiken - trots att det i stort sett är skräp. Så här går det till.

Under de senaste åren har psykologi, särskilt, inblandad i vad vissa kallar en reproducerbarhetskris. Många länge uppskattade fynd inom samhällsvetenskap har mer allmänt visat sig vara svåra att replikera under stränga förhållanden. När en studie körs igen, det visar inte samma resultat som ursprungligen publicerades. Trycket att publicera positiva fynd och tendensen för forskare att injicera sina egna fördomar i analyser intensifierar frågan. Mycket av detta misslyckande med att replikera kan hanteras med mer transparenta och rigorösa metoder inom samhällsvetenskap.

Men överhypningen av svaga resultat är annorlunda. Det går inte att fixa metodiskt; en lösning skulle behöva komma från en kulturell förändring inom området. Men incitamenten att vara i förväg om brister är få, särskilt för ett område som psykologi, som oroar sig över allmänhetens uppfattning.

Ett exempel är Implicit Association Test (IAT). Denna teknik är mest känd för att söka efter omedvetna rasfördomar. Med tanke på den uppmärksamhet den och teorierna baserade på den har fått, något av en stugbransch har utvecklats för att utbilda anställda om deras implicita fördomar och hur man kan övervinna dem. Tyvärr, ett antal studier tyder på att IAT är opålitligt och inte förutsäger verkligt beteende. Att bekämpa rasisk partiskhet är lovande, men de stora offentliga investeringarna i IAT och begreppet implicita fördomar är sannolikt mindre produktiva än annonserade.

En del av problemet är något jag kallar "död genom pressmeddelande". Detta fenomen uppstår när forskare eller deras universitet, eller en journalpubliceringsorganisation som American Psychological Association, släpper ett pressmeddelande som hypes en undersökningsresultat utan att specificera dess begränsningar. Sensationalistiska påståenden tenderar att få mer nyhetsuppmärksamhet.

Till exempel, ett nu ökänt matlaboratorium på Cornell upplevde flera indragningar efter att det kom ut att de torterade sina uppgifter för att få rubriker-vänliga slutsatser. Deras forskning föreslog att människor åt mer när de serverade större portioner, action -tv visar ökad matkonsumtion, och barnens grönsakskonsumtion skulle stiga om produkterna fick ett nytt namn med barnvänliga teman som "röntgenmorötter". Huvudsakligen, labledaren Brian Wansink verkar ha blivit expert på marknadsföring av samhällsvetenskap, även om de flesta slutsatserna var tunna.

Ett annat problem är en process som jag kallar "vetenskapstvätt" - sanering av smutsiga, rörig, otydlig vetenskap för offentlig konsumtion. Inom mitt eget kompetensområde, Dartmouths metaanalys på videospel är ett bra exempel. Liknande bevis på vad som hade matats in i metaanalysen hade funnits i åratal och faktiskt utgjorde grunden för varför de flesta forskare inte längre kopplar våldsamma spel till ungdomsangrepp.

Science magazine diskuterade nyligen hur metaanalyser kan missbrukas för att försöka avsluta vetenskapliga debatter i förtid. Metaanalyser kan vara till hjälp när de belyser vetenskapliga metoder som kan orsaka falska effekter, för att vägleda framtida forskning. Men de kan artificiellt släta över viktiga meningsskiljaktigheter mellan studierna.

Låt oss säga att vi antar att att äta blåbär botar depression. Vi kör 100 studier för att testa denna hypotes. Tänk dig att cirka 25 procent av våra experiment hittar små kopplingar mellan blåbär och minskad depression, medan de andra 75 procenten visar ingenting. De flesta håller med om att detta är en ganska dålig uppvisning för blåbärshypotesen. Huvuddelen av våra bevis fann ingen förbättring av depression efter att ha ätit bären. Men, på grund av en meta-analys att kombinera alla våra 100 studier tillsammans skulle visa vad forskare kallar en "statistiskt signifikant" effekt - vilket betyder något som osannolikt skulle hända av en slump - även om de flesta av de enskilda studierna på egen hand inte var statistiskt signifikanta.

Att slå samman även några få studier som visar effekt med en större grupp studier som inte kan sluta med ett metaanalysresultat som ser statistiskt signifikant ut-även om de enskilda studierna varierade ganska mycket. Dessa typer av resultat utgör vad vissa psykologer har kallat psykologisk forsknings "crud -faktor" - statistiskt signifikanta fynd som är buller, inte verkliga effekter som återspeglar någonting i den verkliga världen. Eller, rent ut sagt, metaanalyser är ett bra verktyg för forskare att lura sig med.

Professionella guildorganisationer för områden som psykologi och pediatrik bör ta mycket av skulden för spridningen av överhypning av forskning. Sådana organisationer släpper många, ofta djupt bristfällig, politiska uttalanden som basunerar ut forskningsresultat inom ett område. Allmänheten inser ofta inte att sådana organisationer fungerar för att marknadsföra och främja ett yrke; de är inte neutrala, objektiva observatörer av vetenskaplig forskning - som ofta publiceras, för inkomst, i sina egna tidskrifter.

Tyvärr, sådan vetenskapstvätt kan komma tillbaka till ett område när överhypade påståenden visar sig vara vilseledande. Oärlig överpromotion av samhällsvetenskap kan få allmänheten och domstolarna att bli mer skeptiska till den. Varför ska skattebetalarna finansiera forskning som är översåld skräp? Varför ska mediekonsumenterna lita på vad forskningen säger idag om de brändes av vad den sa igår?

Enskilda forskare och de professionella guilden som representerar dem kan göra mycket för att åtgärda dessa problem genom att ompröva slappa bevisstandarder, överförsäljning av svaga effekter, och den nuvarande bristen på ärlighet i förväg om metodiska begränsningar. Sålänge, allmänheten kommer att göra bra om det fortsätter att tillämpa en hälsosam dos av kritiskt tänkande på höga påståenden som kommer från pressmeddelanden inom samhällsvetenskapen. Fråga om effekten är betydligt större än för potatis på självmord. Om svaret är nej, det är dags att gå vidare.

Denna artikel publiceras från The Conversation under en Creative Commons -licens. Läs originalartikeln.