Kredit:CC0 Public Domain
Ibland sker de mest produktiva samtalen på vetenskapliga konferenser utanför de formella sessionerna. Det var fallet för psykologiprofessor Maureen Callanan, som deltog i ett möte för några år sedan där hon deltog i en panel om forskning om mångfald inom utvecklingspsykologin.
Efteråt, hon och hennes kollega Susan Gelman, professor i psykologi och lingvistik vid University of Michigan, diskuterade forskares tendens att ta ett enkelt fynd och ange det som en universell sanning, generalisera utanför ramarna för en enskild studie.
"Det är skillnaden mellan att säga, "Vad 5-åringarna i den här studien gjorde..." och "Vad 5-åringar gör, '" förklarade Callanan, en utvecklingspsykolog. "Att antyda att alla barn beter sig på ett visst sätt ignorerar att den mesta forskningen inom utvecklingspsykologi är baserad på studier av vitt, medelklassbarn."
Denna användning av "generiskt språk" ger intrycket att det inte finns någon nyans, och det kan vara vilseledande, Callanan och Gelman kom överens. Och de började undra hur utbrett det är i litteraturen.
Spola fram till 26 augusti, när Callanan och Gelman publicerade en artikel som de skrev tillsammans med Jasmine DeJesus och Graciela Solis i Proceedings of the National Academy of Sciences , "Allmänt språk i vetenskaplig kommunikation." Deras analys av nästan 1, 150 artiklar i psykologitidskrifter publicerade 2015-16 avslöjade att generiskt språk användes i 89 procent av forskningssammanfattningarna. Användningen av ett sådant "universellt" språk är särskilt besvärligt med tanke på att 73 procent av dessa artiklar inte nämnde deltagarnas ras eller etnicitet, en av flera demografiska faktorer som kan begränsa relevansen av resultat om en grupp till en annan; liknande, 79 % av artiklarna nämnde inte provets inkomstnivå, och 74 % noterade inte språkbakgrunden.
"Att använda generiskt språk är särskilt problematiskt om forskare övergeneraliserar från selektiva eller begränsade urval, " sa Callanan. Författarna noterade att psykologiområdet till och med har en förkortning som bekräftar den homogena karaktären hos typiska prover:WEIRD, som står för deltagare från Western, utbildad, industrialiserad, rik, och demokratiska samhällen.
Författarna identifierar flera krafter som bidrar till användningen av generaliseringar, inklusive en önskan att göra verket tillgängligt för en bred publik – och att tilltala finansiärer. Dock, Att slumra över fynden och underlåta att beskriva studieprover kan leda till överdrivna slutsatser, de varnar.
"Eftersom forskare uppmuntras att dra breda slutsatser, deras skrivande kan offra precision till förmån för djärvare påståenden, sa DeJesus, biträdande professor vid University of North Carolina i Greensboro och artikelns första författare.
En uppföljande studie indikerade forskningssammanfattningar som använde generiska språkpaket mer kraft än mer nyanserade sammanfattningar, åtminstone bland studenterna och andra undersökningsdeltagare, som konsekvent bedömde dem som "viktigare".
"Utmaningen är att ta reda på hur man kan rapportera fynden på ett sätt som är ärligt och som också får arbetet uppmärksammat, sa Callanan, som spekulerade i att detta fenomen även kan förekomma inom andra områden än psykologi. "Jag skulle vilja se forskare göra ett bättre jobb med att vara tillgängliga och koncisa, samtidigt som vi fullt ut erkänner variationen och gränserna för våra bevis."
Åtminstone Callanan uppmanade forskare att avstå från att göra svepande generaliseringar och att överväga att hänvisa till sina deltagares beteende i förflutna tid för att betona att resultaten är begränsade till studien och inte nödvändigtvis tillämpliga på andra grupper eller en prediktor för framtida beteende.
"En enskild studie är verkligen inte tillräcklig grund för en bred generalisering, ", sa hon. "Denna typen av språk kan vara mer lämpligt när man granskar en hel litteratur och sammanfattar över flera studier."
Även med ett representativt urval, det kanske inte är lämpligt att generalisera, noterade Callanan, som har brottats med dessa frågor i sitt eget arbete. "Jag är mindre fokuserad på fynd som kan generaliseras, för det finns alltid nyanser, " sa hon. "Det finns alltid skillnader, även bland vita, medelklassbarn."
Callanan ser också bredare negativa konsekvenser av att använda generiskt språk för att prata om vetenskapliga rön som är baserade på prover från mycket specifika grupper – ofta medelklass, vita familjer. "Det får folk att tro att det är normen, och om fynden bland en annan grupp är olika, det anses vara ett underskott, sa hon. Det är faran.
Snarare, det är viktigt att studera enskilda samhällen på deras egna villkor, inte som avvikelser eller undantag från normen, Hon sa. Att undvika generiskt språk är en del av en bredare strävan att vara inkluderande, en insats som har format Callanans verk under tre decennier. Hennes egen forskning fokuserar på hur barn lär sig om vetenskap och omvärlden, och hon uppskattar det enorma utbudet och variationen hon har observerat.
"Människor har olika sätt att lära sig om den naturliga världen, " sa hon. "Jag letar inte längre efter det enda sättet barn lär sig. Jag tror att det sätter oss på en falsk väg. Vi bör leta inte bara efter generaliserbara resultat utan också efter variation, eftersom det kommer att finnas båda i vilket ämne vi än studerar."