Med en läsekrets som når miljoner, få skulle hävda att New York Times inte påverkar den offentliga debatten om en mängd frågor. Men vad sägs om ett nyhetsmedium med en upplaga på bara cirka 50, 000?

Svaret, säger Albert J. Weatherhead III University Professor Gary King, är att även små till medelstora medier kan ha en dramatisk effekt på innehållet och den partiska balansen i det nationella samtalet om stora samhällspolitiska frågor.

I det första randomiserade medieexperimentet i stor skala som någonsin genomförts, Kung och tidigare studenter Benjamin Schneer, nu biträdande professor vid Florida State University, och Ariel White, nu biträdande professor vid MIT, fann att om bara tre butiker skriver om ett särskilt stort nationellt politiskt ämne - till exempel jobb, miljön, eller invandring - diskussionen om det ämnet i sociala medier ökade med mer än 62 procent, och åsiktsbalansen i det nationella samtalet kunde påverkas flera procentenheter baserat på den täckningen.

"I flera hundra år forskare har försökt mäta medias inflytande. De flesta tror att det är inflytelserikt, men att mäta detta inflytande noggrant med randomiserade experiment har hittills varit omöjligt, "King sa." Våra resultat tyder på att effekten av media är förvånansvärt stor. Vår undersöknings implikationer tyder på att varje journalist har en stormakt och har därför ett viktigt ansvar. "

Dessa fynd, King sa:är resultatet av mer än fem års arbete, varav mycket gick åt till att övertyga 48 nyhetsmedier om att gå med på att delta i studien. Lyckligtvis, ungefär hälften av dessa butiker representerades av Media Consortium, ett nätverk av oberoende nyheter, ivrig efter att hitta ett sätt att mäta påverkan och villig att hjälpa.

"Mycket av arbetet som ledde fram till denna studie innebar att hitta ett sätt att överbrygga den kulturella klyftan mellan journalistik och vetenskap, "King förklarade." Genom år av samtal, mycket försök och fel, och ett partnerskap med Media Consortium Executive Director Jo Ellen Green Kaiser, vi lärde oss att förstå journalistiska standarder och metoder, och journalisterna lärde sig förstå våra vetenskapliga krav. Det som i slutändan fick allt att fungera var en ny forskningsdesign vi utvecklade som tillfredsställde båda lägren. "

Även om liknande ansträngningar har prövats tidigare de kollapsade alltid när journalister skakade på tanken på att få veta vad de ska rapportera och när de ska rapportera det.

För att åtgärda problemet, tidigare forskare föll tillbaka på smarta knep, som att studera områden som föll utanför sändningsområdet i ett visst uttag men, eftersom ingen visste om områdena verkligen var slumpmässiga, de var svåra att utvärdera. Sådana studier mötte många problem, särskilt deras oförmåga att kontrollera för en mängd faktorer som ras, utbildning, eller inkomst.

"Ur vetenskaplig synvinkel, vi måste kunna berätta för journalisterna vad de ska publicera, och helst på slumpmässiga tider, "King sa." Ur journalistisk synvinkel, dessa vetenskapliga krav verkar galen, och journalister insisterar rimligen på att behålla absolut kontroll över vad de publicerar. De två uppsättningarna krav verkar i grunden oförenliga, men vi hittade ett sätt att skapa en enda forskningsdesign som uppnådde målen för båda grupperna. "

Det var inte bara deltagande av nyhetsbutiker som gjorde studien anmärkningsvärd, fastän.

"Om du gör något som ett medicinskt experiment, du kan slumpmässigt tilldela enskilda personer till en av två grupper, och sedan är varje person din analysenhet, "sa han." Men när ett medie publicerar något - oavsett hur litet - den potentiella publiken det kan påverka omfattar i princip alla i landet. Det betyder att vår analysenhet inte kan vara en person; det måste vara hela landet, vilket kraftigt ökar kostnaden för studien. "Detta innebär att motsvarigheten till ett helt experiment i många andra studier endast utgör en observation i denna studie.

Eftersom det var så dyrt att samla in varje observation, och så logistiskt utmanande, King och kollegor använde, och vidareutvecklad, nya statistiska tekniker för att de bara ska kunna samla in så mycket data som behövs. De kunde sedan undersöka, efter varje massivt nationellt experiment, om de nu hade tillräckligt med data för att dra tillförlitliga slutsatser.

"Det gjorde att vi kunde fortsätta tills vi kom till den punkt där vi hade exakt så mycket data som vi behövde, och inte mer, "King sa." Som det visar sig, vi körde 35 nationella experiment som gav 70 observationer. "

För att uppnå den experimentella randomisering som behövs för studien, King's team, mediekonsortiets personal, och journalister på de 48 butikerna identifierade tillsammans 11 breda politikområden - som jobb, miljön, eller invandring. De simulerade sedan journalisternas tendens att påverka varandra och publicera berättelser om liknande ämnen, ibland känd som "pack journalistik, ”genom att välja tre eller fyra försäljningsställen från sin deltagande grupp på 48 för att tillsammans utveckla berättelser som hörde till samma breda politikområde.

"Till exempel, om politikområdet var jobb, en historia kan handla om Uber -förare i Philadelphia -området, "King sa." Vi skulle sedan identifiera en två veckors period där vi förutspådde att det inte skulle finnas några överraskningar relaterade till det ämnesområdet - så om presidenten planerade att hålla ett tal om invandring inom en av dessa två veckor, vi skulle inte köra ett experiment om invandring under den tiden. "

Randomisering kom från forskare som slog ett mynt för att avgöra vilken av dessa veckor som skulle bli publikationsveckan, och vilken kontrollvecka.

"I början, våra butiker förstod inte riktigt vad randomisering innebar, "sa Kaiser." Vår projektledare Manolia Charlotin och forskarna arbetade mycket nära alla butiker för att säkerställa att de följde forskarnas regler. Detta var ett resurskrävande projekt för oss, men den oväntade fördelen var att butikerna fann att de också fick många kvalitativa fördelar genom att samarbeta. "

Under både behandlings- och kontrollveckor, Kung, Schneer, och White använde verktyg och data från Harvard-baserade start-up Crimson Hexagon, att övervaka det nationella samtalet i sociala medier. King är en av grundarna av Crimson Hexagon och, med en tidigare generation av nu tidigare Harvard -studenter, utvecklat den automatiska texttekniken som ursprungligen licensierades av Harvard för att skapa företaget. Han förklarade att denna metod "används för att utvärdera mening i sociala medier. Så om du har en uppsättning kategorier du bryr dig om, vi identifierar exempelposter i dessa kategorier, vilket är vad människor är bra på, "King sa." Då kan vår algoritm förstärka den mänskliga intelligensen och, utan att klassificera enskilda inlägg, kan exakt uppskatta procenten av inlägg i varje kategori varje dag. "

Vad de hittade, King sa:är att effekten var större än någon förväntat sig.

"Den verkliga effekten är riktigt stor, "King sa." Om tre butiker (med en genomsnittlig upplaga på cirka 50, 000) träffas och skriver historier, storleken på det nationella samtalet inom det politikområdet ökar mycket - det är en ökning med 62 procent jämfört med den första dagens volym fördelad över veckan, bara från dessa tre små butiker. "

"Dessa nationella samtal om stora politikområden är avgörande för demokratin, "tillade han." Idag äger denna konversation rum, till viss del, i några av de 750 miljoner offentligt tillgängliga inlägg på sociala medier skrivna av människor varje dag - och alla tillgängliga för forskning. På samma gång, det nationella samtalet var vad som sades på det offentliga torget, där människor skulle gå upp på en tvålåda, eller när de uttryckte sig i tidningsredaktioner eller vattenkylare debatter. Det här är mycket av vad demokrati handlar om. "King förklarade, "Det faktum att media har ett så stort inflytande på innehållet i detta nationella samtal är avgörande för allt från den ideologiska balansen i nationens medier, att stiga av falska nyheter, till professionella journalisters löpande ansvar. "