Experter håller inte alltid med varandra när de gör förutsägelser eller diagnoser. Så hur kan vi ta reda på vilken expert i en grupp som fattar de bästa och mest korrekta besluten? Ett tvärvetenskapligt team av forskare vid Max Planck Institute for Human Development och Leibniz Institute of Freshwater Ecology and Inland Fisheries har utvecklat en enkel metod för att identifiera de mest exakta experterna och testat den framgångsrikt i olika grupper. Deras resultat har publicerats i Vetenskapliga framsteg .

Indikerar en massa på ett mammografi bröstcancer? Kommer Serbien att vara medlem i EU 2025? Kommer det att bli fler översvämningar i Tyskland om fem år? Diagnoser och förutsägelser som gjorts av läkare, vetenskapsmän, och experter får ofta långtgående konsekvenser. Och i många fall, det är först år senare som det går att säga vilken expert som oftast ringde rätt.

En tvärvetenskaplig forskargrupp från Max Planck Institute for Human Development och Leibniz Institute of Freshwater Ecology and Inland Fisheries har utvecklat en enkel ny metod som kan användas för att identifiera de bästa beslutsfattarna från en expertgrupp utan att behöva veta om deras beslut – tidigare eller nuvarande – är korrekta eller felaktiga. "Förutsatt att minst hälften av alla beslut som fattas inom gruppen är korrekta - vilket vanligtvis är fallet i expertgrupper - och att varje person har fattat ett 20-tal ja/nej-beslut, denna metod har visat sig fungera mycket bra, säger Max Wolf, forskare vid Leibniz Institute of Freshwater Ecology and Inland Fisheries och medförfattare till studien.

Metoden utvecklades utifrån insikter om kollektiv intelligens. Det vilar på ett enkelt antagande:De individer i en expertgrupp som fattar beslut som mest liknar andras beslut fattar också de bästa besluten. För ja/nej-beslut, detta antagande bekräftas lätt med hjälp av matematisk modellering. För att testa om metoden även fungerar i verkliga grupper, forskarna analyserade publicerade förutsägelser och diagnoser från olika grupper inom olika områden.

Till exempel, forskarna undersökte diagnoserna som ställdes av 100 radiologer i USA i början av 2000-talet, radiologerna tolkade mammografin av 155 kvinnor för att avgöra om de hade bröstcancer eller inte. Forskargruppen analyserade data för att identifiera de radiologer vars beslut var, i genomsnitt, mest lik de andras beslut. Eftersom de hade tillgång till uppföljningsinformation om hälsotillståndet för de 155 screenade kvinnorna, forskarna kunde också avgöra vilka radiologer som gjorde de mest exakta och därmed bästa diagnoserna. De var samma radiologer som de som identifierades med den nya statistiska metoden.

"Det har visat sig gång på gång att experter som är bra inom sitt område är bra på ett liknande sätt, medan dåliga prestationer är dåliga på väldigt olika sätt. Att arbeta utifrån denna observation, vi utvecklade denna nya metod och testade den inom olika områden, säger Ralf Kurvers, huvudförfattare och forskare vid Center for Adaptive Rationality vid Max Planck Institute for Human Development.

Förutom radiologernas diagnoser, forskargruppen analyserade hudcancerdiagnoser gjorda av 40 italienska hudläkare; geopolitiska förutsägelser gjorda av 90 prognosmakare på onlineplattformen Good Judgment Project; och resultaten av ett enkelt allmänt kunskapstest, där 100 deltagare ombads att identifiera den största av två amerikanska städer.

"Vi tror att förhållandet mellan likhet och riktighet i beslut kan vara ett effektivt verktyg för praktiken. Metoden kan användas för att förbättra kollektiva och individuella beslutsprocesser inom medicinsk diagnostik, miljöriskanalyser, och affärsvärlden, " säger medförfattaren Stefan Herzog, även forskare vid Centrum för adaptiv rationalitet.