Forskare från University College London (UCL) och Academy of Mathematics and Systems Science, kinesiska vetenskapsakademin (CAS, AMSS), har rapporterat framsteg när det gäller att förstå problem i samband med val av Bayesiansk modell. Forskningen tyder på att den Bayesianska metoden tenderar att producera mycket höga posteriora sannolikheter för uppskattade evolutionära träd även om träden är uppenbart fel, och ger en möjlig förklaring till detta fenomen.

Modelljämförelse används i stor utsträckning inom olika vetenskapsgrenar där vetenskapliga hypoteser formuleras som statistiska modeller och testas med hjälp av observerade data. Dock, modelljämförelse är en svår fråga i både klassisk statistik och Bayesiansk statistik.

I klassisk statistik, två kapslade modeller jämförs. Ramverket fungerar inte när de jämförda modellerna inte är kapslade. I kontrast, Bayesiansk statistik jämför olika modeller genom att beräkna deras posteriora sannolikheter, vilket indikerar vårt förtroende eller tro på modellen.

De två metoderna härrör inte bara från drastiskt olika filosofier, de kan också ge motsatta slutsatser i analysen av samma data. Bayesiansk modellval är känt för att konvergera till den sanna modellen om den sanna modellen ingår bland de modeller som övervägs.

Det är, när forskare samlar in mer data, den bakre sannolikheten för rätt modell kommer att öka och närma sig 100 procent, och de kommer därmed att bli alltmer säkra på vilken som är den sanna modellen.

Dock, om alla övervägda modeller är fel, beteendet hos den Bayesianska metoden är okänt.

Forskare har karakteriserat Bayesianska modellvalsproblem, och kategoriserade dem i tre typer, var och en visar olika beteende.

I det mest vetenskapligt intressanta fallet, dvs. när de jämförda modellerna är distinkta och nästan lika fel, Bayesiansk modellval visar problematiskt polariserat beteende:Det tenderar att stödja en modell med full kraft i vissa datamängder, men stöder en annan modell i andra datauppsättningar.

Resultatet kan sammanfattas med följande analogi:Anta att världen är grå, men vi frågar en vis om det är svart eller vitt. Han tar en djup titt på världen och säger att den är svart, med totalt självförtroende. Men nästa gång vi ställer samma fråga, han säger att det är vitt, återigen med full självförtroende.

Denna studie motiverades av problem inom molekylär fylogenetik, som är vetenskapen om att utarbeta relationerna mellan arter med hjälp av genetiska data, representeras av evolutionära träd.

Dessa olika träd är motsatta statistiska modeller i den Bayesianska analysen av data. Evolutionsbiologer har länge observerat att metoden tenderar att producera mycket höga posteriora sannolikheter för de uppskattade evolutionära träden (mycket ofta 100 procent), även om träden är uppenbart fel.

Våra resultat ger en möjlig förklaring till detta obehagliga beteende. Implikationerna av resultaten för användningen av Bayesiansk modellval vid testning av motsatta vetenskapliga hypoteser i allmänhet återstår ännu att utforska.