I januari 2003, President George W. Bush bad kongressen att stödja presidentens nödplan för AIDS-hjälp (PEPFAR) med ett åtagande på 15 miljarder dollar "för att vända utvecklingen mot AIDS." Kongressen höll med, och programmet – som fortsattes av Obama- och Trump-administrationerna – har, som noterats i The New England Journal of Medicine , "hade en aldrig tidigare skådad inverkan på pandemin av HIV och AIDS."

Men hur gör vi verkligen vet att? Ja, Hiv-frekvensen har – med undantag för ett fåtal länder – minskat, men kan vi säga att programmen PEPFAR som finansieras i länder med högst förekomst av hiv och aids var ansvariga för dessa nedgångar? Trots allt, barnadödligheten från AIDS sjönk i länder söder om Sahara som inte fick PEPFAR-finansiering.

Tyvärr, PEPFAR skapade inte en statistisk plan från början som lätt kunde besvara dessa frågor. En statistisk plan är lite som att fråga din revisor vilka data du ska spela in innan du startar ditt företag - så att du vet om du tjänar eller förlorar pengar. Frågan som PEPFAR stod inför var om de hade samlat in tillräckligt med data under åren för att utvärdera sina programinterventioner.

Den här typen av efterhandsanalyser är behäftade med svårigheter. "Planerade utvärderingar är att föredra, självklart, men vi kan fortfarande lära oss mycket av post-hoc-utvärderingar, säger Donna Spiegelman, den nyutnämnda Susan Dwight Bliss professor i biostatistik vid Yale School of Public Health. "Jag skulle aldrig låta det perfekta vara det godas fiende."

Få var så kvalificerade som Spiegelman att ta sig an utmaningen att ta reda på om PEPFAR hade fungerat. Med en gemensam doktorsexamen från Harvard i biostatistik och epidemiologi och rigorös utbildning i matematisk statistik, Spiegelman hade blivit expert på att utveckla metoder för att utvärdera folkhälsoförebyggande vetenskap. Under 2014, hon var den första (och ännu enda) biostatistiker som fick National Institutes of Health Director's Pioneer Award, ett slags MacArthur -geni -bidrag för biomedicinska forskare som frigör och finansierar dem - $ 500, 000 per år i fem år - för att driva, riskabel, innovativ forskning.

Ungefär samtidigt som Spiegelman fick Pioneer Award, hon träffade den nyutnämnda U.S. Global AIDS Coordinator och Ambassador-at-Large Deborah Birx. Birx, en läkare och tidigare överste i den amerikanska armén, hade varit chef för Centers for Disease Control and Preventions avdelning för global hiv/aids och arbetat som läkare i Kenya. Eftersom Kenya var en av de ursprungliga mottagarna av PEPFAR-finansiering, Birx tyckte att det skulle vara en bra kandidat för Spiegelman att titta på; det skulle vara den mest datarika miljön bland PEPFAR:s mottagare.

Med doktoranden Dale Barnhart, Spiegelman fokuserade på 10, 000 kliniker som driver det de kallar PMTCT-förebyggande av överföring från mor till barn-av AIDS. PEPFAR hade spenderat 248 miljoner dollar för att stödja PMTCT i Kenya mellan 2004 och 2014, och barnadödligheten för dem under fem år hade halverats under denna period. "Grundidén, säger Spiegelman, "var för att se om barnadödligheten sjönk i takt med att finansieringen ökade."

Skälet bakom ingripandet är att, för att förhindra överföring av hiv till barn, gravida mödrar måste testas. "Om de testas, säger Spiegelman, "de kan behandlas - och den behandlingen kommer att sänka överföringshastigheten drastiskt från 30 eller 40 procent till under 1 procent."

Det var grundtanken, men att reta ut kausala slutsatser var allt annat än enkelt. Tack och lov, eftersom PEPFAR är ett amerikanskt regeringsprogram, den måste rapportera till kongressen hur mycket den spenderar varje kvartal. Från dessa uppgifter, Barnhart extraherade ett decenniums utgifter för PMTCT. De fick sedan uppgifter om neonatal och spädbarnsdödlighet från den kenyanska regeringen och andra myndigheter.

Genom att göra en "skillnad i skillnad" -analys, de kunde titta på effekterna av olika finansieringsnivåer för PMTCT bland de kenyanska provinserna över tid, tillsammans med trender i lokal spädbarnsdödlighet, och jämför dem sedan med andra provinser med liknande demografi som inte hade PMTCT -program - eller hade dem men med mindre ekonomiskt stöd. Teamet gjorde ett brett utbud av känslighetsanalyser för att modellera saknad data, men dessa hade liten inverkan på resultatet.

"Resultaten var ganska dramatiska, "säger Spiegelman. Provinser i den övre kvartilen av PEPFAR -utgifter under ett givet år under studieperioden upplevde mer än 30 procent lägre spädbarnsdödlighet än de i den nedre kvartilen." Kumulativa PMTCT -utgifter minskade avsevärt barnadödligheten, rädda livet på många kenyanska barn, " säger hon. "Vi har visat, och strikt, att den amerikanska investeringen i PEPFAR höll sitt löfte."

All denna forskning utfördes medan Spiegelman var professor i epidemiologiska metoder vid epidemiologiska avdelningar, biostatistik, nutrition och global hälsa vid Harvard T.H. Chan School of Public Health. Sedan 1 juli har hon har varit chef för det nya Center for Methods in Implementation and Prevention Science (CMIPS) vid Yale University School of Public Health. "Vi hoppas kunna vara platsen för implementering och förebyggande vetenskapliga metoder i världen. Det är mitt drömjobb."