Bakteriesamhällen lever överallt:inuti våra kroppar, på våra kroppar och runt omkring oss. Enbart den mänskliga tarmen innehåller hundratals arter av bakterier som hjälper till att smälta mat och tillhandahåller näringsämnen, men kan också göra oss sjuka. För att lära dig mer om dessa grupper av bakterier och hur de påverkar våra liv, forskare måste studera dem. Men denna uppgift innebär utmaningar, eftersom att ta in bakterierna i laboratoriet är antingen omöjligt eller skulle störa de biologiska processer som forskarna vill studera.

För att kringgå dessa svårigheter, forskare har vänt sig till området metagenomics. Inom metagenomik, forskare använder algoritmer för att sätta ihop DNA från ett miljöprov för att bestämma typen och rollen av bakterier som finns. Till skillnad från etablerade områden som kemi, där forskare utvärderar sina resultat mot en uppsättning kända standarder, metagenomics är ett relativt ungt område som saknar sådana riktmärken.

Mihai Pop, en professor i datavetenskap vid University of Maryland med en gemensam utnämning vid University of Maryland Institute for Advanced Computer Studies, hjälpte nyligen till att bedöma en internationell utmaning som heter Critical Assessment of Metagenome Interpretation (CAMI), som benchmarkerade metagenomics programvara. Resultaten publicerades i tidskriften Naturmetoder den 2 oktober, 2017.

"Det finns ingen algoritm som vi kan säga är bäst på allt, sa pop, som också är meddirektör för Center for Health-related Informatics and Bioimaging vid UMD. "Vad vi fann var att ett verktyg fungerar bättre i ett sammanhang, men en annan gör sig bättre i ett annat sammanhang. Det är viktigt för forskare att veta att de måste välja mjukvara baserat på de specifika frågor de försöker svara på."

Studiens resultat var inte förvånande för Pop, på grund av de många utmaningar som metagenomics mjukvaruutvecklare står inför. Först, DNA-analys är utmanande inom metagenomik eftersom det återvunna DNA:t ofta kommer från fältet, inte en hårt kontrollerad laboratoriemiljö. Dessutom, DNA från många organismer - av vilka några kanske inte har kända genom - blandas ihop i ett prov, gör det svårt att montera korrekt, eller sätta ihop, individuella genom. Dessutom, DNA bryts ned i tuffa miljöer.

"Jag tycker om att tänka på metagenomik som en ny typ av mikroskop, " sa Pop. "I gamla dagar, du skulle använda ett mikroskop för att studera bakterier. Nu har vi ett mycket kraftfullare mikroskop, som är DNA-sekvensering i kombination med avancerade algoritmer. Metagenomics har löftet att hjälpa oss att förstå vad bakterier gör i världen. Men först måste vi ställa in mikroskopet."

CAMI:s ledare bjöd in Pop att hjälpa till att utvärdera bidragen från utmaningsdeltagare på grund av hans expertis inom genom- och metagenommontering. År 2009, Pop hjälpte till att publicera Bowtie, ett av de mest använda mjukvarupaketen för sammansättning av genom. På senare tid, han samarbetade med University of Maryland School of Medicine för att analysera hundratusentals gensekvenser som en del av de största, mest omfattande studie av barndomsdiarrésjukdomar som någonsin genomförts i utvecklingsländer.

"Vi upptäckte nya, okända bakterier som orsakar diarrésjukdomar, och vi hittade också interaktioner mellan bakterier som kan förvärra eller förbättra sjukdomen, " sa Pop. "Jag känner att det är ett av de mest effektfulla projekten jag har gjort med hjälp av metagenomik."

För tävlingen, CAMI-forskare kombinerade cirka 700 mikrobiella genom och 600 virala genom med andra DNA-källor och simulerade hur en sådan samling av DNA kan se ut i fält. Deltagarnas uppgift var att rekonstruera och analysera genomen från den simulerade DNA-poolen.

CAMI-forskare poängsatte deltagarnas bidrag inom tre områden:hur väl de sammanställde de fragmenterade genomen; hur bra de "binned, "eller organiserad, DNA-fragment i besläktade grupper för att bestämma familjerna av organismer i blandningen; och hur väl de "profilerade, "eller rekonstruerade, identiteten och den relativa förekomsten av de organismer som finns i blandningen. Pop bidrog med mätvärden och programvara för att utvärdera de inlämnade samlade genomen.

Nitton lag skickade in 215 bidrag med sex genomsamlare, nio inläggare och 10 profiler för att ta sig an denna utmaning.

Resultaten visade att för montering, Algoritmer som satte ihop ett genom med olika längder av mindre DNA-fragment överträffade de som använde DNA-fragment med en fast längd. Dock, inga montörer var bra på att plocka isär olika, ändå liknande genom.

För förvaringsuppgiften, forskarna hittade avvägningar i hur exakt mjukvaruprogrammen identifierade gruppen som ett visst DNA-fragment tillhörde, kontra hur många DNA-fragment programvaran tilldelade till någon grupp. Detta resultat tyder på att forskare måste välja sin binning-mjukvara baserat på om noggrannhet eller täckning är viktigare. Dessutom, prestandan för alla binningalgoritmer minskade när proverna inkluderade flera relaterade genom.

I profilering, programvaran återvann antingen den relativa mängden bakterier i provet bättre eller upptäckte organismer bättre, även vid mycket låga mängder. Dock, de senare algoritmerna identifierade fel organism oftare.

Går framåt, Pop sa att CAMI-gruppen kommer att fortsätta att köra nya utmaningar med olika datamängder och nya utvärderingar som syftar till mer specifika aspekter av mjukvarans prestanda. Pop är glad över att se forskare använda riktmärkena för att ta itu med forskningsfrågor i laboratoriet och kliniken.

"Fältet för metagenomik behöver standarder för att säkerställa att resultaten är korrekta, väl validerad och följer bästa praxis, " sa Pop. "Till exempel, om en läkare ska iscensätta en intervention baserat på resultat från metagenomisk programvara, det är viktigt att dessa resultat är korrekta. Vårt arbete ger en färdplan för att välja lämplig programvara."