Under de senaste åren har crowdsourcing, som innebär att rekrytera medlemmar av allmänheten för att hjälpa till att samla in data, varit oerhört hjälpsamma för att ge forskare unika och rika datauppsättningar, samtidigt som allmänheten engageras i processen för vetenskaplig upptäckt. I en ny studie har ett internationellt team av forskare undersökt hur crowdsourcing-projekt kan göra den mest effektiva användningen av frivilliga bidrag.

Datainsamlingsaktiviteter genom crowdsourcing sträcker sig från fältbaserade aktiviteter som fågelskådning till onlineaktiviteter som bildklassificering för projekt som den mycket framgångsrika Galaxy Zoo, där deltagarna klassificerar galaxformer; och Geo-Wiki, där satellitbilder tolkas för marktäcke, markanvändning och socioekonomiska indikatorer. Att få input från så många deltagare som analyserar en uppsättning bilder väcker dock frågor om hur korrekta de inlämnade svaren faktiskt är. Även om det finns metoder för att säkerställa att data som samlas in på det här sättet är korrekta, har de ofta konsekvenser för crowdsourcingaktiviteter såsom samplingsdesign och tillhörande kostnader.

I deras studie precis publicerad i tidskriften PLoS ONE , undersökte forskare från IIASA och internationella kollegor frågan om noggrannhet genom att undersöka hur många betyg av en uppgift som måste slutföras innan forskare kan vara någorlunda säkra på det korrekta svaret.

"Många typer av forskning med allmänhetens deltagande går ut på att få volontärer att klassificera bilder som är svåra för datorer att urskilja på ett automatiserat sätt. Men när en uppgift måste upprepas av många människor gör det att uppgifterna tilldelas dem som utför dem. mer effektivt om du är säker på det korrekta svaret. Detta innebär att mindre tid för frivilliga eller betalda bedömare slösas bort, och forskare eller andra som efterfrågar uppgifterna kan få ut mer av de begränsade resurser som finns tillgängliga för dem", förklarar Carl Salk, en alumn från IIASA Young Scientists Summer Program (YSSP) och mångårig IIASA-samarbetspartner för närvarande knuten till Sveriges Lantbruksuniversitet.

Forskarna utvecklade ett system för att uppskatta sannolikheten att majoritetens svar på en uppgift är fel, och slutade sedan tilldela uppgiften till nya frivilliga när den sannolikheten blev tillräckligt låg, eller sannolikheten att någonsin få ett tydligt svar blev låg. De demonstrerade denna process med en uppsättning av över 4,5 miljoner unika klassificeringar av 2 783 frivilliga med över 190 000 bilder som bedömts för närvaro eller frånvaro av odlingsmark. Författarna påpekar att om deras system hade implementerats i den ursprungliga datainsamlingskampanjen skulle det ha eliminerat behovet av 59,4 % av volontärernas betyg, och att om ansträngningen hade tillämpats på nya uppgifter skulle det ha tillåtit mer än dubbelt så mycket antal bilder som ska klassificeras med samma mängd arbete. Detta visar hur effektiv den här metoden kan vara för att effektivare använda begränsade frivilliga bidrag.

Enligt forskarna kan denna metod tillämpas på nästan alla situationer där en ja eller nej (binär) klassificering krävs, och svaret kanske inte är särskilt uppenbart. Exempel kan vara att klassificera andra typer av markanvändning, till exempel:"Finns det skog i den här bilden?"; identifiera arter genom att fråga "Finns det en fågel på den här bilden?"; eller till och med den sortens "ReCaptcha"-uppgifter som vi gör för att övertyga webbplatser om att vi är mänskliga, till exempel "Finns det ett stoppljus i den här bilden?" Arbetet kan också bidra till att bättre svara på frågor som är viktiga för beslutsfattare, som hur mycket mark i världen som används för att odla grödor.

"När dataforskare i allt högre grad vänder sig till maskininlärningstekniker för bildklassificering, fortsätter användningen av crowdsourcing för att bygga bildbibliotek för utbildning att få betydelse. Den här studien beskriver hur man optimerar användningen av publiken för detta ändamål, vilket ger tydlig vägledning när man ska fokusera på nytt. ansträngningarna när antingen den nödvändiga förtroendenivån uppnås eller en viss bild är för svår att klassificera", avslutar studiens medförfattare, Ian McCallum, som leder Novel Data Ecosystems for Sustainability Research Group vid IIASA.