Wikipedia har möjliggjort storskalig, öppet samarbete på internets största allmänna referensresurs. Men, som med många samarbetsprojekt, att skapa innehållet kan vara ett omtvistat ämne.

Ofta, flera Wikipedia-redaktörer kommer att vara oense om vissa ändringar av artiklar eller policyer. Ett av de viktigaste sätten att officiellt lösa sådana tvister är processen för begäran om kommentarer (RfC). Bråkande redaktörer kommer att publicera sina diskussioner på ett forum, där andra Wikipedia-redaktörer kommer att ringa in och en neutral redaktör kommer att fatta ett slutgiltigt beslut.

Helst detta borde lösa alla problem. Men en ny studie av forskare från MIT finner försvagande faktorer - som överdrivet käbbel och dåligt formulerade argument - har lett till att ungefär en tredjedel av RfC:erna har blivit olösta.

För studien, forskarna sammanställde och analyserade den första heltäckande datamängden någonsin med RfC-konversationer, fångat under en åttaårsperiod, och genomförde intervjuer med redaktörer som ofta stänger RfCs, att förstå varför de inte hittar en lösning. De utvecklade också en maskininlärningsmodell som utnyttjar denna datauppsättning för att förutsäga när RfC:er kan bli inaktuella. Och, de rekommenderar digitala verktyg som kan göra överläggningar och lösningar effektivare.

"Det var förvånande att se en hel tredjedel av diskussionerna inte avslutades, " säger Amy X. Zhang, en doktorand i MIT:s datavetenskap och artificiell intelligens Laboratory (CSAIL) och medförfattare på uppsatsen, som presenteras på veckans ACM-konferens om datorstödt kooperativt arbete och social datoranvändning. "På Wikipedia, alla är volontärer. Människor lägger ner sitt arbete, och de har intresse ... och redaktörer kanske väntar på att någon ska stänga så att de kan återgå till redigeringen. Vi vet, tittar igenom diskussionerna, jobbet att läsa igenom och lösa en stor överläggning är svårt, speciellt med fram och tillbaka och stridigheter. [Vi hoppas kunna] hjälpa den personen att göra det arbetet."

Tidningens medförfattare är:första författare Jane Im, en doktorand vid University of Michigan's School of Information; Christopher J. Schilling från Wikimedia Foundation; och David Karger, professor i datavetenskap och CSAIL-forskare.

(Inte) hitta stängning

Wikipedia erbjuder flera kanaler för att lösa redaktionella tvister, som innebär att två redaktörer hasar ut sina problem, lägga idéer till en enkel majoritetsröst från samhället, eller föra debatten till en panel av moderatorer. Vissa tidigare Wikipedia-forskningar har grävt i dessa kanaler och fram och tillbaka "redigera krig" mellan bidragsgivare. "Men RfC är intressanta, eftersom det är mycket mindre röstmentalitet, " säger Zhang. "Med andra processer, i slutet av dagen kommer du att rösta och se vad som händer. [RfC-deltagare] röstar ibland, men det handlar mer om att hitta en konsensus. Det viktiga är vad som faktiskt händer i en diskussion."

För att lämna in en RfC, en redaktör utarbetar ett mallförslag, baserat på en innehållstvist som inte löstes på en artikels grundläggande "samtal"-sida, och uppmanar till kommentarer från det bredare samhället. Förslagen sträcker sig över hela skalan, från mindre meningsskiljaktigheter om en kändis bakgrundsinformation till ändringar i Wikipedias policyer. Vilken redaktör som helst kan initiera en RfC och vilken redaktör som helst – vanligtvis, mer erfarna – som inte deltog i diskussionen och anses vara neutrala, kan avsluta en diskussion. Efter 30 dagar, en bot tar automatiskt bort RfC-mallen, med eller utan upplösning. RfCs kan avslutas formellt med ett sammanfattande uttalande av de närmare, informellt på grund av överväldigande samtycke från deltagarna, eller lämnas inaktuell, betydelse borttagen utan upplösning.

För sina studier, forskarna sammanställde en databas bestående av cirka 7, 000 RfC-konversationer från den engelskspråkiga Wikipedia från 2011 till 2017, som inkluderade avslutande uttalanden, författarkontoinformation, och allmän svarsstruktur. De genomförde också intervjuer med 10 av Wikipedias vanligaste närstående för att bättre förstå deras motiv och överväganden när de löser en tvist.

Analysera datamängden, forskarna fann att cirka 57 procent av RfCs var formellt stängda. Av de återstående 43 procenten, 78 procent (eller cirka 2, 300) lämnades inaktuella utan informell upplösning – eller, cirka 33 procent av alla RfC som studerades. Att kombinera datauppsättningsanalys med intervjuerna, forskarna konkretiserade sedan de viktigaste orsakerna till upplösningsfel. Viktiga frågor inkluderar dåligt formulerade initiala argument, där initiativtagaren är otydlig i frågan eller skriver ett medvetet partiskt förslag; överdrivet käbbel under diskussioner som leder till mer komplicerade, längre, argumenterande trådar som är svåra att helt granska; och enkel ointresse från tredje parts redaktörer eftersom ämnen kan vara för esoteriska, bland andra faktorer.

Användbara verktyg

Teamet utvecklade sedan en maskininlärningsmodell för att förutsäga om en given RfC skulle stänga (formellt eller informellt) eller bli inaktuell, genom att analysera mer än 60 funktioner i texten, Wikipedia sida, och redaktörskontoinformation. Modellen uppnådde 75 procents noggrannhet för att förutsäga misslyckande eller framgång inom en vecka efter att diskussionen startade. Några mer informativa funktioner för förutsägelse, de hittade, inkludera längden på diskussionen, antal deltagare och svar, antal ändringar av artikeln, popularitet och intresse för ämnet, diskussionsdeltagarnas erfarenheter, och nivån av vulgaritet, negativitet, och allmän aggression i kommentarerna.

Modellen skulle en dag kunna användas av RfC-initiatorer för att övervaka en diskussion när den utvecklas. "Vi tror att det kan vara användbart för redaktörer att veta hur man riktar in sina insatser, " Zhang säger. "De kunde posta [RfC] till fler [Wikipedia-forum] eller bjuda in fler människor, om det ser ut som att det riskerar att inte lösas."

Forskarna föreslår att Wikipedia kan utveckla verktyg för att hjälpa närstående att organisera långa diskussioner, flagga övertygande argument och åsiktsförändringar i en tråd, och uppmuntra samverkande stängning av RfCs.

I framtiden, modellen och föreslagna verktyg skulle potentiellt kunna användas för andra samhällsplattformar som involverar storskaliga diskussioner och överläggningar. Zhang pekar på onlineforum för stad- och samhällsplanering, där medborgarna väger in förslag. "Folk diskuterar [förslagen] och röstar om dem, så verktygen kan hjälpa samhällen att bättre förstå diskussionerna ... och skulle [även] vara användbara för de som genomför förslagen."

Zhang, Jag är, och andra forskare har nu byggt en extern webbplats där redaktörer på alla expertnivåer kan samlas för att lära av varandra, och lättare övervaka och avsluta diskussioner. "Närmarens arbete är ganska tufft, " säger Zhang, "så det finns en brist på människor som vill avsluta dessa diskussioner, särskilt svårt, längre, och mer följdriktiga sådana. Detta kan bidra till att minska hindret för inträde [för redaktörer att komma närmare] och hjälpa dem att samarbeta för att stänga RfCs."

"Även om det är förvånande att en tredjedel av dessa diskussioner aldrig löstes, [vad som är viktigare] är anledningarna till att diskussioner misslyckas med att avslutas, och de mest intressanta slutsatserna här kommer från de kvalitativa analyserna, säger Robert Kraut, en professor emeritus i människa-dator-interaktioner vid Carnegie Melon University. "Vissa [av studiens] resultat överskrider Wikipedia och kan tillämpas på många diskussioner i andra sammanhang." Mer arbete, han lägger till, skulle kunna göras för att förbättra noggrannheten i maskininlärningsmodellen för att ge Wikipedia mer handlingskraftiga insikter.

Studien belyser hur vissa RfC-processer "avviker från etablerade normer, leder till ineffektivitet och fördomar, " säger Dario Taraborelli, forskningschef vid Wikimedia Foundation. "Resultaten indikerar att deltagarnas erfarenheter och längden på en diskussion är starkt förutsägande för att ett RfC ska stängas i tid. Detta ger nya empiriska bevis för frågan om hur man kan göra förvaltningsrelaterade diskussioner mer tillgängliga för nykomlingar och medlemmar av underrepresenterade grupper."

Den här historien återpubliceras med tillstånd av MIT News (web.mit.edu/newsoffice/), en populär webbplats som täcker nyheter om MIT-forskning, innovation och undervisning.