Utvärdera användbarheten av programvara med öppen källkod (OSS), programvara som görs fritt tillgänglig för utvecklare över hela världen, innebär i allmänhet att man analyserar feedback och kommentarer från dem som använde den. Bearbeta och förstå feedbacken som ges i användardiskussioner, dock, kan vara utmanande på grund av det stora antalet kommentarer online, och för att de ofta presenterar motsatta åsikter.

Medveten om dessa svårigheter, forskare vid McGill University, University of Bari och Polytechnique Montreal har nyligen utvecklat ArguLens, ett teoretiskt ramverk och automatiserad teknik för att förenkla analysen av samhällsdiskussioner relaterade till användbarheten av OSS. Deras senaste tidning, förpublicerad på arXiv, är en del av en bredare pågående forskningssatsning som syftar till att hjälpa utvecklare av projekt med öppen källkod att förbättra användbarheten av sin programvara.

"Att förstå logiken bakom gemenskapsförfrågningar och ytterligare utvärdera deras inverkan på slutanvändarna kan vara mycket svårt, speciellt när samhällets åsikter är i konflikt med varandra, " sa forskarna till TechXplore, via e-post. "Huvudsyftet med vår studie var att hjälpa bidragsgivare med öppen källkod att smälta och utvärdera samhällets åsikter om användbarheten av deras projekt."

Innan de började arbeta på ArguLens, forskarna hade långa diskussioner med bidragsgivare med öppen källkod för att bättre förstå vad de tyckte var mest utmanande med att förstå feedback de fick från samhället. De fann att de flesta utvecklare upplevde enorma svårigheter med att smälta och införliva kommentarer från communityn, inklusive förslag och förfrågningar från problemspårningssystem.

Detta berodde på den stora mängd feedback de samlade in, samt till att användarna ofta uttryckte olika och något motsatta perspektiv. Kombinerad, dessa två faktorer gjorde ofta bearbetning och smältning av användbarhetsrelaterad feedback utmanande.

Forskarna skapade ArguLens med huvudmålet att hjälpa OSS-utvecklare att förstå den rika och varierande feedback de samlat in online. ArguLens inkluderar både ett konceptuellt ramverk och en automatiserad teknik för analys av onlinekommentarer.

"Som en konceptuell ram, den anpassar en argumentationsmodell som föreslagits av Stephen Toulmin för att strukturera de användbarhetsrelaterade diskussionerna i tre huvudelement:Claim, Jord, och bemyndigande, ", förklarade forskarna. "Detta är vad vi kallar "anatomin" av samhällsåsikter. Som en automatiserad teknik, det föreslår naturliga språkbehandlingsmetoder för att upptäcka dessa element från användbarhetsrelaterade diskussioner i fri form."

Utvecklare och andra gemenskapsmedlemmar kan använda ArguLens för att särskilja och syntetisera konkreta förfrågningar från gemenskapsmedlemmar (infångade inom kategorin "Anspråk"). såväl som fakta om deras system som samhället bryr sig om (fångat inom kategorin 'mark') och personliga åsikter om varför individuella fakta är särskilt viktiga för användarna (fångade inom kategorin "Warrant"). ramverket kan därmed användas för ställningsdiskussioner och för att analysera OSS-användbarhetsfrågor.

Som en del av deras forskning, teamet utvärderade och konstaterade ArguLens skalbarhet med hjälp av övervakade maskininlärningstekniker för automatisk argumentextraktion. De bad också erfarna utvecklare att använda ArguLens och ge feedback om huruvida det hjälpte dem att förstå communityns kommentarer. Feedbacken de fick var mycket lovande, eftersom majoriteten av användarna sa att ramverket hjälpte dem att bättre smälta och granska användbarhetsrelaterade åsikter.

"En direkt tillämpning av ArguLens ramverk skulle kunna vara i verktyg för problemspårningssystem med öppen källkod för att tillhandahålla ett effektivt gränssnitt till gemenskapens diskussioner om användbarhetsfrågor, ", sa forskarna. "När väl antagits, detta ramverk kan inducera en banbrytande förändring i hur människor överväger användbarhetsproblem med öppen källkod, uppmuntra konstruktiv diskussion om dessa frågor och så småningom hjälpa till att förbättra användbarheten med öppen källkod."

Ramverket kan snart hjälpa OSS-utvecklare över hela världen att förstå kontrasterande åsikter om användbarheten av deras projekt. Intressant, dock, det kan också tillämpas på andra aspekter av programvara som kan förbättras baserat på användarfeedback, som integritet eller säkerhet. Teamet planerar nu att förbättra ramverket ytterligare, med fokus på två nya forskningsriktningar.

"Först, vi undersöker verktygsdesigner som effektivt kan presentera informationen som fångas upp av ArguLens ramverk, ", sa forskarna. "Detta kommer inte bara att hjälpa oss att bättre förstå effektiviteten av detta ramverk i naturen (i verkliga miljöer) utan det kan också resultera i konkreta tillämpningar som direkt gynnar gemenskaperna med öppen källkod. Andra, vi fokuserar på mänskliga-i-slingan-metoder för att mildra den ofullkomliga klassificeringen av automatiserade tekniker, för att ytterligare säkerställa skalbarheten och användbarheten av detta ramverk."

© 2020 Science X Network