Enligt checklistmanifestet, New York Times bestseller av Atul Gawande, yrkesverksamma som utför mycket tekniskt arbete som kirurger, flygplan piloter, och arkitekter använder checklistor för att skydda sig mot att göra misstag som kan undvikas.

En av utmaningarna med traditionella checklistor i mer kreativa branscher, som webbdesign, är att de använder en mycket definierad uppsättning uppgifter, som kan begränsa kreativiteten, speciellt när uppgifterna ändras beroende på projekt.

Virginia Tech forskare, i samarbete med Manhattan-baserad webbdesign start B12, undrade om det skulle vara möjligt att ta Gawandes koncept och tillämpa det på ett scenario med mindre strikt definierade uppgifter som webbdesign, och tillämpa checklistor mer brett för kreativt drivna uppgifter som att skriva eller programmera.

Forskargruppen kommer att presentera sina resultat vid Association of Computing Machinery's Human-Computer Interaction Conference on Human Factors in Computing Systems i Glasgow, Skottland, den 7 maj, 2019.

Aditya Bharadwaj, en doktorsexamen kandidat vid institutionen för datavetenskap i College of Engineering och första författare på studien, samarbetade med B12 för att studera designers arbetsflödesvanor. Många av B12:s designexperter arbetar på distans, gör granskning ansikte mot ansikte till en omöjlighet.

Bharadwaj, som tidigare arbetat som mjukvaruutvecklare på Paypal, behövde först identifiera var och vad som fick designerna på B12 att förbise aspekter av sitt arbete innan de skickade det vidare för granskning av en annan teammedlem.

Teamet använde ett ramverk som heter Critter som en del av Orchestra, en öppen källkod för att hantera team av experter och maskiner. Critter gav webbdesignerna på B12 möjligheten att göra checklistorna dynamiska och antingen beskära checklistorna manuellt, eller använd checklistornas förmåga att självbeskära uppgifter.

En av de andra fördelarna med att använda Critter var dess AutoQA-funktionalitet, ett gränssnitt inbäddat i B12:s webbläsarbaserade webbredigerare. AutoQA gjorde det möjligt för designers att leta efter vanliga fel utan att ta in en granskare, förbättra webbplatsen så att deras granskare kan fokusera på de mer utmanande aspekterna av projektet.

Critter-checklistan beskär 20,4 procent av checklistorna i varje projekt och kontrollerade saker som bildupplösning och layout, och visade även feedback om tidigare projekt så att designers kunde referera till äldre projekt för efterlevnad.

"Vi såg många kvalitativa resultat som tyder på att användningen av programvaran hjälpte speciellt juniordesigners att leverera en webbplats med färre fel, " sa medförfattaren Pao Siangliulue, teknisk ledare på B12 och Bharadwajs mentor.

Tidigt i Bharadwajs forskning skuggade han designers, vilket gjorde det möjligt för honom att enkelt identifiera deras utmaningar med att följa en platt och enkel checklista. Han använde checklistor som en rubrik för att ge kontextuell feedback och förstärka vikten av checklistor som en del av designprocessen. Han såg att utvecklare hade nytta av de hierarkiskt presenterade dynamiska checklistorna, och de uppskattade kontextuell feedback.

"Designers värdesätter mänsklig feedback och Critter hjälpte mycket genom att låta granskare fokusera på de mest utmanande delarna av designarbetet efter att våra automatiserade tillvägagångssätt tog hand om lågt hängande frukt, " sa medförfattaren Adam Marcus, medgrundare och teknisk chef på B12.

Den extra flexibiliteten hos dynamiska checklistor i kombination med effektiviteten hos automatiserad kvalitetssäkring gjorde att företaget kunde skala sina ansträngningar samtidigt som kvaliteten förbättrades. Den checklistabaserade feedbacken gav samtidigt B12:s designexperter en bättre känsla för var de behövde koncentrera insatserna och fick dem att känna sig mer som en sammanhållen enhet.

"Webbdesign är det digitala utloppet för handel och kommunikation idag, så att ha förmågan att ge designers verktyg som kan vara till hjälp för dem är en stor känsla av tillfredsställelse, sa Kurt Luther, biträdande professor i datavetenskap och medförfattare på det papper som presenteras.

Medan teamets forskning huvudsakligen fokuserade på webbdesign, forskningsresultaten från deras arbete gäller andra kreativa domäner, som att skriva och programmera. Crittersystemet kan användas för att lägga till struktur till många brett definierade kreativa uppgifter samtidigt som dynamiken och olineariteten i de komplexa arbetsflöden som är kopplade till dem bibehålls.