Kurt Luther, Virginia Tech biträdande professor i datavetenskap, har utvecklat en gratis mjukvaruplattform som använder crowdsourcing för att avsevärt öka algoritmernas förmåga att identifiera ansikten i foton.

Genom mjukvaruplattformen, kallad Photo Sleuth, Luther försöker avslöja mysterierna i de nästan 4 miljoner fotografierna av bilder från inbördeskriget som kan finnas i den historiska historien.

Luther kommer att presentera sin forskning kring Photo Sleuth -plattformen den 19 mars på Association for Computing Machines Intelligent User Interfaces -konferens i Los Angeles, Kalifornien. Han kommer också att demonstrera Photo Sleuth vid den stora invigningen av det utökade amerikanska inbördeskrigsmuseet, i Richmond, Virginia, den 4 maj, 2019.

Luther, en historia buff själv, inspirerades att utveckla programvaran för Civil War Photo Sleuth 2013 medan han besökte Heinz History Centers utställning kallad "Pennsylvania's Civil War" i Pittsburgh, Pennsylvania. Där snubblade han över ett inbördeskrigsporträtt av Oliver Croxton, hans far-far-farfar som tjänstgjorde i företag E i 134:e Pennsylvania, klädd i korpralsuniform.

"Att se min avlägsna släkting stirra tillbaka på mig var som att resa genom tiden, "sa Luther." Historiska foton kan berätta mycket om inte bara vår egen familjehistoria utan också att informera tidens historiska rekord bredare än att bara läsa om händelsen i en historiebok. "

Inbördeskriget Photo Sleuth -projektet, finansieras främst av National Science Foundation, lanserades officiellt som en webbaserad plattform vid National Archives i Washington, D.C., den 1 augusti, 2018, och tillåter användare att ladda upp foton, märka dem med visuella signaler, och koppla dem till profiler av inbördeskrigssoldater med detaljerade register över militärhistoria. Photo Sleuths ursprungliga referensdatabas innehöll mer än 15, 000 identifierade inbördeskrigssoldatporträtt från offentliga källor som U.S.Military History Institute och andra privata samlingar.

Innan projektets officiella lansering i augusti, mjukvaruplattformen vann $ 25, 000 Microsoft Cloud AI Research Challenge och priset för bästa demo på konferensen Human Computation and Crowdsourcing 2018 i Zürich, Schweiz, för Luther och hans team, som inkluderar akademiska och historiska medarbetare, Virginia Center for Civil War Studies, och Military Images magazine.

Enligt Luther, nyckeln till sajtens framgång efter lanseringen har varit förmågan att bygga upp en stark användargrupp. Mer än 600 användare bidrog med mer än 2, 000 bilder från inbördeskriget till webbplatsen under den första månaden efter lanseringen, och ungefär hälften av dessa foton var oidentifierade. Över 100 av dessa okända foton var kopplade till specifika soldater, och en expertanalys visade att över 85 procent av dessa föreslagna identifikationer var sannolikt eller definitivt korrekta. Nuvarande, databasen har vuxit till över 4, 000 registrerade användare och mer än 8, 000 foton.

"Vanligtvis, folkmassor som denna är utmanande för nybörjare om användare inte har specifik kunskap om ämnesområdet, "sa Luther." Steg-för-steg-processen med att märka visuella ledtrådar och tillämpa sökfilter kopplade till militärtjänstposter gör detta detektivarbete mer tillgängligt, även för dem som kanske inte har en djupare kunskap om inbördeskrigets militära historia. "

Personidentifieringsuppgifter kan vara utmanande i större kandidatpooler eftersom det finns en större risk för falska positiva. Det nya tillvägagångssättet bakom inbördeskriget Photo Sleuth bygger på analogin att hitta en nål i en höstack. Datapipelinen har tre höstackrelaterade komponenter:bygga höstacken, smalnar ner höstacken, och hitta nålen i höstacken. I kombination, de tillåter användare att identifiera okända soldater samtidigt som de minskar risken för falska positiva.

Att bygga höstacken görs genom att stimulera användare att ladda upp skannade bilder av inbördeskrigets foton på framsidan och baksidan. Varje gång en användare laddar upp ett foto för att identifiera det, fotot läggs till i webbplatsens digitala arkiv eller "höstack, "gör det tillgängligt för framtida sökningar.

Efter uppladdningen, användartaggarnas metadata relaterade till fotot, till exempel fotoformat eller inskriptioner, liksom visuella ledtrådar, som pälsfärg, chevrons, axelremmar, krage insignier, och hattinsignier. Dessa taggar är länkade till sökfilter för att prioritera de mest troliga matchningarna. Till exempel, en soldat märkt med "jakthorn" hattinsignier skulle föreslå potentiella matcher som tjänstgjorde i infanteriet, medan han döljer resultat från kavalleriet eller artilleriet. Nästa, sajten använder toppmodern teknik för ansiktsigenkänning för att eliminera mycket olika ansikten och sortera de återstående efter likhet. Både steg för märkning och ansiktsigenkänning begränsar höstacken.

Till sist, användare hittar nålen i höstacken genom att utforska de mest sannolika matcherna mer i detalj. Ett jämförelseverktyg med panorering och zoomkontroller hjälper användarna noggrant att inspektera en möjlig matchning och, om de bestämmer att det är en match, länka det tidigare okända fotot till dess nya identitet och biografiska detaljer.

De militära register som används av filtren kommer från otaliga offentliga källor, inklusive National Park Service Soldiers and Sailors Database.

Återställa historiska inbördeskrigsfoton genom programvara för ansiktsigenkänning som Photo Sleuth har breda tillämpningar som inte går att identifiera historiska foton, för. Programvaran har potential att skapa nya sätt att tänka på att bygga personidentifieringssystem som ser bortom ansiktsigenkänning och utnyttjar de komplementära styrkorna för både mänsklig och artificiell intelligens.