David Crandall är docent vid School of Informatics, Computing and Engineering vid Indiana University Bloomington. Han, Sara Skrabalak och Martin Swany är de första IU-forskarna vars arbete förs vidare genom Indiana Innovation Institute, eller IN3.

IN3, ett statligt tillämpad forskningsinstitut, består av toppledare från akademin, regering och industri. Det strävar efter att lösa verkliga problem som påverkar industrin och det amerikanska försvarsdepartementet på ett snabbare, mer effektivt och kostnadseffektivt sätt. För närvarande, det är engagerat i projekt fokuserade på pålitlig mikroelektronik, hypersonic, elektrooptik och målmaskininlärning.

Crandall var vänlig nog att svara på frågor om sitt arbete med datorseende och maskininlärning och om fördelarna med att ansluta till IN3.

F:Berätta för oss om ditt arbete med pålitlig mikroelektronik.

David Crandall:Vår roll i det här projektet är att använda datorseende och maskininlärningstekniker för att säkerställa integriteten hos försörjningskedjan kring mikroelektronik. Ett sätt är att använda datorseende för att inspektera integrerade kretsar för att se om det finns något misstänkt som kan tyda på att de är skadade eller förfalskade.

Målet med datorseende är att datorer ska kunna förstå den visuella världen på det sätt som människor gör. Datorer har kunnat ta och lagra bilder i årtionden, men de har inte kunnat veta vad som finns på ett foto – vilka föremål och människor som finns på det, vad händer, och vad som är på väg att hända. Människor gör detta automatiskt, nästan omedelbart, och vi tycker ingenting om det. Det är verkligen svårt för en dator. Men datorseendet förändrar det, och området har gjort enorma framsteg under de senaste åren.

Utmaningen med datorseendearbetet vi gör med IN3 – och med många verkliga problem – är att det kräver mycket finkornig analys. Vi försöker inte skilja katter från hundar eller bilar från fotgängare; vi försöker hitta mycket subtila skillnader i integrerade kretsar som kan signalera ett problem. Det är verkligen utmaningen:att ta med tekniker som har varit framgångsrika under de senaste åren inom konsumentfotografering till detta nya område som har unika utmaningar.

F:Varför är det viktigt att övervaka integrerade kretsar?

DC:Integrerade kretsar utgör grunden för alla enheter vi använder dagligen, från mobiltelefoner till kritisk nationell infrastruktur. Det är verkligen viktigt att kretsarna i dessa enheter är pålitliga, att de gör vad de säger och att de är byggda efter de specifikationer som vi behöver att de ska byggas efter.

Elektroniska enheter och integrerade kretsar tillverkas i fabriker över hela världen. De korsar en komplicerad försörjningskedja för att ta sig mellan var de tillverkas och var de placeras i enheter. Mycket kan gå fel i den processen. Integrerade kretsar kan bytas ut eller bytas ut av olika anledningar - människor som vill tjäna lite på att ersätta en billigare enhet mot en som är dyrare, eller av mer otrevliga skäl som att hacka. Vi vill säkerställa integriteten hos de integrerade kretsarna så att enheterna som byggs av dem gör vad de ska göra.

Problemet är verkligen viktigt. Det moderna samhället är beroende av det säkra, säkra, pålitlig drift av digitala enheter. Om de inte kan lita på, som sliter isär mycket av det som vårt samhälle bygger på. Vi – forskare i delstaten Indiana – är i en unik position att attackera detta problem på grund av Purdues expertis inom mikroelektronik; Naval Surface Warfare Center Cranes kapacitet; och IU:s expertis inom kemi, maskininlärning och ingenjörskonst. Vi är på rätt plats vid rätt tidpunkt för att ha en verklig inverkan på detta problem.

F:Hur övervakar du integrerade kretsar? Vilka utmaningar finns?

DC:Jag förstår att nuvarande metoder för att upptäcka förfalskade enheter antingen är begränsade i sin noggrannhet eller måste göras för hand, vilket är dyrt och tidskrävande. Om vi ​​kan skapa nya automatiserade tekniker som kan komplettera eller förbättra dessa metoder, vi kan potentiellt säkerställa att fler enheter inspekteras.

Det finns många möjliga tillvägagångssätt. En är att använda datorseende för att inspektera ytan på ett paket av en integrerad krets, kontrollera artikelnumret och leta efter misstänkta visuella egenskaper som kan tyda på att den har ändrats. Ett annat tillvägagångssätt använder Sara Skrabalaks arbete med att lägga till okloningsbara fingeravtryck till integrerade kretspaket och använda datorseendetekniker för att verifiera att de är äkta. Vi kan också inspektera de interna kretsarna i den integrerade kretsen med hjälp av olika avbildningstekniker.

F:Hur har dina kontakter med IN3 gynnat ditt arbete?

DC:En spännande vision av IN3 är att sammanföra grupper av människor som arbetar inom olika områden, som annars kanske inte hade tänkt att samarbeta med varandra, för att gemensamt lösa stora problem som ingen av oss kunde ta itu med var för sig. Det är inte bara att sammanföra grupper på IU, men också skapa starkare kopplingar mellan IU och Purdue, Notre Dame och NSWC Crane.

Jag arbetar med datorseende och artificiell intelligens. Vi letar efter sätt att tillämpa dessa tekniker på nya, Viktig, spännande problem. När vi tillämpar dem, vi upptäcker nya tekniska utmaningar, vilket leder oss att gå tillbaka till ritbordet för att skapa nya, bättre algoritmer. Jag har ingen djup expertis inom mikroelektronik, så jag skulle inte kunna påverka detta område ensam. Att samarbeta med experter via IN3 kommer att vara sättet vi påverkar deras område och tar tillbaka viktiga, intressanta problem för oss att arbeta med också.

F:Vad kan vissa slutresultat bli när tekniken är allmänt antagen?

DC:Slutmålet är att hjälpa till att transformera mikroelektroniksäkerhet så att vi kan lita mer på de enheter vi är beroende av, från röstmaskiner till mobiltelefoner till bärbara datorer till kritisk infrastruktur över hela landet. Det fanns en ny berättelse i Bloomberg om kritisk hårdvara som kanske hade blivit hackad. Oavsett om den historien var sann eller inte, motivationen bakom vårt projekt är att se till att något sådant inte händer i framtiden.