Har du någonsin använt ditt kreditkort i en ny butik eller plats bara för att få det avvisat? Har en rea någonsin blockerats för att du debiterat ett högre belopp än vanligt?

Konsumenternas kreditkort avvisas förvånansvärt ofta i legitima transaktioner. En orsak är att bedrägeriupptäckande teknik som används av en konsuments bank felaktigt har flaggat försäljningen som misstänkt. Nu har MIT-forskare använt en ny maskininlärningsteknik för att drastiskt minska dessa falska positiva resultat, sparar bankernas pengar och minskar kundernas frustration.

Att använda maskininlärning för att upptäcka ekonomiska bedrägerier går tillbaka till början av 1990-talet och har utvecklats under åren. Forskare tränar modeller för att extrahera beteendemönster från tidigare transaktioner, kallas "funktioner, " det signalerar bedrägeri. När du sveper ditt kort, kortet pingar modellen och, om funktionerna matchar bedrägeribeteende, försäljningen blockeras.

Bakom kulisserna, dock, datavetare måste drömma om dessa egenskaper, som mest handlar om allmänna regler för belopp och plats. Om någon kund spenderar mer än, säga, $2, 000 på ett köp, eller gör många inköp på samma dag, de kan vara flaggade. Men eftersom konsumtionsvanorna varierar, även på enskilda konton, Dessa modeller är ibland felaktiga:En rapport från 2015 från Javelin Strategy and Research uppskattar att endast en av fem bedrägeriförutsägelser är korrekta och att felen kan kosta en bank 118 miljarder dollar i förlorade intäkter, som avvisade kunder avstår då från att använda det kreditkortet.

MIT-forskarna har utvecklat en "automatiserad funktionsteknik" som extraherar mer än 200 detaljerade funktioner för varje enskild transaktion - säg, om en användare var närvarande vid köp, och det genomsnittliga belopp som spenderas vissa dagar hos vissa leverantörer. Genom att göra så, det kan bättre identifiera när en specifik kortinnehavares utgiftsvanor avviker från normen.

Testad på en datauppsättning med 1,8 miljoner transaktioner från en stor bank, modellen minskade falska positiva förutsägelser med 54 procent jämfört med traditionella modeller, som forskarna uppskattar kunde ha räddat banken 190, 000 euro (cirka 220 USD, 000) i förlorade intäkter.

"Den stora utmaningen i den här branschen är falska positiva resultat, " säger Kalyan Veeramachaneni, en huvudforskare vid MIT:s Laboratory for Information and Decision Systems (LIDS) och medförfattare till en artikel som beskriver modellen, som presenterades vid den nyligen genomförda europeiska konferensen för maskininlärning. "Vi kan säga att det finns en direkt koppling mellan funktionsteknik och att [minska] falska positiva resultat. ... Det är det som har mest effekt för att förbättra noggrannheten hos dessa maskininlärningsmodeller."

Paper medförfattare är:huvudförfattare Roy Wedge, en tidigare forskare i Data to AI Lab vid LIDS; James Max Kanter '15, SM '15; och Santiago Moral Rubio och Sergio Iglesias Perez från Banco Bilbao Vizcaya Argentaria.

Extraherar "djupa" funktioner

Tre år sedan, Veeramachaneni och Kanter utvecklade Deep Feature Synthesis (DFS), en automatiserad metod som extraherar mycket detaljerade funktioner från all data, och beslutade att tillämpa den på finansiella transaktioner.

Företag kommer ibland att vara värd för tävlingar där de tillhandahåller en begränsad datauppsättning tillsammans med ett förutsägelseproblem som bedrägeri. Dataforskare utvecklar prediktionsmodeller, och ett kontantpris går till den mest exakta modellen. Forskarna deltog i en sådan tävling och fick toppbetyg med DFS.

Dock, de insåg att tillvägagångssättet kunde nå sin fulla potential om det tränades på flera rådatakällor. "Om du tittar på vilken data företag släpper, det är en liten bit av vad de faktiskt har, " säger Veeramachaneni. "Vår fråga var, "Hur tar vi det här förhållningssättet till faktiska företag?"

Med stöd av Defense Advanced Research Projects Agencys program för datadriven upptäckt av modeller, Kanter och hans team på FeatureLabs – en spinout som kommersialiserar tekniken – utvecklade ett bibliotek med öppen källkod för automatisk extrahering av funktioner, kallas Featuretools, som användes i denna forskning.

Forskarna fick en treårig datauppsättning tillhandahållen av en internationell bank, som inkluderade detaljerad information om transaktionsbeloppet, gånger, platser, leverantörstyper, och terminaler som används. Den innehöll cirka 900 miljoner transaktioner från cirka 7 miljoner individuella kort. Av dessa transaktioner, runt 122, 000 bekräftades som bedrägeri. Forskarna tränade och testade sin modell på delmängder av dessa data.

I träning, modellen letar efter transaktionsmönster och bland kort som matchar fall av bedrägeri. Den kombinerar sedan automatiskt alla olika variabler den hittar till "djupa" funktioner som ger en mycket detaljerad titt på varje transaktion. Från datamängden, DFS-modellen extraherade 237 funktioner för varje transaktion. Dessa representerar mycket anpassade variabler för kortinnehavare, säger Veeramachaneni. "Säga, på fredag, det är vanligt att en kund spenderar $5 eller $15 dollar på Starbucks, " säger han. "Den variabeln kommer att se ut som, "Hur mycket pengar spenderades på ett kafé på en fredagsmorgon?"

Det skapar sedan ett om/då-beslutsträd för det kontot av funktioner som gör och inte pekar på bedrägeri. När en ny transaktion körs genom beslutsträdet, modellen avgör i realtid om transaktionen är bedräglig eller inte.

Mot en traditionell modell som används av en bank, DFS-modellen genererade omkring 133, 000 falska positiva mot 289, 000 falska positiva, cirka 54 procent färre incidenter. Den där, tillsammans med ett mindre antal falska negativa upptäckter – faktiska bedrägerier som inte upptäcktes – skulle kunna rädda banken uppskattningsvis 190, 000 euro, bedömer forskarna.

Stapling av primitiver

Modellens ryggrad består av kreativt staplade "primitiver, " enkla funktioner som tar två ingångar och ger en utgång. Till exempel, att beräkna ett genomsnitt av två tal är en primitiv. Det kan kombineras med en primitiv som tittar på tidsstämpeln för två transaktioner för att få en genomsnittlig tid mellan transaktionerna. Att stapla en annan primitiv som beräknar avståndet mellan två adresser från dessa transaktioner ger en genomsnittlig tid mellan två köp på två specifika platser. En annan primitiv kan avgöra om köpet gjordes på en vardag eller helg, och så vidare.

"När vi väl har dessa primitiver, det finns inget som hindrar oss från att stapla dem ... och du börjar se dessa intressanta variabler som du inte tänkt på innan. Om du gräver djupt i algoritmen, primitiver är den hemliga såsen, " säger Veeramachaneni.

En viktig egenskap som modellen genererar, Veeramachaneni noterar, beräknar avståndet mellan dessa två platser och om de inträffade personligen eller på distans. Om någon som köper något på, säga, Stata Center personligen och, en halvtimme senare, köper något personligen 200 miles away, då är det stor sannolikhet för bedrägeri. Men om ett köp skedde via mobiltelefon, sannolikheten för bedrägeri minskar.

"Det finns så många funktioner du kan extrahera som kännetecknar beteenden du ser i tidigare data som relaterar till fall av bedrägeri eller icke-bedrägerianvändning, " säger Veeramachaneni.

Den här historien återpubliceras med tillstånd av MIT News (web.mit.edu/newsoffice/), en populär webbplats som täcker nyheter om MIT-forskning, innovation och undervisning.