Forskare från Northwestern University och Facebook publicerade i mars ny forskning i tidskriften INFORMS Marknadsvetenskap som belyser huruvida vanliga metoder för mätning av onlineannonsering är lika tillförlitliga och korrekta som "guldstandarden" för storskalighet, randomiserade experiment.
Studien kommer att publiceras i marsupplagan av tidskriften INFORMS Marknadsvetenskap har titeln "A Comparison of Approaches to Advertising Measurement:Evidence from Big Field Experiments at Facebook, " och är författad av Brett Gordon från Northwestern University; Florian Zetttelmeyer från Northwestern University och National Bureau of Economic Research; och Neha Bhargava och Dan Chapsky från Facebook.
"Våra resultat tyder på att vanliga observationsmetoder som bygger på data som vanligtvis är tillgängliga för annonsörer ofta misslyckas med att korrekt mäta den verkliga effekten av annonsering, sa Brett Gordon.
Observationsmetoder är de som omfattar en bred klass av statistiska modeller som förlitar sig på data "som de är, " genererad utan explicit manipulation genom ett randomiserat experiment.
"Vi fann en signifikant skillnad i annonseffektiviteten från randomiserade kontrollstudier och de observationsmetoder som ofta används av annonsörer för att utvärdera sina kampanjer, " tillade Zettelmeyer. "Allmänhet, de nuvarande och vanligare metoderna överskattar annonsens effektivitet i förhållande till vad vi hittade i våra randomiserade tester. Även om i vissa fall, de underskattar effektiviteten avsevärt."
Att mäta effektiviteten av reklam är fortfarande ett viktigt problem för många företag. En nyckelfråga är om en reklamkampanj gav inkrementella resultat:köpte fler konsumenter för att de såg en annons, eller skulle många av dessa konsumenter ha köpt även i avsaknad av annonsen? Att få ett korrekt mått på inkrementella resultat ("konverteringar") hjälper en annonsör att beräkna avkastningen på investeringen (ROI) för kampanjen.
"Digitala plattformar som bär reklam, som Facebook, har skapat omfattande sätt att bedöma annonsens effektivitet, använda detaljerad data som länkar annonsexponeringar, klick, sidbesök, onlineköp och till och med offlineköp, sade Gordon. Ändå, även med dessa uppgifter, att mäta orsakseffekten av reklam kräver en lämplig experimentplattform."
Studieförfattarna använde data från 15 amerikanska reklamexperiment på Facebook som omfattar 500 miljoner observationer av användarexperiment och 1,6 miljarder annonsvisningar.
Facebooks experimentplattform för "konverteringslyft" ger annonsörer möjlighet att köra randomiserade kontrollerade experiment för att mäta orsakseffekten av en annonskampanj på konsumentresultat.
Dessa experiment fördelar slumpmässigt användare till en kontrollgrupp, som aldrig exponeras för annonsen, och till en testgrupp, som är berättigade att se annonsen. Att jämföra resultat mellan grupperna ger annonsens orsakseffekt eftersom randomisering säkerställer att de två grupperna i genomsnitt, motsvarande utom för reklamexponeringar i testgruppen. De experimentella resultaten från varje annonskampanj fungerade som en baslinje för att utvärdera vanliga observationsmetoder.
Observationsmetoder jämför resultat mellan användare som exponerades för annonsen med användare som var oexponerade. Dessa två grupper av användare tenderar att skilja sig systematiskt på många sätt, som ålder och kön. Dessa skillnader i egenskaper kan vara observerbara eftersom annonsören (eller dess reklamplattform) ofta har tillgång till data om dessa egenskaper och andra, t.ex., förutom att känna till kön och ålder på en onlineanvändare, det är möjligt att observera vilken typ av enhet som används, var användaren befinner sig, hur länge det har gått sedan användaren senast besökte, etc. Emellertid, det knepiga är att de exponerade och oexponerade grupperna också kan skilja sig åt på sätt som är mycket svåra att mäta, till exempel användarnas underliggande affinitet för varumärket. Att säga att annonsen "orsakade" en effekt kräver att forskningen kan redogöra för både observerade och oobserverade skillnader mellan de två grupperna. Observationsmetoder använder data om användarnas egenskaper som observeras i försök att justera för både observerbara och oobserverbara skillnader.
"Vi försökte avgöra om som man brukar tro, nuvarande observationsmetoder som använder omfattande data på individnivå är "tillräckligt bra" för annonsmätning, ", sa Zettelmeyer. "Vad vi fann var att även ganska omfattande data visar sig vara otillräckliga för att ge tillförlitliga uppskattningar av reklameffekter."
"I princip, vi anser att användning av storskaliga randomiserade kontrollerade prövningar för att utvärdera annonseringseffektivitet bör vara den metod att föredra för annonsörer när det är möjligt."
