Visuella blandningar, som förenar två objekt i en ovanlig, iögonfallande sätt, är en avancerad grafisk designteknik som används i reklam, marknadsföring, och media för att uppmärksamma ett specifikt budskap. Dessa visuella äktenskap är utformade för att utlösa en "aha!" ögonblick i betraktaren som fattar en idé från föreningen av två bilder. Till exempel, att blanda en bild av en apelsin med en bild av solen kan förmedla en dryck med vitamin C.

Medan professionella grafiska formgivare är skickliga på att göra visuella blandningar, de flesta människor är inte lika skickliga på att konstruera dessa fantasifulla bilder. För att hjälpa icke-proffs att skapa visuella blandningar för sina nyheter och PSA:er, datavetare vid Columbia Engineering har utvecklat VisiBlends, en flexibel, användarvänlig plattform som förvandlar den kreativa brainstormningsaktiviteten till en sökfunktion, och möjliggör en statistiskt högre produktion av visuellt blandade bilder. VisiBlends -plattformen kombinerar en serie mänskliga steg eller "mikrotaskar" med AI och beräkningsteknik. Crowd-sourcing är en nyckelkomponent i systemet som gör det möjligt för grupper av människor att samarbeta, antingen tillsammans eller utanför platsen.

"För den genomsnittliga personen, det verkar som om en visuell blandning kräver kreativ inspiration - en aha! ögonblick - och att det inte finns någon exakt formel för att göra en, "säger Lydia Chilton, biträdande professor i datavetenskap, som ledde laget och presenterade tidningen idag i Glasgow, STORBRITANNIEN, vid ACM CHI -konferensen 2019 om mänskliga faktorer i datorsystem, den främsta internationella konferensen om människa-datorinteraktion. "Vi ville dekonstruera processen för att bygga visuella blandningar och se om det fanns ett sätt att göra det mer tillgängligt för människor genom att koppla det mänskliga elementet med beräkningsmetoder."

Effektiva visuella blandningar är svåra att göra eftersom de måste uppfylla två motsatta mål:att kombinera två objekt till ett samtidigt som det säkerställs att båda objekten fortfarande är igenkännliga. Chilton noterade att medan det inte finns någon uppenbar ytnivåstruktur för visuella blandningar, många har en gemensam abstrakt struktur, de kombinerar två föremål med en liknande form. Efter att ha analyserat hundratals blandningar, teamet bestämde sig för ett tillvägagångssätt baserat på principer för mänskligt visuellt objektigenkänning. Människor använder många olika visuella funktioner i olika stadier för att känna igen ett objekt, inklusive objektets enkla 3D-form, silhuett, djup, Färg, och detaljer.

Form är den viktigaste funktionen som människor använder för att känna igen ett objekt; i andra hand kommer de att använda färg eller detaljer. Genom att kombinera objekt baserade på delad form, sedan blanda deras färger eller detaljer, man kan skicka människors visuella system motstridiga meddelanden om vad objektet är. De motstridiga budskapen är det som får tittarna att titta på objektet för att ta reda på vad det är.

VisiBlends -processen börjar med att användare hittar två viktiga begrepp från budskapet som de vill associera i blandningen. Till exempel, för reklamkonceptet som parar McDonald's och "friska, "användarna kan välja ett äpple och en hamburgare som de två begreppen att blanda. För rubriken" Fotboll farligt för ungdomsutveckling, "användare kan välja" fotboll "och" farligt "som de två begreppen som ska blandas. Begreppen måste vara tillräckligt breda så att det finns tillräckligt med variation i symbolerna för att hitta matchningar, varom icke, användarna kan behöva brainstorma för att bredda begreppen.

Efter brainstorming av associationer till konceptet, användare måste hitta bilder av objekt som visuellt representerar konceptet på ett enkelt sätt, ikoniska sätt, och måste sedan kommentera bilder för deras form och täckning. När användarna har en samling annoterade bilder för båda begreppen, datorer används för att automatiskt matcha bilder och syntetisera dem till blandningar baserat på designmönstret.

Efter att blandningarna har syntetiserats, användare kan utvärdera resultaten. Om det inte finns några lyckade blandningar, processen måste upprepas för att åter fokusera brainstormingen för att hitta fler symboler. Även om denna iterativa designprocess ofta ger nya begränsningar, flexibiliteten i arbetsflödet gör att användarna enkelt kan anpassa sig genom att flytta mellan uppgifterna och se sina medarbetares arbete.

Chilton och hennes team, som inkluderade hennes doktorsexamen studenten Savvas Petridis och Maneesh Agrawala, Forest Baskett professor i datavetenskap och chef för Brown Institute for Media Innovation vid Stanford University, undrade om det skulle hjälpa nybörjare att göra bättre visuella blandningar. För att testa detta, de körde en kontrollerad studie för att jämföra hur många framgångsrika blandningar nybörjare kan göra med och utan VisiBlends.

I studien, VisiBlends producerade 10 gånger så många kreativa resultat som ostyrda brainstorming -sessioner. Användare av VisiBlends hade 96% framgång, till skillnad från 21% utan att använda systemet. Forskarna fann också att systemet gjorde det enkelt för grupper som ligger på olika platser att generera samverkansblandningar i oberoende mikrotaskor och för grupper i ett område att arbeta tillsammans på blandade bilder.

"Det var riktigt spännande, "Chilton säger, "för att se att användningen av vårt VisiBlends -verktyg dramatiskt ökade antalet framgångsrika visuella blandningar."

VisiBlends tar den allmänna designprocessen och skräddarsyr den till ett specifikt problem, baserat på ett designmönster. "Men designprocessen och tanken på designmönster är mycket bred", Chilton observerar. "Vi arbetar nu med att skapa flexibla arbetsflöden för andra problem genom att förstå vilka komponenter som ligger till grund för lösningen och vilket abstrakt designmönster som bäst kan beskriva hur dessa komponenter passar ihop. Till exempel, många kreativa uppgifter har mönster - berättelser har plott som hjältens resa, musik har ackordprogressioner, matematiska bevis har bevistekniker, programvara har designmönster, och även akademiska uppsatser har en abstrakt struktur som rådgivare vidarebefordrar till studenter. "

Det fanns inget existerande designmönster för visuella blandningar, så laget fick urskilja mönstret genom att titta på exempel och testa teorier. De upptäckte att att hitta designmönster, de behövde ignorera detaljer på ytnivå och fokusera på de element som är mer grundläggande för mänsklig kognition. "För visuella blandningar, formen var viktig för en blandning, "Tillägger Chilton." För en domän som övertygande skrift, psykologiska principer för känslomässiga tillstånd kan vara nyckelelementen i ett designmönster. "

Chilton utforskar nu hur hon kan utvidga sin inställning till andra kreativa designproblem, utforska hur hennes team kan hitta kopplingar mellan två forskningsområden och blanda dem till ett för att åstadkomma nya resultat och påskynda tvärvetenskaplig forskning. Chilton konstaterar att många överraskande resultat vetenskapliga resultat i historien har kommit från att ta en experimentell teknik inom ett område, som fysik, och tillämpa det på ett annat område, som datavetenskap, vilket är en del av hur djup inlärning kom till.

"Effekterna av blandningsfält kan vara enorma, men än så länge, de händer mest av en slump, "säger hon." Vi kan göra vetenskapligt utbyte och upptäckt mer systematiskt och påskynda upptäcktstakten. "