Student Liu Luolin från Xi'an Institute of Optics and Precision Mechanics (XIOPM) vid den kinesiska vetenskapsakademin (CAS) har föreslagit en tvåströms end-to-end-modell med namnet TSFNet för sammansmältning av termisk och synlig bild. Resultaten publicerades i Neurocomputering.

TSFNet, använda två grenar för funktionsinlärning, skiljer sig ganska mycket från tidigare tvåströmsmetoder, och det kan helt fånga informationen från båda källorna.

Värmebilder är okänsliga för ljusstyrka och kan särskilja föremål och bakgrund genom att differentiera värmestrålning. Synliga bilder kan förstå människans syn mer intuitivt och ha en högre upplösning. Därför, man kan dra slutsatsen att sammansmältningen av de två kan ge en ny bild med tydliga objekt och hög upplösning för övervakning i alla väder och hela dagen/natten.

I den här studien, för att modellen ska kunna behålla den detaljerade informationen om källbilden autonomt under sammansmältningen, LIU och hans teammedlemmar antog en adaptiv viktallokeringsstrategi för att vägleda val av funktioner. Hela ramverket demonterades i tre moduler, särdragsextraktion, fusion, och återuppbyggnad.

Enligt experimentens resultat, TSFNet överträffar state-of-the-art metoder under olika utvärderingsmått. I framtiden, det kommer att ge en guide för att utforma ett nytt nätverk av bildsammanslagning.