Clustering adverts with support of deep neural networks

V oglaševalski industriji je razumevanje različnih parametrov oglaševalskih kampanj ključnega pomena za optimizacijo delovnega procesa. Eden izmed ključnih parametrov je število uporabljenih glavnih dizajnov za pripravo slikovnih oglasov, na podlagi katerega lahko sklepamo o kompleksnosti kampanje. Oglasi, ki pripadajo istemu glavnemu dizajnu, pogosto vsebujejo podobne tipografije besedila in grafične elemente, včasih pa tudi kompozicije. V eksperimentalnem delu diplomskega dela za namen napovedovanja števila uporabljenih glavnih dizajnov v množicah slikovnih oglasov razvijemo dva napovedna modela. Oba temeljita na konvolucijskih nevronskih mrežah za pridobitev značilk iz slik in na algoritmih za gručenje podatkov. Razlikujeta se predvsem po načinu določanja podobnosti med posameznimi oglasi. Oba razvita napovedna modela dosežeta boljše rezultate od izhodiščnega pristopa, ki na podlagi porazdelitve podatkov naključno napove število glavnih dizajnov. Napovedna modela na vzorcu 50 kampanj dosežeta 5,2% oz. 1,2% izboljšavo v klasifikacijski točnosti. Drugi napovedni model, ki temelji na podobnosti regij med oglasi, dosega kvalitativno boljše rezultate od prvega, ki temelji na enostavnih primerjavah značilk celotnih oglasov.In the advertising industry the understanding of different advertising campaigns\u27 parameters is key for workflow optimization. One of these parameters is the number of master designs used to prepare image based adverts, which is a crucial for determining the complexity of a campaign. Adverts which originate from the same master design typically use similar typographies, graphical elements and compositions. In the experimental part of this thesis, we develop two predictive pipelines for the task of predicting the number of master designs in sets of image based adverts. Both pipelines use convolutional neural networks for feature extraction and clustering algorithms. The main difference between the two is in the way that the similarity between individual adverts is computed. Both developed models achieve better results than our baseline approach which, based on the distribution of data, randomly predicts the number of master designs. Our predictive models achieve a 5.2% and 1.2% classification accuracy improvement respectively over the baseline when tested on a sample of 50 campaigns. Our second model, which is based on the similarity of regions between adverts, achieves qualitatively better results than our first model, which is based on simple comparisons of the adverts\u27 features

Robustni kratkoročni sledilnik s ponovno detekcijo

State-of-the-art long-term visual object tracking methods are limited to predicting target position as an axis-aligned bounding box. Segmentation-based trackers exist, however they do not address long-term disappearances of the target. Thus, by upgrading a short-term segmentation-based tracker with the capability of redetecting a lost target, we develop a new discriminative single shot segmentation tracker -- D3SLT, which is capable of long-term tracking in addition to recovering from short-term tracking failures.We upgrade the previously developed short-term D3S tracker with a global redetection module, based on an image-wide discriminative correlation filter response and Gaussian motion model. An online learned confidence estimation module robustly estimates target disappearance. An additional backtracking module enables recovery from tracking failures and further improves tracking performance. On the bounding box based VOT-LT2021 Challenge, D3SLT achieves F-score of 0.667, while on LaSOT it achieves success of 0.616 and normalized precision of 0.692. D3SLT achieves results close to those of state-of-the-art long-term trackers while additionally outputting segmentation masks.Najsodobnejši dolgoročni sledilniki so omejeni na napovedovanje položaja tarče z očrtanim pravokotnikom, poravnanim z osmi. Sledilniki, ki temeljijo na segmentaciji obstajajo, a ne naslavljajo dolgoročnih izginotij tarče. Z nadgradnjo kratkoročnega segmentacijskega sledilnika s sposobnostjo ponovne detekcije izgubljene tarče zato razvijemo nov segmentacijski sledilnik D3SLT, ki je poleg okrevanja od kratkoročnih odpovedi sledenja zmožen tudi dolgoročnega sledenja. Predhodno razvit kratkoročni sledilnik D3S nadgradimo z modulom ponovne detekcije, ki deluje na podlagi odziva diskriminativnega korelacijskega filtra nad celotno sliko in Gaussovega gibalnega modela. Za namene robustne napovedi prisotnosti tarče uporabimo modul za oceno zaupanja, ki temelji na sprotnem učenju. Dodaten modul za vzvratno sledenje omogoča okrevanje od odpovedi sledenja in dodatno izboljša uspešnost sledilnika. Na evalvacijski zbirki VOT-LT2021, ki temelji na očrtanih okvirjih, doseže D3SLT F-vrednost 0,667, na zbirki LaSOT pa uspeh 0,616 in normalizirano natančnost 0,692. D3SLT tako dosega rezultate, ki so blizu rezultatom nekaterih najsodobnejših sledilnikov in hkrati generira natančne segmentacijske maske tarč