Eden glavnih ciljev projekta je bil razviti učinkovito inkrementalno metodo za gradnjo predstavitev predmetov. V tem prispevku smo razvito metodo aplicirali na problemu kategorizacije prostorov. Predstavili smo nov pristop, ki temelji na 2D laserskih globinskih meritvah. Metoda temelji na novem prostorskem modelu, sestavljenem iz srednje-nivojskih delov, ki so zgrajeni s pomočjo nizko-nivojske predstavitev z deli. Metoda zlijemo z vizualno informacijo za kategorizacijo prostorov, ki prav tako temelji na srednje-nivojskih vizualnih delih prostora. Poleg tega predlagamo novo diskriminacijsko metodo učenja, ki se uporablja za izbor delnih slovarjev tako v laserski kot v vizualni modalnosti. Na koncu poročamo primerjalno analizo pristopov, ki temeljijo na laserskem pristopu, pristopu z vizualno informacijo, in pristopih, ki kombinirajo lasersko in vidno informacijo v enovitem okvirju. Metode analiziramo na veliki podatkovni zbirki s številnimi kategorijami notranjih prostorov.
COBISS.SI-ID: 1537424323
V tem prispevku smo povzeli delo, ki smo ga začeli pred tem projektom, zaključili pa smo ga v okviru tega projekta. Cilj dela je bil razviti inteligentnega robota, ki se bo v naravnem dialogu s človekom sposoben učiti predstavitev predmetov in njihovih lastnosti. Predstavili smo predstavitve in mehanizme, ki omogočajo kontinuirano učenje vizualnih konceptov v dialogu s človekom ter predstavili in ovrednotili implementirani robotski sistem. Pokazali smo kako se s procesiranjem vizualne in lingvistične informacije ustvarjajo prepričanja o svetu, ki obkroža sistem, in kako se ta prepričanja uporabljajo za načrtovanje prihodnega obnašanja sistema z namenom zadovoljitve notranjega nagona po neprestanem nadgrajevanju znanja. Sistem omogoča različne načine učenja, ki je lahko sproženo s strani človeka ali s strani sistema samega. Te principe smo demonstrirali in eksperimentalno ovrednotili na primeru sistema za učenje vizualnih lastnosti predmetov.
COBISS.SI-ID: 1536908227
V tem članku smo naslovili problem prekomerne delitve značilnic in pomanjkanja diskriminacije v hierarhičnih kompozicionalnih modelih. Predlagali smo izboljšave, ki uporabljajo diskriminativne značilnice prisotne v obstoječih drevesih hierarhičnega modela. Izgradili smo nov diskriminativni opisnik tvorjen iz knjižnice delov, ki se uporabi na najvišji plasti hierarhije za verifikacijo generativno zgeneriranih hipotez področij objektov na sliki. Naš pristop je bil evalviran na različnih nalogah prepoznavanja in detektiranja vizualnih objektov. Demonstrirali smo tudi primerjavo s konvolucijskimi nevronskimi mrežami in pokazali izboljšano delovanje ob delno zakritih objektih. Rezultati te raziskave bili demonstrirani predvsem na splošnih problemih prepoznavanja in detektiranja vizualnih objektov, ter so služili tudi za osnovo za vse nadaljnje rezultate v okviru razvoja kompozicionalnih hierarhij in globokih mrež.
COBISS.SI-ID: 1536363971
Predlagali smo novo formulacijo konstelacijskega modela s korelacijskimi filtri, ki povzema geometrijske in vizualne omejitve v eni sami konveksni kriterijski funkciji za katero izpeljemo učinkovito optimizacijo polno povezane konstelacije. Sledilnik obravnava tarčo na dveh nivojih podrobnosti. Naloga grobe predstavitve je približna lokalizacija objekta, srednje-nivojska predstavitev pa uporablja deformabilni model za natančno lokalizacijo. Deformacijski model omogoča prilagajanje izgleda na tarče, ki spreminjajo aspekt ali se delno zakrivajo. Sledilnik podrobno analiziramo na glavnih podatkovnih zbirkah OTB, VOT2014 in VOT2015 kjer izkazuje odlično delovanje v realnem času. Sledilnik smo uporabili za zagotavljanje časovnega konteksta za izboljšanje detekcije predmetov oz. prometnih znakov. Razvili smo tri-nivojsko metodo, ki v prvi fazi detektira prometne znake z metodo Faster R-CNN, nato z razvitim sledilnikom detekcije sledi ter povezuje posamezne detekcije med seboj in jih potem v tretjem koraku verificira in združi v končne detekcije. Na ta način smo izboljšali rezultate detekcije, rezultate pa objavili v članku [12]. Prvi avtor članka se je še kot študent pridružil delu na projektu in se razvil v izredno obetajočega raziskovalca; že v drugem letniku doktorskega študija ima sprejeti dve objavi v reviji s faktorjem vpliva večjim od 7 in druge odlične publikacije.
COBISS.SI-ID: 1537625283
V članku smo identificirali pomanjkanje eksplicitne strukture kot pomembno pomanjkljivost globokih konvolucijskih mrež ter pomanjkanje dobro definirane diskriminativne kriterijske funkcije kot pomembno pomanjkljivost hierarhičnih kompozicij. Predlagali smo, da oba problema naslovimo z novim analitičnim modelov osnovne enote za več-nivojski hierarhični model, ki vsebuje sočasno tako eksplicitno kompozicionalno strukturo kot tudi dobro definirano diskriminativno kriterijsko funkcijo. Predlagani model smo aplicirali na problem klasifikacije vizualnih objektov, kjer smo pokazali izboljšave v hitrosti razpoznavanja objektov. Predlagani model nam je omogočal tudi nov način vizualizacije strukture značilnic v globokih mrežah, kar je rezultiralo v novem razumevanju naučenih značilnic modelov globokega učenja. To delo je predstavljalo osnovo za nadaljnje raziskave pri kombiniranju lastnosti globokih mrež ter kompozicionalnih hierarhij, kar je rezultiralo v novi arhitekturi globokih mrež s prostorsko-prilagodljivimi dovzetnimi polji. Ta model je omogočil občutne izboljšave globokih konvolucijskih mrež, tako v smislu izboljšane klasifikacijske točnosti kot tudi v smislu hitrejšega prepoznavanja objektov. Delo [16] je bilo sprejeto za objavo na konferenci CVPR 2018, ki je najprestižnejša znanstvena konferenca na področju računalniškega vida.
COBISS.SI-ID: 1537308611