Razvoj detektorjev in sledilnikov ovir za verifikacijo detekcij na podlagi gibanja je pomembno odvisen od podatkovnih zbirk, ki odražajo izzive iz resničnega sveta, in od performančnih mer z močnimi sposobnostmi vpogleda v algoritme. V tem prispevku smo predlagali novo podatkovno zbirko za dolgoročno sledenje objektov in nove mere uspešnosti. Slednje prekašajo obstoječe mere v interpretacijskem potencialu in boljšem razlikovanju med različnimi tipi obnašanja sledilnikov. Predlagana podatkovna zbirka pa je trenutno najzahtevnejša s številnimi primeri izginjanja tarče. Performančni mere in zbirka so postali del standardnega evalvacijskega protokola v največjem izzivu vizualnega sledenja na področju računalniškega vida VOT. Poleg omenjene podatkovne množice smo skozi leta projekta kreirali še mnoge druge, ki so prav tako postale del VOTa, hkrati pa smo predlagali še številne podatkovne zbirke za detekcijo ovir [4,6,17] za evalvacijo in množice za učenje globokih nevronskih mrež za detekcijo ovir [7].
COBISS.SI-ID: 1538564803
V prispevku je opisana metoda sledenja oviram na vodi, primarno z uporabo 3D oblaka točk, pridobljenih iz na plovilo vgrajenega sistema stereo kamer. Združuje segmentacijo oblaka točk na vodno površino in izstopajoče dele oblaka točk (to so kandidati za ovire) ter sledenje oviram. Ocena nagiba vodne površine se opravi neodvisno od drugih senzorjev, če metoda konvergira v vnaprej določenem času; če ne, se za grob približek uporabijo podatki o nagibu plovila iz inercialne senzorske enote. K segmentaciji dodatno pripomore semantična segmentacija RGB slik istega prizora, ki odstrani področja slike, ki niso pomembna za navigacijo in s tem zmanjša število lažnih pozitivnih rezultatov. Sledenje segmentiranim oviram olajša nova metoda »globinskega prstnega odtisa«, kjer se sledi predmetov sestavljajo na podlagi metrike, ki združuje prostorske relacije med zaznavami objektov in histogrami globine zaznanega predmeta (slednje je način identifikacije istih predmetov, ki se pojavljajo skozi zaporedne slike). Končni rezultat je metoda zaznavanja ovir na vodi za brezpilotna plovila z znatno manjšim številom lažno pozitivnih zaznav ovir. Med projektnim delom je postalo očitno, da sistem stereo kamer na krovu plovila potrebuje pogosto kalibracijo zaradi mehanskih obremenitev, ki jih povzroči delovanje ali prenos v zimsko shrambo ali iz nje. Ta problem smo naslovili z metodo introspektivne avtomatske kalibracije brez uporabe tarč, ki je bila objavljena v [17].
COBISS.SI-ID: 12642388
Del naših raziskav se je osredotočil na razvoj metod za detekcijo ovir na podlagi slike. V tem prispevku smo predlagali grafični model, ki temelji na slučajnem Markovem polju in upošteva inercijski senzor (IMU) ter stereo verifikacijo, ki konsolidira potencialne detekcije, pridobljene s segmentacijo. Meritve IMU omejujejo a priori verjetnosti slikovnih elementov in prilagajajo prostorske hiperpriore semantičnih komponent. Poleg tega smo razvili algoritem za hitro kalibracijo kamere-IMU in projiciranje horizonta na podlagi IMU v sliko. Izboljšava metode z razširitvijo na stereo statistični model z zgodnjim zlivanjem informacij je bila kasneje objavljena na pomembni robotski konferenci IROS2018 [6]. Nova spoznanja smo uspešno prenesli na področje globokih nevronskih mrež. Predlagali smo novo globoko arhitekturo, ki implementira koncepte, ki so plod predhodnih raziskav. Razvita mreža je trenutno najuspešnejša metoda detekcije ovir za robotska plovila -- rezultati so bili objavljeni na prestižni robotski konferenci ICRA2020 [8]. Kljub preliminarnosti slednje delo predstavlja trdno podlago za nadaljnje raziskave metod detekcije ovir, ki temeljijo na globokem učenju.
COBISS.SI-ID: 1537746627
Del naših raziskav se je osredotočil na učinkovite in robustne vizualne sledilne algoritme. V tem prispevku smo vpeljali koncept kanalne in prostorske zanesljivosti v diskriminativne korelacijske filtre in prelagali nov učni postopek za učinkovito direktno integracijo adaptacije filtra v sam proces sledenja. Postopek omogoča učenje in detekcijo iz velikega zaznavnega polja. Implementirali smo različico sledilnika v C++, ki ne potrebuje specializirane strojne opreme kot je GPU in deluje v realnem času na CPU. Sledilnik je dosegel prvo mesto med petdesetimi sledilniki na realnočasnem izzivu VOT-RT2017 in je trenutno najrobustnejši CPU-jevski sledilnik v največji knjižnici računalniškega vida OpenCV. Zaradi realnočasnih lastnosti je sledilnik še posebej primeren za avtonomne robote, ki zahtevajo kratek reakcijski čas potreben za navigacijo v dinamičnih odprtih okoljih. Sledilnik smo razširili na dolgoročno sledenje in ga predstavili kot predavanje na ACCV2018 [15] (v ustno prestavitev sprejetih zgolj 4.5% poslanih člankov). Sledilnik smo prav tako razširili na sledenje z rekonstrukcijo na podlagi RGB in globine ter metodo predstavili na eni od glavnih konferenc računalniškega vida ICCV2019 [25].
COBISS.SI-ID: 1537691075