Kamera transzformációk meghatározása légi és földi képek esetén

Témavezető:	Szirányi Tamás
	SZTAKI
email:	sziranyi.tamas@sztaki.hu

Projekt leírás

Különféle területek kamera alapú 3D rekonstrukciójához nélkülözhetetlen, hogy az adott régióról több nézőpontból készüljenek képek. Továbbá fontos szempont, hogy a kapcsolódó képek között jelentős átfedés legyen, hogy a terület jellemző pontjai beazonosíthatóak legyenek rajtuk. Amennyiben a terület feltérképezését egy drón és egy földi jármű végzi, úgy az előforduló objektumok mind felülről mind oldalnézetből láthatóak lesznek, ami elősegíti a részletes 3D modell építését. Azonban ha a képek jelentős nézőpont eltéréssel készülnek, akkor azok egyeztetése jóval nehezebb.

Az önálló projekt témája annak vizsgálata, hogy megvalósítható-e légi ortofotók és földi képek egyeztetése, és ezáltal a kapcsolódó kamerapózok közötti transzformációk meghatározása. A klasszikus képi jellemzők mellett vizsgálandó, hogy például vonal detektorok, objektum felismerő algoritmusok, tanulásos módszerek vagy ezek kombinációja hogyan alkalmazható a felvázolt probléma megoldására.

A hallgató feladata:

• Irodalomkutatás: a Structure from Motion 3D rekonstrukciós eljárás és a képek egyeztetéséhez használható módszerek megismerése

• A transzformációk számításához szükséges algoritmusok implementálása, kipróbálása

• A különféle módszerek összehasonlítása és esetlegesen kombinálása

Kulcsszavak: Structure from Motion, Pose estimation, Feature matching, Geometric verification, Object detection

Előfeltételek

• angol nyelvtudás (szakirodalom olvasása, dokumentáció előállítása)

• C++ programozási készség

Hivatkozások

• Schonberger, Johannes L., and Jan-Michael Frahm. "Structure-from-motion revisited." Proceedings of the IEEE conference on computer vision and pattern recognition. 2016.

• Rublee, Ethan, et al. "ORB: An efficient alternative to SIFT or SURF." 2011 International conference on computer vision. Ieee, 2011.

• Zhu, Qing, et al. "Leveraging photogrammetric mesh models for aerial-ground feature point matching toward integrated 3D r econstruction." ISPRS Journal of Photogrammetry and Remote Sensing 166 (2020): 26-40.

• Potena, Ciro, et al. "AgriColMap: Aerial-ground collaborative 3D mapping for precision farming." IEEE Robotics and Automation Letters 4.2 (2019): 1085-1092.

Kapcsolódó előadássorozat:

• Prof. Daniel Cremers – Multiple View Geometry