Yeraly Kalel: 3D reconstruction using Stereo Vision

Az önvezető autózás napjaink egyik érdekes, intenzíven fejlődő területe, ahol a kutatási és a fejlesztési munkák szoros együttműködésére van szükség. Az önvezető járműveket különféle szenzorokkal szerelik fel, a hagyományos kameráktól a gyorsulásérzékelőkön át egészen a 3D-s szkennelésre képes lézeres letapogatókig, LiDAR mérőeszközökig. A szakemberek között komoly vita van arról, hogy milyen érzékelőket érdemes alkalmazni, az azonban biztosnak látszik, hogy digitális kamerákra mindenképpen szükség van. A kamerák működésének alapja, hogy az egyes pixelekhez a térben vetítősugarak tartoznak. Legalább két különböző helyzetű kamera esetén a két képen az összetartozó pixelek egy-egy sugarat határoznak meg, ezeknek térbeli metszéspontja adja a háromdimenziós helyét a megfigyelt pontnak. A kamerák működését a projektív geometria írja le. A térbeli gépi látás feladatainak megoldásához elsősorban becslési eljárásokat szokás használni, melyek a lineáris algebra és a statisztika eszközkészletére épülnek. Az önálló feladat során a hallgató először megismerkedik a projektív geometriával, azon belül is a kamerapárokat leíró epipoláris geometriával, megtanulja, hogyan lehet pontmegfeleltetésekből térbeli pozíciókat becsülni, affin megfeleltetésből pedig a felületi normálvektorokat. A konkrét feladat autókra szerelt kamerapárokból 3D-s információkat kinyerni. A munka során elsősorban síkfelületekre koncentrálunk, hiszen ilyenek városi környezetben sokszor előfordulnak: a legnagyobb, gépi látás szempontjából fontos síkfelületek a házfalak, a legkisebbek a közlekedési táblák. A becslő eljárások során nagyon fontos a robusztusság: ha a képen a pontok egymásnak nem felelnek meg, más tárgyponthoz tartoznak, az eredmény téves lesz. Ezeket a téves megfeleltetéseket statisztikai módszerekkel ki kell szűrni. A munkából TDK dolgozat is készíthető, komolyabb időráfordítás esetén szakirodalmi cikk is születhet.

Referenciák

Richard Hartley and Andrew Zisserman. Multiple View Geometry in Computer Vision Second Edition Cambridge University Press, March 2004. http://cvrs.whu.edu.cn/downloads/ebooks/Multiple%20View%20Geometry%20in%20Computer%20 Vision%20(Second%20Edition).pdf Richard Szeliski. Computer Vision: Algorithms and Applications Microsoft Research 2010. http://szeliski.org/Book/ http://szeliski.org/Book/drafts/SzeliskiBook_20100903_draft.pdf