Adatfolyam feldolgozó rendszerek optimalizálása párhuzamos feldolgozásra

Témavezető:	Benczúr András
	SZTAKI
email:	benczur@ilab.sztaki.hu

Projekt leírás

Témavezető Sidló Csaba

Az elosztott adatfolyam feldolgozás és az elosztott adatbázis kezelés témái az utóbbi években sokat közeledtek egymáshoz, és elérhetővé váltak olyan rendszerek, amik már nem külön, hanem egységes keretben oldanak meg kötegelt és adatfolyam feladatokat. Cél egy ilyen rendszer, az Apache Spark Structured Streaming viselkedésének vizsgálata és elemzése többgépes (felhő) környezetben párhuzamosan futtatott job-okkal: az adat és a rendszer milyen paraméterei lényegesek teljesítmény szempontjából, és milyen lényegi összefüggések figyelhetők meg paraméterek és teljesítmény között.

Előfeltételek

alapszintű programozási és adatbázis-kezelési ismeretek

Hivatkozások

G. van Dongen and D. Van den Poel, "Evaluation of Stream Processing Frameworks," in IEEE Transactions on Parallel and Distributed Systems, vol. 31, no. 8, pp. 1845-1858, 2020