Mély tanulási modellek összevonása

Témavezető:	Csiszárik Adrián
	Rényi Intézet
email:	cs.adrian@gmail.com

Projekt leírás

Két (vagy több) betanított neuronhálót szeretnénk egyesíteni a tréning adatok megosztása, és újratréningezés nélkül úgy, hogy az egyesített modell minél jobban teljesítsen egy adott célfeladaton. A motiváció egyrészt olyan többrésztvevős tanulási rendszerek létrehozása, amelyekben a felek nem szándékozzák a tréning adatot megosztani egymással, ugyanakkor profitálni kívánnak egy egyesített modell létrehozásából; másrészt a feladat kapcsolódik a mély neuronhálós reprezentációtanulás egy kurrens kutatási kérdéséhez: neuronhálós modellek súlytérbeli átlagolásával hogyan lehet egy egyesített modellt létrehozni. (Ez utóbbi esetben tehát az egyesítési algoritmus a neuronhálók súlyainak egy egyszerű átlagolása.) A hallgató feladatának fókusza lehet (1) létező modell egyesítési algoritmusok megértése és újváltozatok, vagy új megközelítések kidolgozása; (2) a modellátlagolás módszerének alapos empirikus vizsgálata.

A projekt kiváló terep arra, hogy a hallgató (1) megismerkedjen a mély neuronhálók belső működésével, és az ezzel kapcsolatos elemzési technikákkal, amely tudás rendkívül értékes alapot ad majd jövőbeli neuronhálós modellezéseihez; (2) bekapcsolódjon egy kurrens kutatási témába, amihez a projekt ideje alatt tevőlegesen is hozzátehet.

Előfeltételek

1. Python programozási alapismeretek
2. Pytorch alapismeretek vagy ennek gyors elsajátítása
3. Angol nyelvű szakcikkek olvasása

Hivatkozások

1. Ainsworth, S.K., Hayase, J. and Srinivasa, S., 2022. Git re-basin: Merging models modulo permutation symmetries. arXiv preprint arXiv:2209.04836. (ICLR 2023)