Molnár Adrienn: Mély neuronhálók tudásbővítése

Önálló projekt, szakmai gyakorlat II

2023/24 II. félév

Témavezető:
Csiszárik Adrián (Rényi Intézet)

A legújabb mesterséges intelligencia technológiák fontos alapkövei a hatalmas adatmennyiséggel betanított alapmodellek (foundation models). Ezek az emberi írásos anyagok és a vizuális világ (hogy csak két modalitást említsünk) modellezésén keresztül egyben a körülöttünk lévő világ modellezésének is megdöbbentően hatékony eszközei. Betanításuk ugyanakkor rendkívül költséges, illetve a bennük felhalmozott tudás alapesetben csak tréninghalmaz előállítása ideje előtti információkra vonatkozik. Adódik a kérdés, hogy hogyan bővíthető új tudással egy ilyen nagy neurális rendszer. Ezen húsbavágó kérdés kezelésére több megközelítés adódik: például a modell finomhangolása az új adaton, vagy az in-context learning, ami a faktuális információt a rendszer bemenetéhez adja, vagy a keresőrendszerekkel történő augmentáció.

A hallgató feladata, hogy egy kiválasztott módszerrel elvégezzen egy ilyen tudásbővítést valamilyen példa neurális rendszeren, alaposan megismerje a mögötte lévő matematika modellt, és kísérletileg elemezze a módszer működését.