Mély neuronhálók tudásbővítése
| Témavezető: | Csiszárik Adrián |
| Rényi Intézet | |
| email: | cs.adrian@gmail.com |
Projekt leírás
A legújabb mesterséges intelligencia technológiák fontos alapkövei a hatalmas adatmennyiséggel betanított alapmodellek (foundation models). Ezek az emberi írásos anyagok és a vizuális világ (hogy csak két modalitást említsünk) modellezésén keresztül egyben a körülöttünk lévő világ modellezésének is megdöbbentően hatékony eszközei. Betanításuk ugyanakkor rendkívül költséges, illetve a bennük felhalmozott tudás alapesetben csak tréninghalmaz előállítása ideje előtti információkra vonatkozik. Adódik a kérdés, hogy hogyan bővíthető új tudással egy ilyen nagy neurális rendszer. Ezen húsbavágó kérdés kezelésére több megközelítés adódik: például a modell finomhangolása az új adaton, vagy az in-context learning, ami a faktuális információt a rendszer bemenetéhez adja, vagy a keresőrendszerekkel történő augmentáció.
A hallgató feladata, hogy egy kiválasztott módszerrel elvégezzen egy ilyen tudásbővítést valamilyen példa neurális rendszeren, alaposan megismerje a mögötte lévő matematika modellt, és kísérletileg elemezze a módszer működését.
Előfeltételek
- Python programozási alapismeretek
- Pytorch alapismeretek vagy ennek gyors elsajátítása
- Angol nyelvű szakcikkek olvasása
Hivatkozások
- Hu et al. (2022): LORA: Low-rank Adaptation of Large Language Models. ICLR 2022.
- Chen et al. (2021): Knowledge-aware Zero-Shot Learning: Survey and Perspective. IJCAI 2021.
- K. Meng, D. Bau, A. Andonian, Y. Belinkov. (2022): Locating and Editing Factual Associations in GPT. Advances in Neural Information Processing Systems 35 (NeurIPS 2022)