Mély neuronhálós generatív modellek interpretálhatósága
| Témavezető: | Csiszárik Adrián |
| Rényi Intézet | |
| email: | cs.adrian@gmail.com |
Projekt leírás
A hallgató feladata nagy nyelvi vagy képi generatív modellek belső működésének vizsgálata.
A hallgató a félév során egy kijelölt területen módszertanilag kidolgoz, és megvalósít --- a félév hoszzához igazítva egy ésszerű mélységben --- egy interpretálhatósági tanulmányt.
Előfeltételek
- Alapismeretek mély neuronhálókkal kapcsolatban.
- Programozási gyakorlat Pythonban és valamennyire Pytorchban.
Hivatkozások
Alberto Bietti, Vivien Cabannes, Diane Bouchacourt, Herve Jegou, Leon Bottou: Birth of a Transformer: A Memory Viewpoint (NeurIPS 2023) https://proceedings.neurips.cc/paper_files/paper/2023/hash/0561738a239a995c8cd2ef0e50cfa4fd-Abstract-Conference.html
https://transformer-circuits.pub/