mech. interp blogpost

https://arxiv.org/pdf/2310.15154LLM이 sentiment관련 task를 풀때 사용하는 direction에 대한 연구더보기https://github.com/curt-tigges/eliciting-latent-sentiment/tree/main GitHub - curt-tigges/eliciting-latent-sentimentContribute to curt-tigges/eliciting-latent-sentiment development by creating an account on GitHub.github.com  Contribution1. sentiment의 linear representation을 synthetic data에서 찾음2. 위 direction으로 실제 dat..

https://arxiv.org/pdf/2310.15213모델이 어떻게 ICL(in-context learning)을 하는가?Related worksICL (In-context learning)언어모델이 inference time에 적은 수의 demonstration에서 어떤 task를 푸는것인지 '학습'하는 것1. transformers are few shot learner; GPT3 논문에서 처음으로 제시됨2. https://arxiv.org/abs/2211.15661 에서 ICL이 synthetic task (linear regression)에서 Stochastic Gradient Descent임을 간접적으로 보임3. https://arxiv.org/pdf/2212.10559 에서 ICL이 일반적인..