mech. interp blogpost

https://arxiv.org/pdf/2406.11717IntroductionRelated works1. Features as direction : Model steering 등에서 contrastive한 pair를 통해 모델의 activation을 추출, feature를 찾아낼 수 있고 이 feature vectors를 residual stream에 더해 모델의 behaviour를 바꿀 수 있음.1.1. 또한 feature가 linear하게 표현된다는 가정하에 모델에서 concept removal을 시행하는 여러 work가 존재함2. Undoing safety tuning : harmful instruction과 completion의 데이터셋으로 모델의 학습된 거부 응답을 성능적인 loss없이 무시하..

https://arxiv.org/pdf/2306.03341Introductionprevious works1. large language model이 real-world correctness에 대한 latent, interpretable 한 structure가 있음을 확인함(https://arxiv.org/abs/2212.03827)2. large language model이 실제로 출력하는 것보다 '아는것'이 더 많음을 확인함(https://arxiv.org/abs/2010.11967) (논문에는 없지만 concurrent work https://arxiv.org/pdf/2304.13734)2-1. 실제로 이 논문에서 사용하는 TruthfulQA dataset의 경우 probe accuracy와 실제 g..