Sparse autoencoders trade interpretability for fragility

개요

Sparse autoencoder(SAE)를 통한 해석 가능성이 안전 손잡이로 간주되는 뉴런의 극심한 취약성을 가릴 수 있으며, 단일 고정된 유닛이 명확한 제어 수단처럼 보여도 모델은 이를 인지하지 못한 채 우회할 수 있습니다.

주요 내용

* SAE의 취약성: "인간이 읽기 쉬운" 것이 "신뢰할 수 있는" 것으로 동일시되면서 제어의 환상이 커지고 있으며, SAE는 잔차 스트림 활성화를 분석하는 사실상의 도구가 되었지만, 특정 안전하지 않은 특징을 고정하는 것이 해당 오작동을 신뢰할 수 있게 억제한다는 가정은 오류입니다.
* 기능적 비대칭성: 안정적인 SAE 특징은 복구 및 예측과 관련된 신호를 대부분 전달하는 반면, 불안정한 특징은 미미한 영향만을 가지고 저주파 표면 양식 트리거에 의해 지배됩니다. 불안정한 특징은 토큰당 평균 0.18%만 발화하는 반면, 안정적인 특징은 0.44% 발화합니다.
* 불안정한 특징의 재현 가능성: 불안정한 특징은 개별적으로 재현 가능하지 않지만, 재현 가능한 저차원 부분 공간을 차지합니다. 이는 시드 종속적인 기저 선택이 순수한 노이즈를 생성하기보다 동일한 기본 형상을 섞는 것을 시사합니다.
* 개입의 실패: 해로운 특징에 대한 하드 와이어드 고정(hard-wired clamp)조차도 거의 모든 테스트 사례에서 무효화될 수 있으며, 안전이 중요한 거부-조종(refusal-steering)에서 95.8%의 복구율을 보입니다.
* 복구된 오작동의 운반자: SAE 복구 잔차(residual)가 복구된 안전하지 않은 동작을 주로 전달하며, 고정된 특징 복구는 실패하고 고정되지 않은 SAE 특징 복구는 약한 성능을 보입니다.
* 기능 제어와 행동 완전성 간의 간극: SAE 특징은 인과적 개입을 지원할 수 있지만, 이를 제어하는 것이 근본적인 행동을 제어하는 것을 보장하지는 않습니다. 개입은 보이는 경로를 차단하지만 근본적인 기능은 그대로 둡니다.
* 향후 연구의 필요성: 복구 실험은 제한된 프롬프트 세트를 대상으로 하며 개입이 간헐적으로 적용될 경우 이 현상이 어떻게 확장되는지는 불분명합니다. 또한, 시드 안정성 분석은 실제 해악에 식별된 불안정한 부분 공간이 영향을 미치는지에 대한 질문을 열어둡니다.

시사점

SAE의 해석 가능성에만 의존하는 안전 파이프라인은 모델이 설명되지 않은 잔차를 통해 동일한 바람직하지 않은 행동을 다시 표현할 수 있으므로 재검토되어야 하며, 모든 해석 가능한 뉴런이 우회될 수 있다면 모델의 진정한 안전성을 인증할 구체적인 지표가 필요합니다.