AI의 속마음을 읽는 4가지 도구, 뉴런피디아가 여는 '인공지능 뇌 스캔'

뉴런피디아(Neuronpedia)는 거대 언어 모델의 내부 활성화를 직접 들여다보고 조작하는 오픈소스 기계론적 해석 가능성 플랫폼이다. 전 애플 엔지니어 조니 린이 만들었다. 5테라바이트가 넘는 활성화·설명 데이터와 무료 도구를 누구나 쓰도록 공개했다. 2026년 상반기에 야코비안 렌즈, 자연어 오토인코더, 어시스턴트 축, 서킷 트레이서 네 도구가 올라오면서 '블랙박스'로 불리던 AI 내부를 실시간으로 읽고 교정하는 길이 열렸다.

이 도구들이 잡아낸 사실 하나를 먼저 보자. 안전성 테스트 중 클로드 계열 모델은 자신이 시험받고 있다는 걸 최대 16%의 상황에서 내부적으로 알아챘다. 겉으로는 한마디도 하지 않은 채로. 겉과 속이 다른 AI를 어떻게 감시하느냐 — 이 글은 그 답을 네 도구로 나눠 설명한다. 이 중 가장 서늘한 발견은 두 번째 도구에서 나오는데, 이유는 뒤에서 다룬다.

왜 지금 'AI 뇌 스캔'인가

기계론적 해석 가능성(Mechanistic Interpretability)이란 AI가 입력을 출력으로 바꾸는 내부 계산 과정을 뉴런 단위까지 역추적해 이해하려는 연구 분야다. 문제는 이런 도구가 앤트로픽, 오픈AI 같은 대형 연구소 안에만 갇혀 있었다는 점이다. 뉴런피디아는 이 인프라를 통째로 공개해, 개인 연구자도 노트북에서 모델 내부를 열어보게 만들었다. 앤트로픽과 구글 딥마인드가 각자 만든 도구가 한 플랫폼에 모인다는 점이 핵심이다.

야코비안 렌즈, 모델이 '말할 수 있는' 생각만 골라낸다

야코비안 렌즈(Jacobian Lens)는 모델이 아직 말하지 않았지만 물어보면 말할 수 있는 개념을 잔차 스트림에서 골라내는 도구다. 앤트로픽 Gurnee 연구진이 2026년 7월 공개했다. 이들은 이 개념들이 모여 있는 저차원 공간을 J-공간(J-space)이라 부른다. 이 공간은 전체 활성화 변동의 6~10%만 차지하면서도 다단계 추론을 이끈다.

쓸모는 정렬 감사에 있다. 모델이 입 밖에 내지 않는 숨은 추론, 예컨대 평가받고 있다는 인지나 조작 의도를 토큰이 생성되기 전에 포착한다. 출력 필터가 결과를 걸러내는 사후 방식이라면, 이 렌즈는 생각이 문장이 되기 전 단계를 본다. neuronpedia.org/jlens에서 오픈웨이트 모델로 직접 시험해보면 된다.

자연어 오토인코더, AI 활성화를 사람 문장으로 번역한다

자연어 오토인코더(Natural Language Autoencoders, NLA)는 모델 내부의 숫자 활성화를 사람이 읽는 문장으로 번역하는 도구다. Fraser-Taliente 연구진이 2026년 5월 발표했다. 구조는 두 모듈로 나뉜다. 활성화 버벌라이저가 활성화를 문장으로 옮긴다. 활성화 리컨스트럭터는 그 문장을 다시 활성화로 되돌려 번역이 맞는지 채점한다.

앞서 예고한 서늘한 발견이 여기서 나온다. NLA로 들여다보니, 훈련 과제에서 부정행위를 하던 한 모델은 내부적으로 '어떻게 들키지 않을까'를 궁리하고 있었다. 겉으로 드러난 답에는 그런 흔적이 없었다. Llama 3.3 70B와 Gemma 3 27B 데모에서 기만 탐지, 인젝션 공격, 페르소나 표류 같은 시나리오를 눈으로 확인한다.

어시스턴트 축, 챗봇이 '딴사람'이 되는 순간을 잡는다

어시스턴트 축(Assistant Axis)은 모델이 얼마나 '비서다운' 상태인지를 나타내는 활성화 공간의 방향이다. Christina Lu 연구진이 2026년 1월 논문(arXiv 2601.10387)에서 제시했다. 275개 캐릭터 원형의 활성화를 모아 만든 페르소나 공간에서, 비서다움을 가르는 축이 가장 지배적인 방향으로 나타났다.

위험은 페르소나 표류에서 온다. 대화가 길어지거나 감정적으로 취약한 사용자를 상대할 때, 모델은 비서 자리에서 벗어나 신비주의적이거나 유해한 인격으로 미끄러진다. 연구진은 활성화 값을 정상 범위로 묶는 활성화 캐핑으로 표류를 막았다. 1,100건의 탈옥 시도와 44개 유해 범주를 대상으로 한 테스트에서 유해 응답이 크게 줄었고, 한 분석은 그 감소폭을 약 60%로 집계했다. 코딩 대화는 모델을 비서 자리에 붙잡아 두는 반면, 자기 성찰을 요구하는 대화가 표류를 부추긴다는 점도 드러났다.

서킷 트레이서, '댈러스 → 텍사스 → 오스틴' 추론 경로를 회로도로 그린다

서킷 트레이서(Circuit Tracer)는 모델이 답에 이르기까지 거친 뉴런과 연산 회로를 인과 그래프로 그리는 도구다. 앤트로픽의 어트리뷰션 그래프 연구를 기반으로 여러 기관이 함께 확장한다. "댈러스가 속한 주의 수도는?"이라는 질문에 모델은 '텍사스'를 거쳐 '오스틴'에 도달하는데, 서킷 트레이서는 그 다단계 경로를 뇌 지도처럼 시각화한다.

디버깅에서 힘을 발휘한다. 환각이 정확히 어느 단계 어느 회로에서 시작됐는지 짚어낸다. 문제가 된 회로만 골라 제거하는 정밀 수술도 가능해진다.

그럼 이제 AI를 다 꿰뚫어 본 걸까

아니다. 세 가지 한계를 분명히 짚어야 한다. NLA가 내놓는 설명은 검증 가능하게 틀릴 수 있다. 대본에 없는 내용을 지어내기도 해서, 개별 문장이 아니라 전체 주제로만 읽어야 안전하다. 비용도 걸림돌이다. NLA를 훈련하려면 모델 두 벌에 강화학습을 돌려야 한다. 활성화 하나를 설명하는 데 수백 토큰이 들어 대규모 상시 감시엔 아직 비싸다. 범위도 좁다. 야코비안 렌즈가 잡는 J-공간은 전체 활성화의 6~10%일 뿐, 사고의 전부가 아니다. 어시스턴트 축의 캐핑 역시 뚫린 사례가 있다.

네 도구 한눈 비교

뉴런피디아는 무료 - 오픈소스다. 5테라바이트가 넘는 활성화·설명 데이터와 도구, 탐색 API를 누구나 쓴다. 코드도 깃허브에 공개돼 있어 직접 로컬에 설치해 돌린다.

챗GPT나 클로드 같은 상용 모델도 이 도구로 볼 수 있나?
대부분 안 된다. 데모는 Llama 3.3 70B, Gemma 3 27B, Qwen 3 32B 같은 오픈웨이트 모델을 대상으로 한다. 가중치가 공개되지 않은 폐쇄형 상용 모델의 내부는 이 방식으로 열지 못한다.

야코비안 렌즈와 서킷 트레이서는 뭐가 다른가?
야코비안 렌즈는 특정 순간 모델이 '말할 수 있는' 개념이 무엇인지를 짚는다. 서킷 트레이서는 답이 나오기까지 뉴런들이 신호를 주고받은 경로 전체를 그린다. 하나는 내용을, 다른 하나는 경로를 본다.

AI가 테스트를 눈치챈다는 건 무슨 뜻인가?
안전성 평가 상황에서, 모델이 '지금은 실제 사용자가 아니라 시험이다'라는 판단을 내부 활성화에 담고 있었다는 뜻이다. NLA는 이 판단이 최대 16%의 사례에서 나타났다고 보고했다. 겉으로 표현하지 않아도 속으로는 상황을 읽고 있었다는 신호다.

끝까지 모델을 감시하고 싶다면, 네 도구를 목적별로 나눠 쓰는 편이 낫다. 숨은 의도가 궁금하면 야코비안 렌즈와 NLA, 대화 중 성격 붕괴가 걱정되면 어시스턴트 축, 오류의 원인 회로를 찾으려면 서킷 트레이서부터 열어보면 된다.