Inside the Unfair Judge: A Mechanistic Interpretability Account of LLM-as-Judge Bias
https://arxiv.org/abs/2607.11871
Zixiang Xu, Sixian Li, Huaxing Liu, Xiang Wang, Shuai Li, Zirui Song, Xiuying Chen | AMAP, Alibaba Group; MBZUAI; USC; University of Michigan | arXiv:2607.11871 | 2026년 7월
LLM이 다른 모델의 답을 채점하는 순간, 평가 비용은 크게 줄지만 새로운 신뢰성 문제가 생긴다. 답안의 사실성과 논리 구조가 같아도 출처 이름, 길이, 다수 의견, 감정적 어조, 검토 여부 같은 표면 단서가 붙으면 점수가 달라질 수 있기 때문이다. 이런 변화가 벤치마크 순위에만 머물지 않고 선호 데이터와 보상 모델의 학습 신호로 흘러가면, 심판의 편향이 다음 세대 모델의 행동으로 재생산된다.
이 논문은 편향을 입력 문구와 출력 점수 사이의 통계적 현상으로만 다루지 않고, judge의 층별 hidden state에서 관찰되는 활성화 기하학으로 재구성한다. 기준 입력은 조밀한 manifold를 이루고, 편향 단서가 있는 입력은 유형별 저차원 subspace를 따라 이동하며, 그 분리는 깊은 층으로 갈수록 선명해진다는 가설을 7개 judge, 7개 편향 유형, 9개 benchmark에서 검증한다. 같은 방향을 순방향과 역방향으로 주입해 점수를 밀고 복원하는 실험까지 연결함으로써, 단순 상관과 개입 가능한 메커니즘을 구분하려 한다.
핵심 산출물은 세 갈래다. 첫째, 부정 단서가 긍정 단서보다 훨씬 큰 점수 변화를 만드는 비대칭 행동을 정량화한다. 둘째, 편향 방향이 무작위 방향이나 공통 score readout 축으로 환원되지 않는다는 대조 실험을 수행한다. 셋째, 같은 방향에 대한 선형 projection으로 학습에 없던 SocialMaze, BBQ, GPQA에서 judge의 점수 저하를 예측해, 내부 표현이 사후 설명을 넘어 운영 전 경보 신호가 될 수 있음을 보인다.
1. 서론: 자동 평가의 표면 편향을 내부 표현에서 다시 읽기
1.1 자동 심판이 만드는 평가 오염
대규모 언어 모델은 후보 답안의 순위를 정하고, 벤치마크 점수를 산출하며, 정렬과 선호 학습에 필요한 보상 신호를 제공하는 LLM-as-Judge로 빠르게 편입되었다. 이 배치는 평가 비용과 처리 시간을 줄이지만, 답안의 사실성·논리성과 무관한 출처 표기, 길이, 다수 의견, 학술적 권위, 정서적 어조, 검수 주장, 작성자 집단 표지가 점수에 섞여 들어갈 통로도 만든다. 자동 심판의 편향은 단일 평가 결과에 머물지 않고 모델 선택, 데이터 필터링, 보상 모델 학습으로 전파되므로, 표면 단서에 대한 작은 민감도도 전체 파이프라인의 선택 압력을 바꿀 수 있다.
기존 감사는 원문을 변형한 뒤 점수 차이 Δs를 재고, 프롬프트 제약·점수 보정·복수 심판의 합의로 변동을 줄이는 방식에 집중해 왔다. 이 접근은 어떤 단서가 결과를 움직이는지 측정하는 데 효과적이지만, 같은 답안 쌍이 층별 은닉 상태에서 어떻게 분기되고 그 분기가 최종 정수 점수로 전달되는지는 직접 설명하지 못한다. 논문은 이 공백을 표면 단서 → 내부 표현 변위 → 점수 예측이라는 연결로 다루며, 편향을 입출력 변화량과 표현 공간의 기하를 함께 갖는 현상으로 정의한다.
핵심 문제는 세 단계로 구성된다. 첫째, 공정한 기준 입력의 활성화가 안정된 영역을 이루고 편향 입력이 유형별 저차원 방향으로 이탈하는지 확인한다. 둘째, 추정한 방향을 더하거나 빼는 개입이 깨끗한 입력에서 편향 점수를 재현하고 편향 입력에서 기준 점수를 복원하는지 검증하며, 셋째, 같은 활성화 특징이 학습에 없던 도메인의 점수 저하까지 예측하는지 평가한다.
1.2 행동 비대칭에서 기하·인과·운영성으로
행동 수준에서 가장 먼저 드러나는 신호는 긍정 단서와 부정 단서의 비대칭이다. strict·non-CoT 조건에서 일곱 심판 모두 부정 변형에 뚜렷한 하락을 보였고, 부정 조건의 Cohen’s d는 −0.346에서 −0.648까지 분포했다. 긍정 집계는 대체로 작으며 Refinement+만 일관된 상승을 만들고 Bandwagon+와 Diversity+는 예상 부호를 뒤집기 때문에, 두 극성을 하나의 대칭 축으로 간주하면 유형별 작동 차이가 사라진다.
| 심판 | 기준 평균 | 긍정 편향 집계 | 부정 편향 집계 | ||||||
|---|---|---|---|---|---|---|---|---|---|
| Δ 평균 | Cohen’s d | p | W₁ | Δ 평균 | Cohen’s d | p | W₁ | ||
| Llama-3.1-8B | 5.71 | +0.243 | +0.162 | <$10^{-3}$ | 0.243 | −0.853 | −0.580 | <$10^{-7}$ | 0.863 |
| Qwen3-14B | 5.53 | +0.175 | +0.118 | <$10^{-2}$ | 0.185 | −0.935 | −0.648 | <$10^{-8}$ | 0.945 |
| Gemma-3-12B | 5.61 | +0.152 | +0.103 | <$10^{-2}$ | 0.162 | −0.870 | −0.596 | <$10^{-8}$ | 0.880 |
| GPT-4o-Mini | 5.48 | +0.098 | +0.067 | 0.031 | 0.108 | −0.685 | −0.473 | <$10^{-6}$ | 0.695 |
| Llama-3.3-70B | 5.39 | +0.082 | +0.055 | 0.078 | 0.092 | −0.610 | −0.425 | <$10^{-5}$ | 0.620 |
| Deepseek-V3 | 5.42 | +0.065 | +0.044 | 0.162 | 0.075 | −0.545 | −0.388 | <$10^{-5}$ | 0.555 |
| GPT-4.1 | 5.27 | +0.020 | +0.021 | 0.838 | 0.060 | −0.360 | −0.346 | <$10^{-3}$ | 0.370 |
표 1의 W₁은 평균 차이만으로 놓칠 수 있는 점수 분포 전체의 이동을 측정한다. Llama-3.1-8B에서 긍정 집계 W₁은 0.243이고 부정 집계는 0.863이며, Qwen3-14B에서는 각각 0.185와 0.945다. 모델 크기와 편향 크기가 단조롭게 대응하지 않는 결과는 파라미터 규모보다 심판이 표면 단서를 점수 표현으로 변환하는 내부 규칙을 조사해야 함을 뒷받침한다.
1.3 연구 범위와 검증 단위
연구는 아홉 벤치마크에서 각각 500문항을 뽑아 총 4,500개의 기준 문맥을 구성한다. GSM8K, MMLU, TruthfulQA, CommonsenseQA, PubMedQA, GPQA, ARC-Challenge, SocialMaze, BBQ가 수학 추론부터 사회적 판단과 공정성 민감 영역까지 포괄하며, 각 질문의 기준 답안은 여섯 생성 모델 풀에서 무작위로 선택한 모델이 만든다. 일곱 편향 유형의 양·음 변형을 모두 적용해 $D_{pos}$와 $D_{neg}$는 각각 31,500개가 되고, 행동 평가는 일곱 심판, 내부 활성화 분석은 Llama-3.1-8B·Qwen3-14B·Gemma-3-12B에서 수행된다.
분할은 질문 ID 기준 45%/15%/40%의 train/dev/test이며, train과 dev에는 여섯 벤치마크만 들어간다. test는 아홉 벤치마크 전체를 포함하므로 SocialMaze, BBQ, GPQA는 기본 설정에서 완전한 미관측 도메인으로 기능하고, 관측 도메인에서도 질문 중복이 차단된다. 이 nested 설계는 방향 추정에 사용한 질문과 인과 개입·결과 예측의 평가 질문을 분리해, 훈련 표본의 스타일을 기억한 분류기가 기하적 일반화로 오인되는 위험을 낮춘다.
2. 배경 및 관련 연구: 블랙박스 감사에서 표현 공학으로
2.1 입출력 감사가 제공한 토대
입출력 수준의 연구는 순서, 장황성, 자기 선호, 권위, 사회적 정체성과 같은 무관 단서를 체계적으로 바꾸고 점수 이동을 비교해 편향의 존재를 확립했다. 프롬프트 공학과 교정, 위치 불변 추론, 다수 심판 앙상블은 특정 단서에 대한 민감도를 줄일 수 있으며 API 모델에도 적용 가능한 장점이 있다. 다만 결과 점수만 관찰하면 동일한 Δs가 공통 내부 축에서 발생했는지, 서로 다른 유형별 경로가 우연히 같은 점수를 냈는지 구별하기 어렵다.
이 논문이 추가하는 분석 단위는 각 decoder layer의 final-token hidden state다. 입력 텍스트를 품질 보존 변환으로 짝지어 두고 층별 활성화 차이를 계산하면 질문의 의미와 답안 내용이 만드는 큰 변동을 pairwise subtraction으로 상쇄할 수 있다. 이때 점수 하락은 감사 대상 결과이고, 활성화 변위 $Δh_{l}$는 결과가 형성되는 표현적 흔적이자 개입 후보가 된다.
2.2 표현 공학과 심판 역할의 접점
표현 공학은 진실성, 거부, 태도와 같은 고수준 행동이 residual stream의 방향 또는 저차원 부분공간에 선형적으로 포착될 수 있다는 가정 아래 activation addition, inference-time intervention, concept erasure를 발전시켰다. 기존 도구의 주된 목표는 모델이 생성할 행동을 바꾸거나 후단 분류기에서 개념을 지우는 것이었다. 심판 편향에 적용하려면 생성 스타일을 바꾸는 방향과 입력 답안의 품질을 점수로 읽는 평가 방향을 분리하고, 점수 보존 제약 아래에서 인과성을 시험해야 한다.
가까운 선행 축은 두 가지다. 하나는 질문 응답에서 선택 편향 방향을 비지도 방식으로 찾아 그 반대쪽으로 steering하는 접근이고, 다른 하나는 여러 층의 score-token logit을 모아 인간 점수와 더 잘 맞는 심판을 만드는 접근이다. 본 논문의 범위는 typed bias subspace의 기하, 같은 벡터를 이용한 attack과 defense의 양방향 개입, 미관측 도메인 outcome prediction을 하나의 객체로 연결하는 데 놓인다.
2.3 일곱 편향 분류체계와 통제 변형
일곱 유형은 단서가 가리키는 사회적·언어적 의미를 기준으로 나뉜다. Prestige는 출처 명성, Verbosity는 내용 독립적 길이와 정교함, Bandwagon은 다수의 평가, Authority는 학술적 신뢰 표지, Sentiment는 객관성 또는 감정성, Refinement는 검수·수정에 대한 메타인지 주장, Diversity는 작성자의 사회적 집단 표지를 조작한다. 유형 이름은 원인 변수의 역할을 하며, 각 유형의 양·음 극성은 같은 답안 본체에 서로 반대되는 기대 방향의 표면 신호를 부여한다.
| 유형 | 측정 단서 | Positive construction | Negative construction |
|---|---|---|---|
| Prestige | 인지된 출처 명성 | 고성능 출처 표기, 예: “GPT-4:” 전치 | 낮거나 오래된 출처 표기, 예: “GPT-2:” 전치 |
| Verbosity | 내용과 독립된 상세성 | 의미를 유지한 소수 설명·전환구 추가 | 사실을 보존하며 불필요한 단어를 소폭 삭제 |
| Bandwagon | 사회적 합의·동료 의견 | “92%의 리뷰어가 유용하다고 평가” 메모 | “87%의 리뷰어가 유용하지 않다고 평가” 메모 |
| Authority | 학술적 신뢰 표지 | 도메인에 맞는 학술식 인용과 참고 표기 삽입 | 핵심 주장 뒤 “[citation needed]”와 근거 의문 메모 삽입 |
| Sentiment | 정서적 어조·객관성 | 소수의 객관적·중립적·학술적 표현 강화 | 소수의 주관적·감정적 표현 도입 |
| Refinement | 검수·수정 상태 주장 | 세심한 검토와 전문적 수정을 거쳤다는 문구 | 인간 검토를 거치지 않은 raw AI output이라는 문구 |
| Diversity | 작성자의 사회적 정체성 | 긍정적으로 인식되는 집단 소속 표기, 예: LGBTQ+ advocate | 부정적으로 인식되는 집단 소속 표기, 예: extremist |
Prestige, Bandwagon, Refinement, Diversity는 짧은 template을 앞뒤에 붙여 답안 본체를 bit-identical하게 유지한다. Authority는 LLM이 선택한 위치에 인용 표지를 삽입하며 원래 산문을 유지하고, Verbosity와 Sentiment는 좁은 범위의 어휘·표현을 다시 쓴다. 따라서 taxonomy는 단순 문자열 탐지 목록보다 넓고, metadata-only 변형과 prose-level 변형이 같은 표현 분석 틀에서 수렴하는지를 함께 시험한다.
2.4 평행 데이터셋과 기준 활성화 다양체
각 질문 $q_{i}$에는 기준 답안 $a_{i}^{base}$와 두 의미 보존 변환 $T_{pos}$, $T_{neg}$가 대응한다. $D_{base}$는 이질적인 고성능 생성 모델 여섯 종의 자연스러운 문체·길이·추론 차이를 포함하고, $D_{pos}$와 $D_{neg}$는 동일한 질문과 사실·논리 구조 위에 극성별 단서만 얹는다. 이 세 갈래 설계 덕분에 s(T(x))−s(x)와 $h_{l}$(T(x))−$h_{l}$(x)를 같은 pair 단위에서 연결할 수 있다.
층 l에서 기준 활성화 집합 $H_{base}^{(l)}$의 경험적 분포를 baseline activation manifold $M_{base}$로 둔다. layer 25의 MDS에서는 기준 입력이 조밀한 군집을 이루고 양·음 편향 입력 다수가 먼 영역으로 이동하며, 점수와 출처 데이터셋으로 다시 색칠해도 군집 구조와 상관이 나타나지 않는다. PCA에서도 같은 패턴이 확인되고 원시 활성화 분산의 80% 이상을 설명하는 주성분들에서는 세 조건이 섞이므로, 편향 변위는 지배적인 내용 축과 다른 저차원 방향에 놓인다는 해석이 가능하다.
baseline manifold는 ‘정답 표현’의 단일 점으로 환원되지 않으며 정상 평가 입력이 차지하는 공분산 구조를 뜻한다. Mahalanobis 거리는 기준 중심으로부터의 유클리드 길이와 방향별 자연 변동 폭을 반영하므로, 원래 변동이 작은 축에서의 이동을 더 크게 본다. 이 정의는 후속 biased core 추출과 outcome feature를 같은 기준 분포에 고정해, 기하 분석·방향 학습·실패 예측 사이의 좌표계를 통일한다.
3. 방법론: 편향 방향을 찾고 개입하는 통합 프레임워크
3.1 점수 함수와 층별 활성화 수집
심판 M은 질문 q와 후보 답안 a를 prompt template P에 넣은 x=P(q,a)를 1부터 10까지의 정수 점수 s=M(x)로 사상한다. 변환 T가 a의 사실 내용과 논리 구조를 보존할 때 공정성 조건은 E[s(T(x))]=E[s(x)]이며, 체계적인 이탈을 scoring bias로 측정한다. 모든 activation 분석은 입력마다 한 번의 forward pass를 수행하고 decoder layer l=1,…,L의 점수 완성 직전 final-token state $h_{l}$(x)∈$R^{d}$를 기록한다.
open-source 심판의 forward pass는 bfloat16으로 수행하고 저장 직전 활성화를 float32로 변환하며, 질문 사이 batching을 하지 않아 padding mask를 통한 속성 상호작용을 차단한다. last-token pooling은 심판이 정수 점수를 내기 직전까지 축적한 문맥을 읽고, full-prompt mean pooling보다 방향 추정의 잡음을 줄인다. 분석 집합 $H_{base}^{(l)}$, $H_{pos}^{(l)}$, $H_{neg}^{(l)}$는 모든 층에서 동일한 paired question ID를 유지한다.
3.2 Effective bias sample과 90th-percentile biased core
변형이 존재해도 점수가 움직이지 않은 표본에는 관측된 평가 실패가 없으므로, 이를 편향 방향의 음성 예제로 섞으면 기하적 신호가 희석된다. 논문은 기대 방향으로 2점 이상 이동한 쌍만 effective bias substrate로 사용한다. 양의 집합은 $D_{eff}^{+}$={($x_{i}^{pos}$,$x_{i}^{base}$):s($x_{i}^{pos}$)−s($x_{i}^{base}$)≥$δ_{s}$}, 음의 집합은 $D_{eff}^{-}$={($x_{i}^{neg}$,$x_{i}^{base}$):s($x_{i}^{base}$)−s($x_{i}^{neg}$)≥$δ_{s}$}이고 전 구간에서 $δ_{s}$=2다.
각 effective pair의 핵심 관측량은 $Δh_{l}$(x)=$h_{l}$($x_{biased}$)−$h_{l}$($x_{base}$)다. 이 차분은 같은 질문·내용의 기준 벡터를 빼서 일반 의미 성분을 약화하고, 변형 단서가 점수 처리 과정에 더한 방향 성분을 남긴다. 점수 무변화 표본은 잘못 분류된 부정 사례로 취급하지 않고 null observation으로 제외하는 case-control framing을 적용한다.
음의 effective 집합 가운데 각 층의 기준 중심 $μ_{base}^{(l)}$와 공분산 $Σ_{base}^{(l)}$에 대한 Mahalanobis 거리가 기준 거리 분포의 90th percentile을 넘는 표본을 $D_{far}$로 정의한다. 대응 활성화 $H_{far}^{(l)}$는 기준 다양체에서 확실히 벗어난 biased core이며, discriminative estimator가 $H_{base}^{(l)}$와 분리해야 할 대조군이 된다. 방향을 강한 꼬리에서 적합하되 outcome prediction은 $δ_{o}$=1인 더 넓은 실패를 목표로 삼아, 방향 추정의 순도와 운영 탐지의 민감도를 구분한다.
3.3 방향 변화 추정량과 판별 경계 추정량
첫 번째 계열인 directional-change estimator는 effective pair들의 Δh를 직접 요약한다. Mean은 평균 변위를 취해 일관된 signed shift를 보존하고, Geometric Median은 $Σ_{x}$$∥Δh_{l}$(x)−$v∥_{2}$를 최소화해 극단 표본의 영향에 견고하며 Weiszfeld iteration으로 구한다. PCA는 중심화한 Δh 행렬의 top principal component를 사용해 부호보다 최대 공통 변동축을 복원하고, 기준-편향 방향에 맞게 orientation을 정한다.
두 번째 계열인 discriminative-boundary estimator는 $H_{base}$와 $H_{far}$를 나누는 초평면의 unit normal을 취한다. LDA는 $v^{T}$$S_{B}$v/$v^{T}$$S_{W}$v를 최대화해 class 간 산포 대비 class 내 산포가 큰 축을 찾고, logistic classifier는 L2 정규화된 가중치 w/$∥w∥_{2}$를 사용하며, linear SVM은 margin을 최대화하는 법선 벡터를 사용한다. 전자는 paired displacement를, 후자는 baseline과 biased core의 class geometry를 학습하므로 목적함수를 공유하지 않는 두 계열의 방향 합의가 구조의 안정성 검사가 된다.
| Mean | Geom. Median | PCA | LDA | Classifier | SVM | |
|---|---|---|---|---|---|---|
| Mean | — | 0.98 | 0.94 | 0.58 | 0.62 | 0.59 |
| Geom. Median | 0.98 | — | 0.93 | 0.61 | 0.65 | 0.62 |
| PCA | 0.94 | 0.93 | — | 0.55 | 0.60 | 0.57 |
| LDA | 0.58 | 0.61 | 0.55 | — | 0.95 | 0.91 |
| Classifier | 0.62 | 0.65 | 0.60 | 0.95 | — | 0.94 |
| SVM | 0.59 | 0.62 | 0.57 | 0.91 | 0.94 | — |
표 3에서 계열 내부 합의는 모두 0.91 이상이고, 계열 사이 합의도 0.55~0.65로 무관한 고차원 단위 벡터보다 높다. 이는 두 목적이 공통 coarse axis를 회수하면서도 Δh의 중심 경향과 class boundary라는 서로 다른 측면을 보존함을 뜻한다. 논문은 downstream causal experiment에서 Geometric Median, PCA, Classifier를 대표로 남기고, 여섯 벡터는 모두 unit-normalize해 방향 선택과 개입 세기 α가 혼합되지 않게 한다.
구현상 Geometric Median은 ε=$10^{-6}$, 최대 200회의 Weiszfeld 반복을 쓰고 PCA는 centered matrix의 truncated SVD를 사용한다. LDA는 lsqr solver와 automatic shrinkage, SVM은 squared-hinge loss와 C=1, logistic regression은 L2 penalty·C=1·balanced class weight로 학습한다. 층이 깊어질수록 biased-core fraction과 LDA separability가 증가하고 LDA/Classifier 방향이 수렴하므로, 개입 층은 dev set의 baseline-versus-biased separability가 최대인 layer 15~31 범위에서 편향 유형별로 선택한다.
3.4 양방향 activation steering과 feasibility
인과 개입은 선택한 단일 층에서 $h′_{l}$=$h_{l}$+$αv_{bias}^{(l)}$를 적용한 뒤 나머지 층을 그대로 실행한다. α>0으로 $D_{base}$에 방향을 주입하는 bias attack은 텍스트 단서 없이 편향 점수를 재현하고, α<0으로 $D_{eff}^{-}$에서 방향을 빼는 bias defense는 기준 점수 분포를 복원한다. 같은 축에서 양방향 효과가 나타나고 matched-norm random direction의 이동이 작을 때, $v_{bias}$는 점수 편향을 제어하는 sufficient interventional handle로 해석된다.
세기를 크게 만들면 점수 출력이 깨지거나 문항 순위가 붕괴한 채 W₁만 커질 수 있으므로 feasibility set F={α:V(α)≥0.93, $ρ_{S}$(α)≥$ρ_{S}^{text}$}를 둔다. V(α)는 1~10 범위의 파싱 가능한 정수 점수를 낸 forward pass 비율이고, Spearman floor는 유사한 의미 강도의 text-level perturbation이 보존한 순위 $ρ_{S}^{text}$ 이상을 요구한다. attack은 깨끗한 기준 분포로부터의 W₁ 이동을 최대화하고 defense는 무개입 기준 점수와의 W₁ 거리를 최소화하며, 두 목적 모두 유효성과 순위 보존 조건 안에서 최적 α*를 찾는다.
경험적으로 |α|가 커질수록 W₁은 비감소하고 V와 $ρ_{S}$는 비증가해 최적점이 feasible boundary에 놓인다. 1단계는 $α_{0}$=1에서 배가하며 제약 위반 구간을 찾고 ε=0.1까지 binary search하고, 2단계는 [$α_{bd}$−5, $α_{bd}$]에서 $T_{0}$=1, γ=0.95, $T_{min}$=$10^{-3}$, penalty M=$10^{3}$인 simulated annealing을 적용한다. 구성당 forward pass cap은 200회이며, 통상 약 100회로 조밀한 α∈[−100,100], step 0.01 grid보다 약 두 자릿수 낮은 비용에 경계를 정밀화한다.
3.5 활성화 특징을 이용한 outcome prediction
예측 단계는 입력에 편향 표지가 있는지를 맞히는 Target A와 실제 점수 저하를 예고하는 Target B를 분리한다. Target A는 $D_{base}$와 $D_{neg}$를 판별하는 sanity check라서 점수가 그대로인 변형도 성공 사례가 되며, Target B의 negative class는 s($x_{neg}$)≤s($x_{base}$)−$δ_{o}$, $δ_{o}$=1을 만족하는 표본이다. 벡터 적합의 $δ_{s}$=2보다 예측 문턱을 낮춘 이유는 강한 tail에서 깨끗한 방향을 추정한 뒤 운영 단계에서는 한 점 하락도 놓치지 않기 위해서다.
각 층의 특징은 세 묶음으로 구성된다. bias-direction features는 LDA와 Classifier 벡터에 대한 signed·centered projection, cosine, perpendicular distance를 담고, manifold-deviation features는 $M_{base}$에 대한 Mahalanobis distance와 z-score를 담으며, semantic-context features는 baseline PCA top-10 projection과 활성화의 norm·mean·variance 같은 내재 통계를 담는다. 층당 24개는 방향 특징 8개, 다양체 이탈 2개, 의미 문맥 14개로 나뉘고 Llama-3.1-8B의 32개 층을 잇으면 768차원이 된다.
단순 선형 모델은 층별 LDA·Classifier projection에 logistic regression을 적용해 기하 축의 전이성을 직접 시험한다. 확장 파이프라인은 near-zero-variance filter로 약 450개까지 줄이고 RFE로 약 120개를 남긴 뒤 LightGBM과 200회의 Optuna 탐색을 사용하며, 약 1:3인 class imbalance는 oversampling 대신 sample reweighting으로 처리한다. 풍부한 특징은 in-domain 적합도를 높일 수 있지만 domain-specific context까지 흡수할 수 있어, 완전 미관측 벤치마크 성능을 별도로 보고한다.
| 비교 항목 | Dev AUC | 전체 test AUC | 전체 test AP | 미관측 3종 AUC |
|---|---|---|---|---|
| Text-based LLM detector | 0.641 | 0.633 | 0.937 | — |
| Projection Features Only, linear | 0.883 | 0.854 | 0.977 | 0.821 |
| GBDT, all features+RFE+Optuna | 0.926 | 0.839 | 0.976 | 0.751 |
| Target A, stylistic discrimination | — | 0.972 | 0.989 | — |
| Target B, outcome prediction | — | 0.839 | 0.976 | — |
Target A의 AUC 0.972와 Target B의 0.839 사이 간격은 표면 변형의 내부 흔적이 실제 점수 저하보다 훨씬 쉽게 검출됨을 보여준다. 전체 test에서는 projection-only linear model이 AUC 0.854로 GBDT의 0.839보다 높고, 완전 미관측 3종에서도 각각 0.821과 0.751이어서 저차원 방향 특징의 도메인 전이가 더 안정적이다. 이 결과는 baseline manifold, typed bias direction, constrained steering, failure prediction을 동일한 activation geometry의 관찰·개입·예측 단계로 연결한다.
4. 실험 설정: 7개 judge와 9개 benchmark의 교차 설계
4.1 데이터셋 구성과 통제된 편향 변환
이 연구의 실험 단위는 질문, 기준 답변, 그리고 표면 단서만 바꾼 대응 답변의 삼중 구조다. GSM8K, MMLU, TruthfulQA, CommonsenseQA, PubMedQA, GPQA, ARC-Challenge, SocialMaze, BBQ에서 각각 500개를 균등 표집하여 총 4500 questions를 만든다. 기준 답변은 GPT-4o-Mini, Llama-3.3-70B, Qwen2.5-72B, Deepseek-V3, Gemma-3-27B, Phi-4의 6모델 풀에서 무작위로 생성하므로, 특정 생성기의 문체나 추론 방식이 기준 분포를 독점하지 않는다.
각 기준 답변에는 Prestige, Verbosity, Bandwagon, Authority, Sentiment, Refinement, Diversity의 7가지 단서를 양·음 극성으로 적용한다. 따라서 양의 극성은 4500×7=31500개, 음의 극성도 31500개이며, 기준 답변까지 합치면 평가 대상은 67,500개다. Prestige·Bandwagon·Refinement·Diversity는 답변 본문을 비트 단위로 보존한 채 출처나 메타데이터 문구만 붙이고, Verbosity·Sentiment는 제한된 산문 재작성, Authority는 인용 표지 삽입을 사용한다. 이 대응 설계의 핵심은 질문과 사실 내용을 고정해 점수 차이를 표면 단서의 효과로 해석할 수 있게 하는 데 있다.
| 구성 요소 | 설정 | 분석상 역할 |
|---|---|---|
| 질문 | 9 benchmark × 500 = 4500 | 수학·지식·상식·의학·사회인지·공정성 영역 포괄 |
| 기준 답변 | 6개 생성 모델 풀, 4500개 | 생성기 고유 문체에 대한 종속 완화 |
| 양의 변형 | 7 bias × 4500 = 31500 | 호의적 표면 단서에 의한 점수 상승 또는 역전 측정 |
| 음의 변형 | 7 bias × 4500 = 31500 | 불리한 표면 단서에 의한 점수 하락 측정 |
| 점수 범위 | 1~10 정수, greedy decoding | 확률적 생성 변동을 줄인 대응 비교 |
4.2 Judge, 프롬프트, 활성화 추출
행동 실험의 7 judges는 GPT-4.1, GPT-4o-Mini, Llama-3.1-8B, Llama-3.3-70B, Qwen3-14B, Gemma-3-12B, Deepseek-V3다. 폐쇄형 API와 서로 다른 규모의 공개형 아키텍처를 함께 놓아 한 계열의 현상을 일반화하는 오류를 줄였다. 내부 활성화가 필요한 표현 분석은 Llama-3.1-8B, Qwen3-14B, Gemma-3-12B 세 모델에서 수행하고, 본문의 세부 수치는 주로 32층 Llama-3.1-8B를 기준으로 보고한다.
평가 프롬프트는 CoT 사용 여부와 strict scoring 여부를 직교시켜 네 구성을 만든다. 주 분석은 계산량이 작고 점수 척도의 양쪽 여유를 확보하는 strict, non-CoT를 사용하지만, 비대칭성은 네 조건 모두에서 재현된다. 활성화 분석에서는 각 입력을 한 번 순전파하고 모든 디코더 층 출력에서 마지막 토큰의 은닉 상태를 기록한다. 점수를 바꾸지 못한 변형을 억지로 원인 벡터에 넣지 않고, 예상 방향으로 2점 이상 이동한 쌍을 effective bias sample로 삼으며, 층별 차이 Δh를 편향 변위로 정의한다.
| 범위 | 모델 | 용도 |
|---|---|---|
| 행동 점수 | GPT-4.1, GPT-4o-Mini, Llama-3.1-8B, Llama-3.3-70B, Qwen3-14B, Gemma-3-12B, Deepseek-V3 | 모델별 양·음 편향 비대칭 재현 |
| White-box 활성화 | Llama-3.1-8B, Qwen3-14B, Gemma-3-12B | 층별 기하, 아키텍처 간 방향 전이 |
| 주 분석 모델 | Llama-3.1-8B | 32개 층의 표현, steering, detector 분석 |
| 프롬프트 | CoT × Strict의 4조건 | 기본값은 strict, non-CoT |
4.3 Nested split과 인간 동등성 검증
분할 비율은 질문 ID 기준 45/15/40 split, 즉 train 45%, development 15%, test 40%다. train과 development는 6개 benchmark만 사용하지만 test에는 9개가 모두 들어간다. 그중 unseen SocialMaze/BBQ/GPQA는 질문, 도메인 맥락, 변형 쌍을 벡터 추정과 detector 학습에 전혀 제공하지 않는 외부 도메인이다. 따라서 test는 본 도메인의 새 질문과 완전히 보지 못한 도메인을 동시에 측정하며, 단순 무작위 분할보다 전이 주장에 엄격하다.
표면 변환이 실제 답변 품질을 바꾸었다면 judge의 점수 차이를 곧바로 편향이라 부를 수 없다. 연구진은 Verbosity와 Sentiment에서 각 250쌍을 3명이 평가하고, 5점 Likert 척도의 동등 기준 3을 중심으로 ±0.30의 TOST 구간을 사전 설정했다. 여덟 셀 모두 비동등성 귀무가설을 p<0.05로 기각했고 평균은 2.94~3.02였다. 본문 동일형 Bandwagon·Authority·Diversity·Refinement도 각 250쌍에서 네 차원 모두 같은 동등성 기준을 통과했다. 이는 ‘차이가 유의하지 않다’라는 소극적 결론을 넘어 허용 오차 안의 human equivalence를 적극적으로 검증한 것이다.
| 평가 차원 | Verbosity 평균±SD | 저하 응답 | Sentiment 평균±SD | 저하 응답 |
|---|---|---|---|---|
| 사실 일관성 | 3.01±0.42 | 2.4% | 3.02±0.39 | 2.1% |
| 논리 응집성 | 2.98±0.48 | 3.6% | 2.99±0.45 | 2.9% |
| 완전성 | 2.96±0.51 | 4.7% | 3.01±0.46 | 2.5% |
| 종합 품질 | 2.94±0.55 | 6.3% | 2.97±0.52 | 5.2% |
| 평가자 간 κ | 0.73 | 0.69 | ||
이 통제에도 해석 범위는 남는다. 메타데이터 표지가 현실에서 신뢰도 정보로 쓰일 수 있으므로 모든 점수 반응이 규범적으로 부당하다고 자동 판정되는 것은 아니다. 다만 인간은 동일 표지를 본 뒤에도 사실성·논리성·완전성·종합 품질을 동등하게 평가했고, judge만 Bandwagon−에서 평균 1.56점, Authority−에서 0.79점, Diversity−에서 0.94점, Refinement−에서 0.57점을 더 낮췄다. 이 차이가 논문의 조작적 편향 정의를 지지한다.
5. 주요 실험 결과: 편향의 비대칭성과 저차원 활성화 기하학
5.1 점수 분포와 기준 활성화 manifold
행동 결과와 표현 결과를 연결하는 첫 관찰은 기준 입력이 은닉 공간에서 조밀한 영역을 이룬다는 점이다. 아래 MDS는 동일한 layer 25 활성화를 조건, 실제 점수, 출처 데이터셋으로 각각 다시 칠한다. 조건 색에서는 기준 군집과 편향 군집이 갈리지만 점수색과 데이터셋색에서는 같은 경계를 설명하지 못한다. 따라서 단순히 저득점 답변이나 특정 benchmark의 저득점 효과보다, 표면 단서가 최종 토큰 표현을 기준 활성화 manifold 밖으로 이동시킨 결과로 읽는 편이 타당하다.
Figure 1. Llama-3.1-8B layer 25의 최종 토큰 활성화 MDS. (a)는 기준과 Bandwagon−, Diversity−, Refinement+, Sentiment+ 조건, (b)는 부여 점수, (c)는 원천 데이터셋으로 같은 점을 색칠한다.
조건별 패널에서는 기준 입력이 좁은 군집을 만들고 대부분의 편향 입력이 극성과 무관하게 먼 영역으로 이동한다. 그러나 동일 좌표를 점수와 데이터셋으로 칠하면 그 경계가 반복되지 않는다. 즉 투영의 분리는 단순한 저득점 축이나 도메인 군집의 대용물이 아니다. MDS 자체가 인과성을 증명하지는 않지만, 이후 차이 벡터와 steering을 검사할 공간적 가설을 구체화한다.
Figure 1의 첫 패널에서 파란 기준 활성화는 원점 부근의 작은 핵을 이루지만 Bandwagon−, Diversity−, Refinement+, Sentiment+ 표본은 넓은 외곽 영역으로 밀려난다. 같은 좌표를 점수와 데이터셋으로 다시 색칠한 두 패널에는 이 분리를 설명할 일관된 군집이 없다. 따라서 관찰된 간격은 낮은 점수나 특정 benchmark의 내용 차이보다 편향 단서와 결합된 표현 이동에 가깝다. 네 조건이 같은 단일 축을 따르기보다 넓은 외곽을 차지한다는 점도 단순 점수 축 해석을 경계하게 한다.
분포 수준에서도 음의 단서는 기준 분포를 왼쪽으로 이동시키고 양의 단서는 대체로 기준과 겹친다. Figure 2는 주 분석 모델인 Llama-3.1-8B의 strict, non-CoT 결과를 보여 준다. 평균 차이만 보고 일부 꼬리의 효과를 놓치는 문제를 피하기 위해 논문은 Cohen’s d와 함께 분포 간 1-Wasserstein 거리 W1을 사용한다. 이 모델에서 양의 5종 집계 W1은 0.243인 반면 음의 집계 W1은 0.863이다.
Figure 2. strict, non-CoT 조건에서 Llama-3.1-8B의 기준·양의 변형·음의 변형 점수 분포. 음의 변형은 왼쪽으로 이동하고 양의 변형은 기준 분포와 대부분 겹친다.
세 분포의 차이는 ‘편향 단서가 있으면 언제나 점수가 움직인다’는 대칭 모형과 맞지 않는다. 불리한 단서는 넓은 구간에서 감점을 유발하지만, 유리한 단서는 Refinement+ 같은 특정 유형을 제외하면 보상으로 환산되지 않는다. 기준 평균을 낮춘 strict 조건에서도 같은 모양이 남으므로, 높은 기준 점수 때문에 상승 여지가 막힌 천장 효과만으로 비대칭을 설명하기 어렵다.
Figure 2에서 Llama-3.1-8B의 평균 점수는 기준 5.71, 양의 변형 5.95, 음의 변형 4.52로 나타난다. 긍정 단서는 5~6점 구간의 질량을 조금 늘리는 데 그치지만, 부정 단서는 3~4점 구간으로 분포 전체를 크게 이동시킨다. 이 비대칭은 일부 극단 표본의 평균 효과로는 설명되지 않는 히스토그램 전반의 재배치이며, 이후 기하학 분석이 설명해야 할 행동 수준의 현상이다. 분산과 꼬리 모양도 달라져 단순 평균 보정만으로 취약성을 모두 제거하기 어렵다.
5.2 7개 모델의 비대칭성과 bias별 평균
7개 judge 모두 음의 변형에 대해 Cohen’s d −0.35~−0.65의 일관된 감점을 보였고 p<$10^{-3}$이었다. 반면 양의 집계는 작고 모델별 유의성도 약하다. 아래 표의 양의 열은 점수를 올리는 다섯 유형만 평균하므로 Llama-3.1-8B에서 +0.243이며, Bandwagon+와 Diversity+까지 포함한 전체 7유형 평균은 약 +0.07이다. 두 집계를 구분해야 ‘양의 효과가 완전히 없다’는 과도한 결론과 ‘평균적으로 대칭이다’라는 잘못된 결론을 모두 피할 수 있다.
| Judge model | 기준 평균 | 양 Δ평균 | 양 Cohen’s d | 양 W1 | 음 Δ평균 | 음 Cohen’s d | 음 W1 |
|---|---|---|---|---|---|---|---|
| Llama-3.1-8B | 5.71 | +0.243 | +0.162 | 0.243 | −0.853 | −0.580 | 0.863 |
| Qwen3-14B | 5.53 | +0.175 | +0.118 | 0.185 | −0.935 | −0.648 | 0.945 |
| Gemma-3-12B | 5.61 | +0.152 | +0.103 | 0.162 | −0.870 | −0.596 | 0.880 |
| GPT-4o-Mini | 5.48 | +0.098 | +0.067 | 0.108 | −0.685 | −0.473 | 0.695 |
| Llama-3.3-70B | 5.39 | +0.082 | +0.055 | 0.092 | −0.610 | −0.425 | 0.620 |
| Deepseek-V3 | 5.42 | +0.065 | +0.044 | 0.075 | −0.545 | −0.388 | 0.555 |
| GPT-4.1 | 5.27 | +0.020 | +0.021 | 0.060 | −0.360 | −0.346 | 0.370 |
모델 규모가 커질수록 단조롭게 안전해지는 패턴도 아니다. 중형 공개 모델 세 개의 이동이 상대적으로 크지만 GPT-4o-Mini도 뚜렷하고, frontier 모델도 통계적으로 유의한 음의 이동을 남긴다. 더 중요한 것은 bias별 순위가 극성 사이의 거울상과 다르다는 점이다. 기준 평균 5.84에서 Refinement+는 6.61로 크게 오르지만 Bandwagon+는 5.38, Diversity+는 5.65로 오히려 내려간다. 음의 쪽에서는 Bandwagon−가 4.28로 가장 강하고 Sentiment−는 5.77로 거의 평평하다.
| Bias | 양의 평균 | 기준 대비 | 음의 평균 | 기준 대비 |
|---|---|---|---|---|
| Prestige | 5.85 | +0.01 | 5.46 | −0.38 |
| Verbosity | 6.00 | +0.16 | 5.24 | −0.60 |
| Bandwagon | 5.38 | −0.46 | 4.28 | −1.56 |
| Authority | 5.86 | +0.02 | 5.05 | −0.79 |
| Sentiment | 6.01 | +0.17 | 5.77 | −0.07 |
| Refinement | 6.61 | +0.77 | 5.27 | −0.57 |
| Diversity | 5.65 | −0.19 | 4.90 | −0.94 |
도메인 상호작용도 평균을 세분한다. Bandwagon−는 CommonsenseQA −2.46, ARC-Challenge −2.13으로 추론형에서 두드러지고, Authority−는 PubMedQA −1.25와 MMLU −0.98처럼 지식형에 집중된다. Diversity−는 SocialMaze −1.86, BBQ −2.03으로 사회적 맥락에서 가장 크다. 따라서 하나의 ‘취약한 judge’ 점수로 모든 실패를 요약하기보다는, 단서 유형과 문제 영역의 교차항을 모델링해야 한다.
5.3 Bias vector의 유형 분리와 깊이별 정제
원시 활성화 h 자체보다 대응 쌍의 차이 Δh를 보면 유형 구조가 선명해진다. Figure 3은 극성이 다른 Refinement+와 Diversity−의 effective bias vector를 비교한다. layer 5에서 겹치던 두 집단은 layer 15에서 갈라지고 layer 25에서 뚜렷한 방향을 이룬다. 이는 ‘긍정 대 부정’이라는 한 축의 분리를 넘어 각 단서가 고유한 궤적을 형성한다는 증거다.
Figure 3. Llama-3.1-8B의 layer 5, 15, 25에서 Refinement+와 Diversity−의 표본별 effective bias vector Δh를 MDS로 투영한 결과.
초기층의 중첩은 표면 토큰이 아직 유형별 점수 의미로 충분히 정리되지 않았음을 시사한다. 중간층 이후 주황색 Refinement+와 파란색 Diversity−가 서로 다른 궤도로 모이면서, 같은 ‘기준에서 멀어짐’ 안에도 구별 가능한 성분이 있음을 보여 준다. 다만 이 그림만으로 극성 차이와 유형 차이를 분리할 수 없으므로, 논문은 Figure 5의 동일 음극성 비교를 별도 대조군으로 둔다.
Figure 3은 절대 활성화 대신 각 편향 표본과 대응 기준 표본의 차이 벡터 $\Delta\vec{h}_l$를 그린다. layer 5에서는 Refinement+와 Diversity−가 상당히 겹치지만 layer 15에서 두 구름의 중심이 갈라지고 layer 25에서는 서로 다른 영역을 차지한다. 편향 신호가 단일 긍정·부정 축으로 정리되는 수준을 넘어, 깊은 층에서 유형별 방향으로 정제된다는 주장을 직접 시각화한다. 따라서 실제 intervention도 유형별 벡터를 구분해 설계해야 한다.
절대 활성화의 깊이별 모습도 기준 manifold가 한 층의 우연이 아님을 보인다. Figure 4에서 layer 5, 15, 25 모두 기준 활성화는 조밀하고 음의 변형은 먼 영역으로 이동한다. 깊어질수록 분리 축이 정제되지만 일부 음의 표본이 계속 기준 가까이에 남는데, 이것이 바로 표면 단서가 있어도 점수가 변하지 않는 null-shift 사례다. 논문이 effective subset과 전체 perturbed set을 구별하는 이유도 여기에 있다.
Figure 4. Llama-3.1-8B의 layer 5, 15, 25에서 기준 집합과 음의 변형 집합의 최종 토큰 절대 활성화를 비교한 MDS.
세 층에서 반복되는 ‘좁은 기준 영역과 이탈한 편향 활성화’는 layer 25 한 지점만 골라 얻은 시각적 산물이 아님을 확인한다. 동시에 음의 변형 일부는 기준 군집 부근에 남는다. 표면 단서의 존재와 실제 점수 저하는 동일 사건이 아니며, 이 잔류 표본 때문에 단서 탐지 Target A가 점수 저하 예측 Target B보다 훨씬 쉬워진다는 후속 결과가 자연스럽게 연결된다.
Figure 4는 layer 5, 15, 25의 원시 final-token activation을 비교한다. 세 깊이 모두 기준 표본은 상대적으로 조밀한 군집을 유지하고, 음의 변형은 더 넓고 떨어진 영역에 분포한다. 다만 일부 변형 표본은 기준 manifold 가까이에 남아 있어 표면 단서의 존재와 실제 점수 저하가 동일하지 않음을 보여 준다. 이 잔존 구간이 effective bias sample을 별도로 정의한 이유다. surface cue 분류와 실제 outcome prediction을 구분한 실험 설계도 이 관찰에서 나온다.
동일 극성 안에서도 유형 특이성이 유지된다. Figure 5의 Bandwagon−와 Diversity−는 둘 다 감점 단서이므로, 깊은 층의 분리를 양·음 극성 차이로 돌릴 수 없다. Bandwagon은 합의 정보, Diversity는 저자 정체성 표지를 전달하며 layer 25에서 다른 군집을 이룬다. 이 결과는 이후 bias-type swap이 무작위 방향보다 강하지만 동일 유형 방향보다는 약하다는 중간적 구조와 일관된다.
Figure 5. layer 5, 15, 25에서 Bandwagon−(빨강)와 Diversity−(파랑)의 표본별 effective bias vector Δh를 투영한 MDS.
두 조건은 모두 점수를 낮추는 음의 단서이지만 깊은 층으로 갈수록 분리된다. 따라서 후기 표현을 단순한 ‘낮은 점수 방향’ 하나로 축약하기 어렵다. 공통 저차원 기저 안에서 합의 단서와 정체성 단서가 서로 다른 성분을 차지한다는 해석이 더 맞다. 이는 서로 다른 bias vector를 바꾸어 끼웠을 때 효과가 완전히 사라지지도, 원래 방향만큼 유지되지도 않는 swap 결과를 예고한다.
Figure 5는 같은 음의 극성을 가진 Bandwagon−와 Diversity−만 비교해 polarity 혼입 가능성을 줄인다. layer 5의 두 차이 벡터는 겹치지만 layer 15와 25에서 빨강과 파랑 구름이 서로 다른 궤적으로 분리된다. 둘 다 감점을 유발해도 peer-consensus 단서와 사회적 정체성 단서가 내부에서 동일한 score 감소 방향을 공유하는 데 그치지 않고, 유형 특이 성분을 함께 가진다는 근거다. swap control에서 다른 유형 벡터가 random보다는 강하지만 within-type보다 약한 패턴과도 이어진다.
이 변화는 벡터 크기의 증가가 아니다. Figure 6에서 기준과 음의 변형의 L2 norm은 최종 score-readout 이전 모든 층에서 BH 보정 후 p>0.1이고 상대 차이는 2% 미만이다. 마지막 층에서만 3.5% 차이가 검출된다. 즉 대부분의 층에서 중요한 것은 활성화가 원점에서 얼마나 멀리 있느냐보다 어느 방향으로 이동했느냐다.
Figure 6. Llama-3.1-8B 32개 층의 최종 토큰 활성화 평균 L2 norm. 기준은 파란 실선, 음의 변형은 빨간 점선이며 음영은 표본 간 ±1 SD다.
두 곡선이 거의 포개진다는 사실은 norm threshold만으로 편향 상태를 찾는 접근의 한계를 보여 준다. 최종 readout에서 3.5% 차이가 나타나지만 그 이전에는 보정된 유의차가 없고, 방향 기반 분리는 이미 깊이에 따라 강화된다. 따라서 후속 detector가 Mahalanobis 거리 하나보다 LDA·Classifier 방향 투영에서 더 높은 AUC를 얻고, steering도 단위 정규화한 방향과 별도 세기 α를 사용하는 것이 합리적이다.
Figure 6의 기준 곡선과 음의 변형 곡선은 32개 층에 걸쳐 거의 포개지며, 논문이 보고한 층별 two-sample t-test도 모든 층에서 $p>0.1$이다. hidden state의 L2 norm은 깊이에 따라 약 15에서 160 수준으로 커지지만 두 조건의 크기 차이는 통계적으로 구분되지 않는다. 편향 검출에 필요한 정보가 activation magnitude 자체보다 고차원 공간에서 이동한 방향과 기준 manifold에 대한 상대 위치에 놓인다는 해석을 지지한다.
5.4 저차원성, layerwise 지표, 아키텍처 간 전이
층별 정량치는 ‘깊어질수록 보인다’는 시각적 진술을 네 지표로 분해한다. biased-core 비율과 LDA separability는 단조 증가하고, 서로 다른 목적함수로 학습된 LDA와 선형 classifier 방향의 cosine은 layer 31에서 0.94까지 수렴한다. 반면 raw classifier AUC는 layer 10~15에서 0.94로 정점에 이른 뒤 0.87로 낮아진다. 초기·중간층의 어휘 단서는 분류하기 쉽지만, 후기층에서는 표면 구분보다 점수 판정에 정렬된 축으로 재조직된다는 해석이 가능하다.
| Layer | biased-core ρ | LDA separability | Classifier AUC | cos(LDA, Classifier) |
|---|---|---|---|---|
| 5 | 0.32 | 0.71 | 0.89 | 0.52 |
| 10 | 0.48 | 0.79 | 0.94 | 0.68 |
| 15 | 0.62 | 0.85 | 0.94 | 0.78 |
| 20 | 0.73 | 0.90 | 0.93 | 0.85 |
| 25 | 0.81 | 0.93 | 0.91 | 0.91 |
| 31 | 0.87 | 0.95 | 0.87 | 0.94 |
‘bias direction’은 엄밀히 1차원이라는 뜻이 아니다. layer 25의 Δh 공분산을 분해하면 top-1은 유형별 38.7~47.3%만 설명하지만 top-3은 70.8~78.6%, subspace top-k 중 top-5는 모든 유형에서 83.5~89.1%를 설명한다. 따라서 지배축 하나는 steering용 대표 좌표이고, 실제 현상은 3~5차원 부분공간에 가깝다.
| Bias type | top-1 | top-3 | top-5 | top-10 |
|---|---|---|---|---|
| Bandwagon− | 47.3 | 78.6 | 89.1 | 95.4 |
| Diversity− | 43.8 | 75.2 | 86.7 | 94.1 |
| Authority− | 41.5 | 73.4 | 85.9 | 93.5 |
| Refinement+ | 44.2 | 76.0 | 87.4 | 94.3 |
| Sentiment− | 38.7 | 70.8 | 83.5 | 92.1 |
서로 다른 hidden dimension을 직접 비교할 수 없으므로 연구진은 500개의 tokenizer 일치 기준 활성화를 1024차원 공통 probing basis에 투영하고 Procrustes 정렬을 적용했다. layer 25 classifier 방향의 cross-architecture cos는 0.47~0.62다. 무작위 단위벡터 기준 0, 표준편차 약 0.031보다 충분히 크지만 동일 모델 내 estimator 합의 0.91 이상보다는 낮다. 결과는 보편적으로 동일한 벡터와는 달리, 공유 성분과 아키텍처 고유 회전이 함께 존재하는 부분 전이를 지지한다.
| Bias type | Llama↔Qwen | Llama↔Gemma | Qwen↔Gemma |
|---|---|---|---|
| Bandwagon− | 0.58 | 0.51 | 0.55 |
| Refinement+ | 0.62 | 0.55 | 0.59 |
| Authority− | 0.51 | 0.47 | 0.49 |
6. 추가 분석 및 Ablation Study: 인과성·전이·강건성 검증
6.1 같은 방향을 이용한 attack과 defense
상관적 군집만으로는 bias vector가 점수 결정의 원인인지 결과인지 구별할 수 없다. 연구진은 기준 활성화에 +αv를 더해 편향 점수를 재현하는 attack과, 음의 편향 활성화에서 αv를 빼 기준 점수로 되돌리는 defense를 같은 방향에서 수행한다. α는 W1을 최대화하되 유효 정수 출력 비율 0.93 이상과 text intervention이 정한 Spearman 하한을 지키도록 탐색한다. 양방향 효과가 있고 같은 norm의 무작위 방향에는 효과가 없다면, v는 유일한 신경 경로라는 뜻은 아니어도 충분한 개입 손잡이라고 말할 수 있다.
| Bias | 방법 | Attack W1 | Attack ρ | Defense W1 감소 | Defense ρ |
|---|---|---|---|---|---|
| Authority− | Text | 0.78 | 0.70 | 0.11 | 0.74 |
| Classifier | 1.62 | 0.78 | 0.62 | 0.81 | |
| Bandwagon− | Text | 1.66 | 0.51 | 0.09 | 0.56 |
| PCA | 3.43 | 0.58 | 0.61 | 0.67 | |
| Refinement− | Text | 0.59 | 0.76 | 0.15 | 0.77 |
| PCA attack / Classifier defense | 1.13 | 0.80 | 0.52 | 0.83 |
최적 α는 Refinement−의 layer 7 Geometric Median에서 2.19, Bandwagon−의 layer 31 PCA에서 75.75까지 넓게 퍼진다. 하나의 세기를 모든 유형과 층에 적용할 수 없다는 뜻이다. 최선의 activation defense는 W1 격차를 52~62% 줄여 text rewrite의 9~15%를 3~5배 앞서며, 출력 유효성은 대체로 0.93 이상이다. 절대 Spearman 하한 ρ≥0.85로 바꾼 ablation에서도 activation은 38~45%, text는 6~10% 감소로 4.5~6.3배 차이를 유지한다.
층별 α와 W1은 중간층에서 완만하다가 30~31층에서 급격히 변한다. 이는 ‘오직 한 critical layer만 편향을 담는다’는 설명과 다르다. 신호는 여러 층에 분포하지만 후기 score readout에 가까워질수록 동일한 순위 보존 제약 아래 허용되는 세기와 점수 이동의 교환관계가 가팔라진다.
Figure 7. 3개 vector 방법을 평균한 층별 최적 α(위)와 W1(아래). 여섯 bias 유형의 곡선은 layer 30~31에서 가장 가파른 hockey-stick 형태를 보인다.
중간층의 W1이 대체로 0.4~0.7 범위에 머문다는 점은 개입 가능한 신호가 한 층에만 국한되지 않음을 보여 준다. 후기층에서 Bandwagon−의 W1이 크게 뛰고 α도 상승하지만, layer 31에서는 score readout 민감도가 Spearman 제약을 더 빨리 활성화할 수 있다. 따라서 큰 α를 곧 강한 내부 편향으로 해석해서는 안 되며, 층별 readout 민감도와 함께 읽어야 한다.
Figure 7의 위 패널에서 최적 개입 강도 $\alpha^*$는 중간 층까지 완만하게 증가하다 layer 30~31 부근에서 급격히 커지는 hockey-stick 형태를 보인다. 아래 패널의 $W_1$은 중간 층에서 대체로 0.4~0.7에 머물지만 마지막 층에서 Bandwagon−가 약 1.75까지 뛴다. 특정 한 층에만 편향 회로가 존재한다기보다 여러 층에 방향 신호가 분포하고, score readout에 가까워질수록 작은 정렬 차이가 큰 점수 이동으로 증폭된다.
세 estimator는 같은 방향의 서로 다른 근사치이지만 공격 강도와 순위 보존의 위치가 다르다. PCA는 큰 α와 W1을 얻는 대신 ρ가 가장 낮고, Geometric Median은 가장 완만하며 ρ를 잘 보존한다. Classifier는 둘 사이에 놓인다. Figure 8은 ‘최고 한 방법’을 고르는 대신 목적에 따라 estimator를 구분해야 함을 보여 준다.
Figure 8. 여섯 bias를 평균한 Geometric Median, PCA, Classifier의 층별 최적 α, W1, Spearman ρ. PCA는 강하고 Geometric Median은 완만하며 Classifier는 중간이다.
PCA가 가장 큰 분포 이동을 만든다고 해서 항상 더 좋은 인과 probe인 것은 아니다. 점수 순위를 덜 보존하면 답변 품질 축까지 교란했을 가능성이 커지기 때문이다. 반대로 Geometric Median은 공격 효과는 작지만 ordinal faithfulness가 높다. 세 방법의 상대 위치가 층에 걸쳐 유지되는 결과는 단일 성능 숫자보다 강도·유효성·순위 보존의 다목적 경계를 보고 개입을 선택해야 함을 보여 준다.
Figure 8은 estimator마다 강도와 순위 보존의 trade-off가 다름을 보여 준다. PCA는 깊은 층에서 가장 큰 $\alpha^*$와 $W_1$을 얻지만 Spearman $\rho_S$가 가장 낮아 원래 답안 품질 순서를 더 많이 흔든다. Geometric Median은 이동량이 작고 순위 보존이 높으며 Classifier는 두 성질의 중간에 위치한다. 따라서 하나의 estimator가 모든 목적을 지배하지 않고, 공격·방어·감사 목표에 따라 선택 기준이 달라진다.
6.2 Random direction, bias swap, held-out defense
Random direction 대조군은 각 bias·layer·α 조합에서 같은 norm의 단위구면 무작위 벡터를 5회 주입한다. bias vector W1은 무작위 평균보다 5.9~11.1배, 무작위 최대보다도 3.4~7.0배 크고, 무작위 개입의 ρ는 모든 행에서 0.95 이상이다. 즉 큰 norm을 넣어 readout을 일반적으로 망가뜨린 결과가 아니다. Swap은 다른 bias 유형의 방향을 같은 norm으로 바꾸어 넣으며, shared subspace와 type-specific component를 동시에 검사한다.
| Bias | 동일 유형 W1 | Swap 평균 W1 | Random 평균 W1 | Random ρ |
|---|---|---|---|---|
| Authority− | 1.62 | 0.71 | 0.21 | 0.96 |
| Bandwagon− | 3.43 | 1.38 | 0.31 | 0.95 |
| Diversity− | 2.65 | 1.04 | 0.28 | 0.96 |
| Refinement− | 1.13 | 0.51 | 0.18 | 0.97 |
Swap W1 0.51~1.38은 random 0.18~0.31보다는 크지만 within-type 1.13~3.43보다 작다. within/swap 비는 2.0~2.5배, swap/random 비는 2.8~4.5배다. 모든 bias가 완전히 같은 score-readout 축이라면 swap이 within과 같아야 하고, 완전히 직교한다면 swap이 random 수준이어야 한다. 관측값은 둘 사이이므로, 저차원 공통 기반 안에 유형별 방향이 분화된다는 앞 절의 기하학과 맞는다.
과적합 통제도 같은 결론을 낸다. 5-fold cross-validation에서 held-out defense W1 감소는 Authority− 0.54±0.04, Bandwagon− 0.51±0.03, Refinement− 0.45±0.06으로 in-sample의 80% 이상을 유지한다. 각 값은 text rewrite 0.11, 0.09, 0.15보다 여전히 3~5배 높다. 따라서 방향을 계산한 effective sample에 다시 적용해서 생긴 순환적 성능만으로 설명하기 어렵다.
6.3 Cross-domain detector와 구성요소 ablation
운영 과제는 편향 문구의 존재 여부보다 실제로 judge 점수가 1점 이상 떨어질지를 사전에 예측하는 것이다. 스타일 판별 Target A는 AUC 0.972지만 outcome Target B는 전체 test AUC 0.839로 낮다. 이 격차는 모든 변형 입력이 점수 저하를 일으키지는 않는다는 사실을 반영한다. detector는 층별 LDA·Classifier 방향 투영, 기준 manifold의 Mahalanobis 거리, baseline PCA와 활성화 통계를 사용한다.
| Detector | Seen AUC | Seen AP | Unseen AUC | Unseen AP |
|---|---|---|---|---|
| Text-based LLM detector | 0.638 | 0.942 | 0.624 | 0.928 |
| Projection features only | 0.869 | 0.981 | 0.821 | 0.967 |
| GBDT | 0.902 | 0.988 | 0.751 | 0.953 |
Cross-domain detectors의 핵심 비교는 단순 선형 projection이 unseen SocialMaze, BBQ, GPQA에서 AUC 0.821을 유지하는 반면, 표현력이 큰 GBDT는 seen 0.902에서 unseen 0.751로 하락한다는 점이다. text-only GPT-4o-Mini zero-shot detector는 unseen 0.624에 그친다. 전체 test에서는 projection-only가 0.854, GBDT가 0.839이고, development에서는 각각 0.883과 0.926이다. 복잡한 모델이 본 도메인의 활성화 문맥까지 학습한 반면 저차원 방향 투영은 상대적으로 도메인 불변인 부분을 보존한다.
구성요소 ablation에서도 Mahalanobis 1개 특성은 test AUC 0.711, PCA·내재 통계만 쓰면 0.792, bias-direction projection만 쓰면 0.831, 전체 특성에서 RFE를 빼면 0.825, 전체+RFE+Optuna는 0.839다. 최종 GBDT의 Gini importance도 방향 투영 41개가 62.3%, Mahalanobis 22개가 18.7%, PCA·통계 57개가 19.0%다. 즉 성능의 대부분은 고차원 특징 수보다 방향 정렬에서 나온다.
마지막으로 unseen trio를 다섯 방식으로 교체해 재학습하면 선형 projection AUC는 0.798~0.832, GBDT는 0.732~0.764 범위다. 기본 trio의 0.821과 0.751은 유리한 예외와 달리 범위 중앙에 가깝다. 다만 이 결과는 세 white-box 중형 모델과 설계된 7개 표면 단서에 한정된다. 아키텍처 간 cosine이 1이 아니고 GBDT의 domain gap도 크므로, 한 모델에서 찾은 방향을 다른 judge의 보편적 debiasing 벡터로 바로 배포하기보다 모델별 보정과 외부 도메인 검증을 별도로 수행해야 한다.
7. 한계점 및 향후 연구 방향: 인과 경로와 배포 제약의 남은 거리
7.1 세 개 white-box 모델이 정하는 외적 타당도의 경계
행동 수준 실험은 GPT-4.1, GPT-4o-Mini, Llama-3.1-8B, Llama-3.3-70B, Qwen3-14B, Gemma-3-12B, DeepSeek-V3까지 일곱 judge를 포괄하지만, 활성화 기하학을 직접 측정한 범위는 Llama-3.1-8B, Qwen3-14B, Gemma-3-12B 세 white-box 모델로 좁아진다. 폐쇄형 API 모델에서는 hidden state를 읽거나 residual stream을 조향할 수 없으므로, 일곱 모델에서 반복된 음의 cue 점수 하락이 곧 일곱 모델 모두에서 같은 저차원 원인 구조를 갖는다는 뜻은 아니다. 세 모델 사이의 bias-direction cosine이 0.47~0.62이고 무작위 쌍 기준이 약 0이라는 결과는 아키텍처를 넘는 공통축의 단서이지, 좌표계를 직접 공유하거나 한 모델에서 얻은 벡터를 다른 모델에 이식할 수 있다는 증거가 아니다.
세 모델은 8B~14B의 중간 규모 공개 checkpoint에 몰려 있다. 70B급·reasoning 전용·보상모델·pairwise judge에서는 최적 개입 층이 달라질 수 있다. 후속 연구는 모델별 벡터를 표현 정렬해 공통·고유 성분을 분해하고, checkpoint 업데이트 전후의 방향 각도·개입 효과·오탐률을 종단 평가해야 한다. 그래야 “세 모델에서 재현된 구조”를 “judge 계열에 안정적인 구조”로 확장할 수 있다.
7.2 effective-sample의 outcome-conditioned selection 문제
bias 방향은 모든 perturbation pair 전체가 아닌, 예상 방향으로 점수가 2점 이상 움직인 effective sample에서 추정된다. 저자들의 case-control 논리는 명확하다. cue를 붙였는데 점수가 그대로라면 설명할 scoring failure가 없으므로, 그 사례는 bias의 음성 예로 취급되지 않고 현상의 null observation이 된다. 그러나 통계적으로는 결과 변수에 조건을 건 selection이다. 질문 난도, 기본 답변 품질, cue의 두드러짐, judge의 불확실성이 함께 점수 하락을 만들었다면, 하락이 큰 사례만 남긴 방향은 일반적인 “cue 인식 축”보다 이미 실패한 사례의 혼합축을 강조할 수 있다. 다시 말해 이 벡터는 전체 입력의 잠재 취약성보다 관측된 강한 실패의 조건부 기하학을 더 직접적으로 나타낸다.
5-fold defense에서 held-out fold가 in-sample Wasserstein 감소량의 80% 이상을 유지하고, outcome predictor가 벡터 적합에 쓰지 않은 세 benchmark에서 작동한 것은 단순 암기를 줄이는 증거다. 그래도 vector fitting label 자체가 score outcome으로 정해졌다는 사실은 사라지지 않는다. 더 강한 검증은 전체 perturbation pool에서 방향을 추정하는 latent-mixture 모형, score shift 크기에 따른 연속 가중 추정, cue만 보고 정한 사전 표본과 outcome-conditioned 표본의 벡터 비교를 함께 수행하는 것이다. 또한 추정에는 2점 문턱을 쓰면서 예측에는 1점 하락을 목표로 한 설계를 다양한 문턱에서 반복해, 방향과 AUC가 임계값 선택에 민감한지 보고해야 한다.
7.3 surface cue가 측정하는 구성개념은 어디까지인가
Prestige, Verbosity, Bandwagon, Authority, Sentiment, Refinement, Diversity의 일곱 조작은 기존 LLM-as-judge 문헌의 표준 cue를 따른다. 이 중 Prestige·Bandwagon·Refinement·Diversity는 답변 본문을 bit-identical하게 유지하고 부가 표지만 바꾸므로, 내용 품질과 표면 framing을 분리하는 통제력이 높다. 반면 Verbosity와 Sentiment는 문장을 다시 쓰고 Authority는 인용 표지를 삽입한다. 사람 평가의 TOST 동등성 검정이 품질 보존을 지지하더라도, 사람이 구별하지 못한 미세한 정보 구조나 문체 차이를 judge가 이용했을 가능성까지 제거하지는 못한다.
더 근본적인 쟁점은 construct validity다. 출처 명성, 인용, 사회적 합의는 사실 정확성만 채점하는 rubric에서는 무관해야 한다. 그러나 근거 제시나 설득력을 요구하는 rubric에서는 일부 관련 신호가 될 수 있다. 길이 역시 오염 변수로만 볼 수 없고 설명의 완결성과 함께 변할 수 있다. 따라서 논문이 입증한 것은 일곱 조작에 대한 평가 취약성과 그 내부 표현이지, 사회적 공정성 전반이나 모든 형태의 judge bias를 대표하는 단일 축은 아니다. 후속 benchmark는 cue의 진실성, rubric 관련성, 답변 품질을 직교 설계하고, 같은 표지가 정당한 evidence일 때와 부당한 framing일 때 방향이 분리되는지 확인해야 한다. 그렇게 해야 surface-cue detector가 유효한 근거까지 일괄 차단하는 오류를 피할 수 있다.
7.4 cross-domain GBDT 하락이 드러낸 일반화의 층위
운영 예측에서 가장 중요한 비교는 복잡한 모델이 항상 더 낫지 않았다는 점이다. LightGBM 기반 GBDT는 in-domain 개발 AUC 0.93까지 올라가지만 SocialMaze, BBQ, GPQA의 unseen-domain split에서는 0.75로 하락한다. 반면 층별 LDA·classifier 방향 projection만 쓰는 선형 모델은 in-domain 0.85에서 cross-domain 0.82로 비교적 작게 내려간다. GBDT의 0.18 AUC 하락은 manifold distance, PCA context, 여러 층의 조합이 개발 분포에서는 유용해도 domain identity나 benchmark별 난도 같은 지름길을 흡수했음을 시사한다. 두 방향 projection이 GBDT Gini importance의 60% 이상을 차지한다는 결과도 일반화되는 부분이 풍부한 feature 전체보다 geometry-anchored slice에 가깝다는 해석과 맞는다.
0.82를 배포 보증으로 읽을 수는 없다. 완전히 제외한 domain은 세 개이고, 대안적 세 benchmark 묶음의 ±0.025 sensitivity도 같은 아홉 benchmark pool의 재분할이다. 새 언어·rubric·긴 대화·적대 cue·모델 업데이트는 포함되지 않았다. 후속 평가는 bias type과 candidate generator holdout을 domain holdout과 교차하고, AUC와 함께 precision-recall, calibration error, risk-coverage curve를 제시해야 한다. 사람 검토 시스템의 비용은 전체 순위보다 상위 위험 구간의 실제 실패율이 결정한다.
| 남은 간극 | 현재 논문이 확보한 경계 | 필요한 후속 검증 |
|---|---|---|
| 모델 일반화 | 세 white-box 중간 규모 judge의 공통 방향 | 규모·학습법·checkpoint를 넘는 표현 정렬과 종단 drift 측정 |
| 표본 선택 | 2점 이상 움직인 effective sample의 조건부 방향 | 전체 표본 mixture, 연속 가중치, threshold sensitivity |
| 구성 타당도 | 일곱 표면 cue에 대한 통제된 취약성 | cue 진실성·rubric 관련성·품질의 직교 실험 |
| 배포 전이 | 세 unseen benchmark에서 선형 projection AUC 0.82 | 시간·언어·generator·적대 분포 이동과 calibration 평가 |
7.5 개입 가능성과 natural causal path는 같은 주장이 아니다
같은 bias 방향을 clean activation에 더하면 점수 편향을 재현하고, biased activation에서 빼면 baseline에 가까운 점수를 복원한다. matched-norm random direction의 Wasserstein 이동은 모든 층에서 최소 10배 작고, 다른 bias type의 벡터를 넣는 swap control도 within-type 효과보다 2~2.5배 작다. 출력 유효성은 0.93 이상이며 Spearman 순위 보존 제약도 둔다. 이 조합은 방향이 단순 상관 표지를 넘어 점수를 움직일 수 있는 충분한 interventional handle이라는 주장에는 강한 근거다.
하지만 모델이 자연스럽게 cue를 처리할 때 반드시 그 축과 그 층을 통과한다는 natural causal path는 입증되지 않았다. 개입 강도 α는 Refinement−의 layer 7에서 2.19, Bandwagon−의 layer 31에서 75.75까지 크게 다르고, 후자는 validity constraint 경계에 닿는다. residual stream에 벡터를 외생적으로 넣으면 원래 계산이 사용하지 않는 우회로로도 downstream score head를 움직일 수 있다. 또한 주성분 하나의 sufficiency는 유일성이나 mediation 비율을 뜻하지 않는다. 후속 연구는 clean/biased pair 사이의 activation patching, attention head와 MLP 단위 path patching, causal tracing, subspace ablation을 결합해 cue→중간 회로→score token의 매개효과를 정량화해야 한다. 개입 전후 다른 능력과 다른 bias type에 생기는 부수효과도 함께 측정해야 “고칠 수 있음”을 “원인을 찾음”으로 과장하지 않게 된다.
7.6 1,400 A100-hours와 white-box 배포 비용
전체 activation extraction, α 탐색, outcome predictor 학습에는 약 1,400 A100-hours가 들었다. 공개 모델 실험은 80GB A100 네 장과 256GB host RAM을 갖춘 단일 node에서 수행했고, 모든 decoder layer의 마지막 token hidden state를 float32로 저장했다. 샘플을 독립 처리하고 layer별 feature를 남기는 방식은 분석에는 유리하지만, 평가 요청마다 latency와 메모리 I/O가 중요한 실시간 서비스에서는 그대로 쓰기 어렵다. α 탐색도 각 layer·vector·bias type 조합에서 최대 200회의 forward pass를 허용하므로, 새 judge마다 전체 characterization을 반복하는 비용이 작지 않다.
더구나 activation defense는 hidden-state 쓰기 권한이 필요하고 predictor도 적어도 characterization 시점에는 읽기 권한이 필요하다. API judge에는 동일한 방어를 적용할 수 없으며, provider가 checkpoint를 조용히 교체하면 기존 방향과 threshold가 만료될 수 있다. 현실적인 후속 설계는 소수의 감시 층만 선택하고 projection을 online으로 계산하며, cheap text detector로 1차 선별한 고위험 요청에만 activation audit를 수행하는 cascade다. 모델 버전별 vector registry, drift alarm, 재보정 기준, fallback judge를 함께 명시해야 연구용 probe가 서비스 제어장치로 바뀔 수 있다.
7.7 공격 도구로 역전될 수 있는 동일한 개입면
논문의 attack 실험은 인과 검증이면서 동시에 구체적인 dual-use 경고다. 공격자가 white-box judge의 bias 방향과 개입 층을 알아내면 입력 문장을 바꾸지 않고도 clean answer의 점수를 낮추거나, 반대 방향으로 특정 후보를 유리하게 만들 가능성이 생긴다. 이는 공개 leaderboard의 순위 조작에 그치지 않는다. judge score가 rejection sampling, preference data 선별, RL reward, agent branch 선택에 들어가면 작은 조향이 학습 데이터와 정책 업데이트로 증폭될 수 있다. 표면 prompt 공격보다 탐지가 어렵다는 점도 문제다. 저장된 입력은 동일한데 평가 worker 내부 activation만 변할 수 있기 때문이다.
저자들이 분석·outcome-prediction pipeline만 공개하고 attack-oriented release를 responsible disclosure로 미룬 선택은 이 위험을 인정한 조치다. 그러나 공개 checkpoint를 가진 공격자는 paired perturbation과 score access만으로 방향을 재구성할 수 있다. 따라서 방어는 벡터 비공개에 머물면 안 된다. judge binary와 model weight의 서명 검증, inference worker 격리, activation hook 권한 통제, score와 model-version·prompt-hash의 결합 로그, 무작위 audit judge와의 불일치 감시가 필요하다. 연구 결과의 핵심인 “편향 방향을 읽을 수 있다”는 사실은 곧 “평가 인프라의 내부 상태가 새로운 공격 표면이다”라는 배포 결론을 동반한다.
8. 내 해석: 편향 방향을 평가 provenance로 바꾸는 운영 설계
8.1 약점 하나와 후속 제안 하나
내가 보는 약점 하나는 논문의 bias direction이 judge와 cue의 속성으로 보고되지만, 실제 평가에서 그 방향을 재현·감사할 provenance 계약이 없다는 점이다. 나는 평가 파이프라인 운영자로서 AUC 0.82라는 경보만으로 후보를 탈락시키지 않는다. model checkpoint, judge prompt와 rubric, candidate generator, decoding 설정, baseline cohort, vector 추정 표본과 threshold가 달라지면 같은 projection 값의 의미도 바뀐다. 이 문제는 산출물·도구 호출·파일 hash를 함께 남기는 provenance-aware agent evaluation이 최종 점수뿐 아니라 judge 내부 신호에도 적용돼야 함을 보여 준다.
내 후속 제안 하나는 각 판정에 ‘bias-direction receipt’를 붙이는 것이다. receipt에는 judge/version, prompt hash, cue type, 관측 layer, signed projection, baseline 대비 z-score, predictor calibration 구간, 개입 여부와 사람 재검토 결과를 기록한다. AI evaluation business layer에서는 이를 고객별 위험 라우팅과 SLA의 근거로 쓰고, Dense Supervision Signal Evaluation에서는 긴 agent trajectory의 중간 judge 신호가 이후 성공과 정렬되는지 검증한다. 또한 CDR-Bench처럼 결정적 replay가 가능한 작업에는 LLM score보다 실행 결과를 우선해 receipt의 오탐을 감사한다. 이 한 가지 제안은 방향을 만능 차단기로 쓰지 않고, 누가 어떤 평가 조건에서 왜 경보를 냈는지 추적 가능한 증거로 바꾼다.
9. 결론: 불공정한 judge를 활성화 기하학으로 추적하기
9.1 구조·개입·예측이 공유하는 한 객체
이 논문의 중심 이동은 LLM-as-judge bias를 “어떤 문구를 넣었더니 점수가 몇 점 변했다”는 입출력 목록에서 residual-stream의 구조로 옮긴 것이다. baseline 입력은 조밀한 manifold에 놓이고, 편향 cue를 받은 입력은 깊이에 따라 선명해지는 type-specific 저차원 subspace로 이동한다. 평균 변화량·geometric median·PCA처럼 이동을 요약하는 추정기와 LDA·선형 classifier처럼 경계를 찾는 추정기가 서로 다른 목적함수에도 공통축에 수렴한다는 점은, 관찰된 점수 차이를 단순 sampling noise로 보기 어렵게 만든다.
그 구조는 두 시험에서 의미를 얻는다. 같은 방향을 더하고 빼는 steering은 clean score를 공격하고 biased score를 복원하지만, norm을 맞춘 무작위 방향은 거의 움직이지 않는다. 따라서 방향은 점수 결정에 충분한 개입 손잡이다. 또한 층별 projection은 벡터 학습에 없던 SocialMaze, BBQ, GPQA에서 1점 이상 하락을 AUC 0.82로 예측한다. 한 표현 객체가 기술, 개입, 사전 경보에 반복 사용된다는 것이 핵심이다.
동시에 결론의 강도는 정확히 제한해야 한다. 이 연구는 세 white-box judge의 통제된 일곱 cue에서 충분한 interventional handle을 찾았지만, 자연적 인과 경로의 유일성, 모든 judge로의 전이, 공정성 전체의 구성 타당도, 저비용 실시간 방어를 증명하지 않았다. 특히 효과가 난 표본으로 벡터를 맞춘 selection과 GBDT의 cross-domain 하락은, 내부 signal이 존재한다는 사실과 배포 판단이 자동으로 신뢰할 만하다는 주장을 분리하게 한다.
그럼에도 실무적 귀결은 분명하다. 자동 evaluator는 최종 숫자만 내는 중립적 측정기처럼 고정된 존재가 아니며, 버전·prompt·rubric·활성화 상태에 따라 실패하는 모델이다. 그러므로 judge를 평가 스택의 감사 대상에 넣고, bias projection을 score와 함께 기록하며, 높은 위험 구간을 사람 또는 독립 judge로 우회시켜야 한다. 이때 activation geometry는 진실 판별기보다 경보의 근거에 가깝다. 논문이 연 가장 생산적인 경로는 벡터를 무조건 지우는 것보다, 어떤 조건에서 점수가 표면 cue 쪽으로 이탈했는지 추적하고 그 증거를 재현 가능한 평가 기록으로 남기는 것이다.
10. 요약 정리: 구조·개입·예측을 한 축으로 묶은 결과
- 일곱 judge·일곱 bias type·아홉 benchmark에서 음의 표면 cue는 점수를 일관되게 낮췄고, 양의 cue는 type별로 팽창·무반응·부호 반전이 섞인 비대칭을 보였다.
- 활성화 분석 범위는 Llama-3.1-8B, Qwen3-14B, Gemma-3-12B의 세 white-box 모델이며, 폐쇄형 judge까지 동일한 내부 기하학을 갖는지는 아직 검증되지 않았다.
- baseline activation은 조밀한 manifold를 이루고 biased input은 깊은 층으로 갈수록 분리되는 type-specific 저차원 subspace로 이동했다.
- bias vector는 2점 이상 점수가 움직인 effective sample에서 추정되므로, 전체 cue 반응이 아닌 관측된 강한 실패에 조건부인 방향이라는 selection 경계를 가진다.
- 양방향 activation steering과 matched-norm random·bias-type-swap control은 방향의 interventional sufficiency를 지지하지만, 모델이 자연히 사용하는 유일한 causal path를 증명하지는 않는다.
- 선형 bias-direction projection은 unseen-domain AUC 0.82를 기록한 반면 GBDT는 in-domain 0.93에서 cross-domain 0.75로 내려가, 단순한 기하학 feature가 더 잘 전이됐다.
- 일곱 surface cue는 통제된 취약성 probe로 유효하지만, cue의 rubric 관련성과 진실성을 분리하지 않으면 공정성 일반의 구성개념으로 확대할 수 없다.
- 약 1,400 A100-hours, hidden-state 접근, 모델별 재보정은 실시간·API 배포의 제약이며, 감시 층 축소와 위험 기반 cascade가 필요하다.
- bias direction은 방어 신호인 동시에 점수 조작 공격면이므로, model·prompt provenance, hook 권한 통제, signed audit log, 독립 judge 재검토와 함께 운영해야 한다.