[arXiv 2607.12963] The Illusion of Robustness: 무관한 문맥이 숨겨 둔 예측 뒤집힘

The Illusion of Robustness: Aggregate Accuracy Hides Prediction Flips under Task-Irrelevant Context

https://arxiv.org/abs/2607.12963

Yanzhe Zhang, Sanmi Koyejo, Diyi Yang | Georgia Institute of Technology; Stanford University | arXiv:2607.12963v1 | 2026년 7월 14일

---

긴 입력을 처리하는 대규모 언어 모델은 관련 정보만 골라 읽는 것처럼 보인다. 벤치마크 질문 앞에 의미 없는 문자열을 1만 토큰이나 붙여도 전체 정확도가 거의 그대로라면, 모델이 잡음을 무시했다고 판단하기 쉽다. 그러나 전체 평균은 서로 반대 방향으로 움직인 문항을 상쇄한다. 일부 질문은 더 잘 풀리고 다른 질문은 갑자기 틀리며, 두 변화가 합쳐져 0에 가까운 평균 변화를 만들 수 있다.

Yanzhe Zhang, Sanmi Koyejo, Diyi Yang은 이 상쇄를 context-induced instability라는 문항별 신뢰성 문제로 분리한다. 8개 모델과 MMLU-Pro, GPQA-Diamond, Humanity’s Last Exam, SimpleQA Verified에서 무관 문맥을 추가한 뒤 평균 정확도 변화 $\Delta$, 양방향 변동량 INS, 최악의 10% 하락을 재는 WTD를 함께 계산한다. 관측된 최대 INS는 13.6%, 최대 WTD는 53.2%로, 작은 평균 변화가 큰 꼬리 위험과 공존함을 보여 준다.

핵심은 “긴 문맥이 평균 성능을 얼마나 떨어뜨리는가”보다 “어느 단일 결정이 문맥 때문에 뒤집히는가”에 있다. 이 구분은 한 번의 오답이 도구 실행, 파일 수정, 결제, 검색 분기처럼 되돌리기 어려운 행동으로 이어지는 에이전트 환경에서 특히 중요하다. 분석은 문맥 유형·길이·추론 예산·학습 단계까지 확장되며, 평균 정확도와 문항별 안정성을 독립적인 품질 축으로 관리해야 한다는 결론에 도달한다.

1. 서론: 안정된 평균 아래에서 서로 상쇄되는 문항별 뒤집힘

1.1 깨끗한 질문이 사라진 배포 환경

현실의 모델은 질문 하나만 고립된 채 받지 않는다. 코딩 에이전트는 소스 파일, 빌드 로그, 테스트 출력, 이전 도구 호출을 누적하고, 연구 에이전트는 검색 문서와 중복된 요약을 읽으며, 컴퓨터 사용 에이전트는 화면 관찰의 긴 연쇄를 입력으로 삼는다. 최종 판단에 필요한 신호는 전체 문맥의 작은 일부인 경우가 많고, 나머지는 현재 결정과 직접 관련이 없는 context residue다.

통상적인 장문 평가에서는 답을 찾는 능력과 무관 정보를 억제하는 능력이 한 점수에 섞인다. 관련 증거 위치를 바꾸거나 distractor passage를 넣은 뒤 정확도를 비교하면 평균 하락은 알 수 있지만, 같은 문항이 좋아진 경우와 나빠진 경우를 따로 보지 않으면 변화 방향이 소거된다. 연구진은 의미를 최대한 제거한 pseudo-word 문맥을 질문 앞에 붙여, 정보 검색 실패와 순수한 문맥 민감도를 분리한다.

1.2 평균 정확도가 만드는 강건성의 착시

gpt-5.5는 네 벤치마크에서 문맥 추가 후 평균 변화가 최대 ±0.9% 범위에 머물고, gpt-5.4도 최대 ±2.1% 수준이다. 이 숫자만 보면 최신 모델은 1만 토큰의 무의미한 앞부분을 안정적으로 걸러 낸 듯하다. 하지만 문항별 정확도 차이 $\Delta_i$를 펼치면 향상 꼬리와 저하 꼬리가 동시에 나타난다. 저자들이 말하는 illusion of robustness는 평균이 안정된 현상 자체가 아니라, 그 평균을 문항 불변성으로 오해하는 데서 생긴다.

이 효과는 한쪽으로만 성능을 깎는 전형적인 노이즈와 다르다. 관련 정보가 추가되지 않았는데도 어떤 문항은 쉬워지고, 다른 문항은 계산·사실 회상·문제 해석이 깨진다. 따라서 평균 변화 $\Delta$ 하나로 위험을 평가하면 개선과 악화가 상쇄되고, 절댓값 평균인 INS만 보면 피해 방향을 놓친다. 연구진은 유해한 하위 꼬리를 따로 집계하는 WTD를 함께 제시한다.

1.3 단일 단계의 뒤집힘이 궤적 실패로 번지는 이유

QA에서 한 문항의 오답은 표의 한 셀로 끝나지만, 에이전트 궤적의 한 단계는 다음 관찰을 바꾼다. 잘못된 파일을 수정하면 이후 테스트 로그도 달라지고, 잘못된 검색 분기를 선택하면 뒤의 근거 집합이 오염되며, 권한이 있는 도구를 호출하면 복구 비용이 발생한다. 그래서 문항별 tail reliability는 평균 성공률의 부가 통계가 아니라 경로 의존 시스템의 핵심 안전 변수다.

특히 동일한 오류가 모든 모델에서 같은 질문에 발생하지 않는다는 결과가 중요하다. MMLU-Pro에서 모델 간 문항별 변화의 평균 Pearson $r$은 0.00이고, 가장 좋아진 10%와 가장 나빠진 10% 집합의 평균 Jaccard는 각각 0.09다. “어려운 문항 목록”을 한 번 만들어 모든 모델에 재사용하는 방식으로는 모델 고유 취약 문항을 포착하기 어렵다.

1.4 연구 질문과 기여의 범위

연구 질문은 네 갈래로 정리된다. 첫째, 무관 문맥이 평균을 거의 바꾸지 않아도 문항별 확률을 얼마나 흔드는가. 둘째, 영향을 받는 질문은 데이터 자체의 속성인가, 모델별 속성인가. 셋째, 문맥 유형·길이·추론 예산이 변동을 어떻게 조절하는가. 넷째, pretraining부터 RLVR까지 모델 개발 단계에서 불안정성이 언제 생기고 커지는가다.

기여는 새로운 최고 정확도보다 측정 관점의 전환에 있다. 평균 변화와 양방향 변동, 최악 꼬리를 분리하고, 반복 샘플링이 만드는 절댓값·순위 선택 편향을 bootstrap noise floor로 보정하며, split-sample 분석으로 보조 검증한다. 또한 오류 유형, 모델 간 상관, 질문 모호성, 기준 불확실성, local checkpoint를 연결해 문맥 강건성의 다층 진단을 구성한다.

2. 배경 및 관련 연구: 불변성 테스트와 장문 문맥 실패를 잇는 관점

2.1 의미 보존 perturbation과 예측 불변성

고전적인 NLP 강건성 평가는 의미를 보존하는 입력 변환에 예측이 유지되는지 검사한다. LLM에서도 프롬프트 서식, 선택지 순서, 공백, 지시 문구의 사소한 변화가 답을 바꾼다는 결과가 축적됐다. 기존 연구가 주로 질문 또는 프롬프트 자체의 표현을 바꿨다면, 여기서는 원래 질문을 고정하고 그 앞에 과업과 무관한 입력을 삽입한다. 불변성의 대상이 문장 표현에서 주변 문맥으로 확장된다.

무관 passage가 산술 추론을 방해하거나 RAG 답변을 오염한다는 연구도 가깝다. 다만 자연어 distractor에는 우연한 의미 연관, 사실 충돌, 어휘 중복이 섞일 수 있다. pseudo-word는 3~8자의 소문자 문자열을 무작위로 만들고 영어 빈도가 높은 항목을 제거해, 표면적으로 단어처럼 보이면서도 인식 가능한 내용을 최소화한다. 이 통제는 semantic distraction과 더 원초적인 context conditioning 효과를 구분한다.

2.2 관련 증거 검색과 무관 입력 억제의 차이

long-context benchmark는 흔히 “needle”을 긴 문서의 어느 위치에서 찾는지, 여러 증거를 결합할 수 있는지 측정한다. 그 성능은 증거 위치, 문맥 길이, 질문 복잡도에 따라 달라진다. 반면 현재 설정에는 찾아야 할 증거가 문맥 안에 없다. 모델이 해야 할 일은 질문 앞의 메시지를 완전히 무시하는 것이며, 정답 정보는 원래 질문과 모델 파라미터에만 있다.

이 구분 덕분에 정확도가 올랐을 때도 중요한 진단이 가능하다. 무관 문맥이 정보를 제공해 문제를 해결했다는 설명을 쓸 수 없으므로, 향상 역시 예측 과정이 문맥에 의해 흔들렸다는 증거다. 즉 “도움이 됐으니 괜찮다”가 성립하지 않는다. 배포 분포가 바뀌면 같은 민감도가 반대 방향으로 작동할 수 있어, 양의 변화도 불변성 위반으로 집계해야 한다.

2.3 contextual entrainment와 복사 편향을 넘는 현상

맥락 민감도의 한 설명은 이전 문맥에 등장한 토큰의 확률을 높이는 contextual entrainment다. 질문·정답과 어휘가 겹치는 distractor라면 복사 성향이 출력을 직접 당길 수 있다. 그러나 pseudo-word는 영어 어휘와 사실 내용을 걸러 내고, 질문 및 선택지와의 의미 중복을 극도로 낮춘다. 그럼에도 예측이 뒤집힌다는 결과는 lexical overlap 기반 복사만으로 전체 현상을 설명하기 어렵게 만든다.

저자들은 특정 attention head나 residual direction을 찾아 인과 메커니즘을 확정하지 않는다. 실험이 말하는 수준은 문맥 종류가 달라도 INS와 WTD가 나타나고, 길이가 늘면 대체로 커지며, reasoning effort가 일부 완화한다는 행동적 규칙이다. attention dilution, position effect, state priming 같은 설명은 가능한 후속 가설이지만 저자들의 직접 주장과 분리해야 한다.

2.4 실사용 궤적과 long-context attention decay의 접점

기존에 정리한 SWE-chat은 약 6,000개의 실제 코딩 에이전트 세션에서 63,000개 이상의 사용자 프롬프트와 355,000개 이상의 도구 호출을 commit 결과에 연결한다. 그런 세션에는 소스 읽기, 검색, 테스트, 실패 로그, 사용자 교정이 계속 쌓인다. 여기서 마지막 수정과 직접 관계없는 과거 출력은 자연스럽게 생기는 task-irrelevant trajectory context이며, 통제된 pseudo-word 실험이 현실에서 대응할 수 있는 구체적 대상이다.

long-context attention decay는 최대 컨텍스트 길이가 커져도 오래되거나 밀집된 구간의 지시·증거가 같은 선명도로 처리되지 않는다는 개념이다. 현재 결과는 여기에 다른 층을 더한다. 관련 증거를 놓치는 감쇠뿐 아니라, 정보 가치가 없는 앞부분이 뒤의 판단 확률을 재배치할 수 있다. 따라서 장문 운영은 창 크기 확보, 검색 recall, 요약 압축과 함께 예측 불변성 감사를 포함해야 한다.

3. 방법론: 잠재 정확도 변화와 최악 꼬리 위험을 분리해 측정하기

3.1 pseudo-word 문맥의 구성과 역할

연구진은 영문 소문자 a–z를 무작위로 조합해 길이 3~8자의 문자열을 만들고, 영어 Zipf frequency가 1.5를 넘는 항목을 제거한다. 남은 10,000개 vocabulary에서 균등 표집한 문자열을 공백으로 이어 pseudo-word 문맥을 만든다. 기본 문맥은 gpt-oss-120b tokenizer 기준 10k tokens이며 평균 문자 수는 21,129.9자다.

각 질문에는 서로 독립적인 $M=10$개 문맥이 사용된다. 문맥은 질문과 system message 사이의 추가 user message로 앞에 놓인다. 같은 고정 문맥 집합을 여러 질문에 붙이는 방식은 문맥 자체의 사실적 유용성을 억제하고, 특정 문자열 하나의 특이 효과보다 무관 문맥 분포에 대한 평균 변화를 추정하게 한다.

pseudo-word는 자연스러운 에이전트 로그를 모사하려는 데이터가 아니다. 원인 변수의 의미 내용을 줄여 현상을 분리하는 실험 도구다. 외적 타당도는 random tokenizer tokens, FineWeb-Edu에서 뽑은 random webpages, 같은 benchmark의 다른 문답으로 구성한 sequential question answering를 통해 보완한다. 이 계층적 설계는 통제력과 현실성의 교환관계를 드러낸다.

3.2 잠재 정답 확률과 문항별 변화량

평가 데이터셋을 $D=\{d_1,\ldots,d_N\}$, 무관 문맥 집합을 $C=\{c_1,\ldots,c_M\}$로 둔다. 모델 $f_{\mathrm{LM}}$이 질문 $d_i$와 문맥 $c_j$를 받았을 때 응답 정답 여부를 $A_{ij}\in\{0,1\}$라 하고, 그 잠재 정답 확률을 다음처럼 정의한다.

$$s_{ij}=\Pr(A_{ij}=1\mid d_i,c_j,f_{\mathrm{LM}}),\qquad s_{i0}=\Pr(A_{i0}=1\mid d_i,f_{\mathrm{LM}}).$$

문항 $i$의 평균 문맥 효과는 context-averaged change $\Delta_i$다. 양수는 문맥이 정답 확률을 높인 경우, 음수는 낮춘 경우를 뜻한다. 전체 평균 $\Delta$는 일반적인 benchmark accuracy 변화와 대응한다.

$$\Delta_i=\frac{1}{M}\sum_{j=1}^{M}s_{ij}-s_{i0},\qquad \Delta=\frac{1}{N}\sum_{i=1}^{N}\Delta_i.$$

$\Delta$가 0이라는 사실만으로 각 $\Delta_i$가 0인지는 알 수 없다. 예를 들어 절반의 질문이 +0.2, 나머지가 −0.2만큼 움직이면 평균은 정확히 0이지만 모든 문항이 흔들렸다. 이 간단한 식이 논문의 중심 문제를 압축한다. aggregate stability와 example-level invariance는 서로 다른 명제다.

3.3 INS와 WTD의 상보적 정의

Instability는 방향을 지운 절댓값 변화의 평균이다. 논문 표기에서 $\mathcal{I}\in[0,1]$이며, 개선과 악화를 모두 불변성 위반으로 센다. 평균 변화가 상쇄되는 상황에서도 문맥에 민감한 정도를 직접 드러낸다.

$$\mathcal{I}=\frac{1}{N}\sum_{i=1}^{N}|\Delta_i|.$$

Worst-tail Degradation는 $\Delta_i$를 오름차순으로 정렬한 뒤 가장 나빠진 $K\%$만 고른다. $m=\lceil KN/100\rceil$이고 $\Delta_{(1)}\le\cdots\le\Delta_{(N)}$일 때, 저하를 양의 위험값으로 읽도록 음수를 붙인다. 기본 실험은 $K=10$을 사용한다.

$$\mathcal{W}_K=-\frac{1}{m}\sum_{r=1}^{m}\Delta_{(r)}.$$

INS가 같아도 방향 구조는 다를 수 있다. 한 모델은 개선 꼬리가 커서 INS가 높고, 다른 모델은 악화 꼬리가 커서 같은 INS를 얻을 수 있다. WTD는 후자의 위험을 분리하지만 baseline accuracy가 낮으면 떨어질 여지가 적은 floor effect가 생긴다. 그러므로 AVG, $\Delta$, INS, WTD 네 값을 한 묶음으로 읽어야 한다.

3.4 반복 샘플을 이용한 점수 추정

API 모델에서는 $s_{ij}$를 직접 읽을 수 없으므로 temperature 1.0에서 정답 여부를 반복 관측한다. 각 질문의 no-context baseline은 $p=20$회, 각 문맥은 $q=2$회씩 $M=10$개를 사용해 context 조건도 총 20회가 된다. 두 조건의 시행 수를 맞춰 sampling variance의 규모를 비교 가능하게 유지한다.

local multiple-choice 모델에서는 정해진 answer template 아래 정답 선택지 토큰에 부여한 확률을 $\widehat{s}_{ij}$로 사용할 수 있다. 이 방식은 반복 생성 없이 연속 확률을 얻지만 API 모델과 접근 조건이 다르다. 논문은 두 추정치를 동일한 잠재 정답 확률의 측정으로 해석하되, local 실험에는 별도 noise correction을 적용하지 않는다.

3.5 절댓값과 꼬리 선택이 만드는 noise floor 보정

유한 샘플에서는 실제 문맥 효과가 0이어도 $\widehat{s}_{ic}-\widehat{s}_{i0}$가 흔들린다. INS는 절댓값을 취하므로 이 흔들림이 항상 양의 값으로 남고, WTD는 가장 낮게 관측된 10%를 선택하므로 순위 선택 편향이 생긴다. 즉 관측 INS와 WTD에는 positive noise floor가 구조적으로 포함된다.

저자들은 no-context 표본만 사용해 synthetic null experiment를 만든다. 각 bootstrap trial에서 같은 baseline 응답 풀로부터 pseudo-baseline 한 집단과 $M$개의 pseudo-context 집단을 독립적으로 재표집하고, 동일한 공식을 적용해 $\widehat{\mathcal{I}}^*$와 $\widehat{\mathcal{W}}_K^*$를 계산한다. 1,000회 평균이 각각 $\eta_{\mathcal{I}}$, $\eta_{\mathcal{W}_K}$다.

$$\mathcal{I}_{\mathrm{adj}}=\widehat{\mathcal{I}}-\eta_{\mathcal{I}},\qquad \mathcal{W}_{K,\mathrm{adj}}=\widehat{\mathcal{W}}_K-\eta_{\mathcal{W}_K}.$$

이 보정은 문맥 효과의 불편추정량을 보장하지 않는다. 저자들도 이를 mean null noise-floor correction으로 한정한다. 보조 분석에서는 baseline과 context 시행을 서로 겹치지 않는 절반으로 나눠 한쪽으로 tail을 선택하고 다른 쪽으로 효과를 측정하며, 방향을 바꿔 평균하는 split-sample WTD를 제시한다. 선택과 측정의 동일 잡음을 끊는 독립 검증이다.

3.6 WTD의 꼬리 정의와 순위 오차를 함께 읽는 법

WTD는 모든 질문에서 가장 나쁜 10%를 고른 뒤 그 평균 저하를 요약한다. 이때 10%라는 기준은 배포 위험의 보편적 상수가 아니라, 충분한 tail sample을 확보하면서 소수 실패에 초점을 맞추기 위한 실험 선택이다. 질문이 500개면 약 50개, GPQA처럼 190개면 약 19개가 꼬리에 들어간다. 같은 WTD라도 후자의 순위는 개별 질문과 sampling noise에 더 민감하므로 tail size와 신뢰구간을 수치 옆에 함께 남겨야 한다.

관측 변화로 꼬리를 고르고 같은 변화로 저하를 재면 극단값 선택이 하락 폭을 과장한다. bootstrap noise-floor 보정은 null 조건에서도 생기는 평균 과장을 빼고, split-sample은 한 시행 묶음으로 질문을 고른 뒤 독립 묶음에서 저하를 잰다. 두 값은 서로 다른 추정 대상을 가진다. 전자는 전체 관측 통계의 평균 null 편향을 줄이며, 후자는 noisy ranking이 선택한 질문 집합의 독립 재측정값을 제공한다.

split-sample에서 선택된 질문은 잠재 변화량 기준의 진짜 최악 집합과 다를 수 있다. 선택 절반에서 우연히 크게 하락한 질문이 들어가고 실제 취약 질문이 빠질 수 있기 때문이다. 저자들이 양쪽 절반의 역할을 바꿔 평균하고 200개 무작위 분할을 반복한 이유는 이 순위 변동을 줄이기 위해서다. 따라서 WTD는 고정된 실패 목록보다 모델·표본·반복 횟수에 종속된 위험 추정으로 해석해야 한다.

3.7 잠재 정답 확률 추정이 전제하는 정상성

반복 생성 20회가 같은 잠재 정답 확률에서 나온다는 해석에는 model endpoint, decoding policy, system prompt, grader가 측정 동안 변하지 않는다는 전제가 숨어 있다. API 제공자가 routing이나 safety layer를 갱신하면 서로 다른 시행이 동일 분포의 표본이 아닐 수 있다. 실제 운영 감사에서는 모델 snapshot, 요청 시각, decoding parameter, 응답 해시를 함께 기록해야 문맥 효과와 서비스 drift를 분리할 수 있다.

temperature 1.0은 문항별 확률을 추정하는 데 필요한 변동을 드러내지만, 배포가 deterministic decoding을 사용한다면 실제 사용 모드와 차이가 생긴다. 반대로 temperature 0에서 한 번만 실행하면 answer flip의 존재는 관찰해도 그 확률과 신뢰구간을 얻기 어렵다. 평가 목적에 따라 sampled reliability와 production-mode reproducibility를 나누고, 동일 문항에 두 protocol을 병행하는 방식이 측정 결과의 적용 범위를 명확하게 만든다.

4. 실험 설정: 8개 모델·4개 벤치마크·반복 시행의 교차 설계

4.1 데이터셋과 표본 수

주 실험은 MMLU-Pro, GPQA-Diamond, Humanity’s Last Exam, SimpleQA Verified를 사용한다. 앞의 두 개는 객관식이고 뒤의 두 개는 개방형이다. 정책 위반 가능성이 있는 biosafety·cybersecurity 문항을 keyword로 제거한 뒤 MMLU-Pro, HLE의 text-only 문항, SimpleQA에서 각각 500개를 무작위 표집한다. GPQA-Diamond는 198개 중 8개를 필터링해 190개를 사용한다.

네 데이터셋은 전문 지식, 복합 추론, 극난도 문제, 단문 사실 회상을 다르게 강조한다. 이 차이는 오류 유형 분석에서 선명하다. MMLU-Pro는 계산과 bookkeeping, HLE는 잘못된 규칙 적용, SimpleQA는 사실 hallucination이 주된 변화로 나타난다. 따라서 동일한 INS 값도 benchmark별로 서로 다른 실패 메커니즘을 반영할 수 있다.

4.2 모델과 reasoning 기본값

평가 모델은 gpt-5.5, gpt-5.4, gpt-4.1, DeepSeek-V4-Pro, Grok-4.20-NR, Mistral-Large-3, gpt-oss-120b, gemini-3.1-flash-lite의 8종이다. 기본 설정은 reasoning token의 효과를 제거하기 위해 no reasoning을 사용한다. reasoning을 끌 수 없는 모델은 low 또는 minimal effort를 선택한다.

응답 채점에는 low reasoning의 gpt-5.4-mini를 사용한다. 객관식과 개방형을 같은 correctness 변수로 묶기 위해 judge가 최종 도출 답을 추출하고 reference와 비교한다. 채점 모델도 오류를 낼 수 있지만, 모든 조건에 동일한 grader를 적용하고 질문 단위 반복 비교를 수행해 조건 간 체계 차이에 초점을 둔다.

4.3 문맥·길이·추론 예산 ablation

기본 CHA 외에 TOK는 gpt-oss-120b tokenizer vocabulary의 무작위 token, WEB은 FineWeb-Edu의 무작위 webpage, SQA는 같은 데이터셋의 다른 질문을 답한 20-turn history다. TOK와 WEB은 10k tokens이고, SQA는 문답 형식이 목표 task와 가장 비슷하다. 이 네 종류는 표면 의미성과 대화 형식이 민감도에 미치는 차이를 시험한다.

길이 실험은 10, 100, 1k, 10k tokens의 pseudo-word를 사용한다. reasoning effort는 none, low, medium, high를 비교하고, 비추론 모델 gpt-4.1에는 “단계별로 생각하라”는 CoT prompting을 별도로 적용한다. 이 설계는 입력 측 test-time scale과 출력 측 test-time compute가 INS·WTD 곡선을 어떻게 바꾸는지 동시에 보여 준다.

4.4 신뢰구간과 local checkpoint 추적

95% 신뢰구간은 질문을 복원추출하는 bootstrap 1,000회로 계산하며, 뽑힌 질문에 속한 모든 조건과 시행을 함께 유지한 채 전체 통계를 다시 계산한다. noise floor도 1,000개의 synthetic null로 추정하고, split-half 및 split-sample 실험은 200개의 무작위 시행 분할을 평균한다. question-level resampling은 동일 질문의 반복 응답 의존성을 보존한다.

개발 단계 분석은 공개 intermediate checkpoint가 있는 OLMo-3-7B 계열을 MMLU에서 추적한다. pretraining, midtraining, context extension, SFT, DPO, RLVR을 연결하고, Qwen3.5-9B와 gemma-4-12B의 base/post-trained 쌍도 비교한다. local 객관식 실험은 1k-token 문맥과 정답 option token 확률을 사용해 훈련 파이프라인 전반의 불안정성을 관찰한다.

4.5 조건 대칭성과 재현성에서 확인할 항목

baseline 20회와 context 조건 20회는 시행 수가 같지만 구조는 다르다. baseline은 하나의 입력에서 20개 응답을 만들고, context는 10개 서로 다른 문맥마다 2개씩 만든다. context 조건의 분산에는 생성 확률과 문맥 간 이질성이 함께 들어간다. 이는 연구 질문에 맞는 설계지만, 재현할 때는 문맥별 효과 분산과 전체 평균 분산을 구분해야 특정 문맥 몇 개가 결과를 지배하는지 알 수 있다.

문맥을 질문보다 앞선 별도 user message로 배치한 선택도 결과의 일부다. 같은 문자열을 system message 뒤, 질문 뒤, tool message, assistant history에 넣으면 instruction hierarchy와 recency가 달라진다. 논문은 위치 ablation을 광범위하게 다루지 않으므로, 결과는 모든 배치 방식의 보편 법칙보다 이 명시된 message layout에서 관측된 현상으로 읽어야 한다. 에이전트 평가에서는 실제 역할 태그를 보존한 perturbation이 필요하다.

10k tokens는 gpt-oss-120b tokenizer를 공통 기준으로 만든다. 같은 문자열도 각 상용 모델 내부 tokenizer에서는 token 수와 조각 경계가 달라질 수 있다. 연구진은 입력의 문자 내용을 동일하게 유지하는 대신 모델별 실제 token budget을 완전히 맞추지 않는다. 따라서 model comparison에는 architecture 차이와 함께 effective tokenization 차이도 포함되며, 길이 scaling을 재현할 때 두 기준을 모두 기록하는 편이 안전하다.

gpt-5.4-mini grader는 brief explanation에서 최종 답을 추출하도록 명시된 prompt를 사용한다. 객관식과 개방형을 같은 correctness 변수로 모을 수 있다는 장점이 있지만, 긴 추론 중간에 잘못된 후보와 올바른 최종 답이 함께 있으면 추출 규칙이 결과를 좌우한다. grader disagreement 표본, exact-match 가능한 하위 집합, 사람 검수 표본을 함께 보고하면 response instability와 grading instability를 분리하기 쉬워진다.

질문 수, 문맥 수, 반복 횟수, 모델 수가 곱해지는 실험은 결과의 폭을 확보하는 대신 큰 계산 비용을 낸다. 이 비용은 단순 benchmark 실행보다 tail ranking을 안정시키는 데 사용된다. 재현 실험에서 한 축을 줄여야 한다면 모델 수만 줄이고 질문·반복을 유지하는 설계와, 넓은 모델 스크리닝 뒤 취약 후보에 반복을 집중하는 설계를 구분해야 한다. 전자는 추정 정밀도, 후자는 탐색 범위를 우선한다.

5. 주요 실험 결과: 작은 평균 변화와 53.2% 최악 꼬리의 공존

5.1 전체 평균이 가린 모델·데이터셋별 분포

주 결과를 읽을 때 먼저 확인할 값은 $\Delta$다. gpt-5.5는 네 데이터셋에서 +0.3, +0.6, +0.0, −0.9%로 거의 움직이지 않는다. 그러나 GPQA INS는 4.9%, WTD는 12.2%다. gpt-5.4도 MMLU-Pro 평균은 −2.1%지만 최악 10%의 평균 저하는 26.2%에 이른다. 평균과 꼬리의 규모가 한 자릿수 이상 벌어진다.

아래 표는 원문 Table 1의 모든 모델과 네 benchmark 수치를 보존한다. AVG는 no-context 평균 정확도, $\Delta$는 문맥 추가 후 평균 변화, INS와 WTD는 bootstrap noise floor를 뺀 값이다. 숫자는 모두 백분율이며, 낮은 INS와 WTD는 반드시 baseline AVG와 함께 해석해야 한다.

표 1. 원문 Table 1 주 결과(%). 각 셀은 AVG / $\Delta$ / INS / WTD 순서다.

모델	MMLU-Pro	GPQA	HLE	SimpleQA
gpt-5.5	80.2 / +0.3 / 2.4 / 10.0	63.8 / +0.6 / 4.9 / 12.2	12.9 / +0.0 / 1.4 / 4.3	50.0 / −0.9 / 2.4 / 11.0
gpt-5.4	81.2 / −2.1 / 4.6 / 26.2	63.1 / −0.8 / 6.2 / 21.7	11.5 / −1.5 / 3.1 / 18.8	31.0 / +0.4 / 2.3 / 7.4
gpt-4.1	78.0 / +0.0 / 4.3 / 19.7	57.3 / −0.9 / 5.6 / 22.7	3.8 / −0.2 / 1.0 / 5.4	30.4 / −0.7 / 3.1 / 11.8
DeepSeek-V4-Pro	79.0 / +0.2 / 4.8 / 15.9	70.0 / −0.2 / 3.0 / 7.7	7.8 / −0.2 / 1.2 / 4.2	41.8 / −5.9 / 6.9 / 27.4
Grok-4.20-NR	67.9 / +0.1 / 5.4 / 21.4	54.5 / +0.6 / 6.6 / 22.7	9.1 / −1.1 / 2.5 / 15.6	19.5 / −0.4 / 4.7 / 20.7
Mistral-Large-3	74.9 / −3.6 / 8.3 / 47.3	50.7 / −3.0 / 11.3 / 53.2	5.1 / +0.0 / 2.7 / 12.2	28.7 / −1.8 / 9.6 / 51.6
gpt-oss-120b	77.4 / −0.6 / 3.6 / 15.3	63.4 / −2.1 / 1.2 / 8.5	4.7 / −0.2 / 0.8 / 3.3	11.1 / −0.5 / 1.8 / 9.2
gemini-3.1-fl	81.7 / +2.3 / 5.9 / 17.6	57.2 / +8.5 / 13.6 / 21.5	6.5 / +0.7 / 3.1 / 10.6	34.5 / −2.0 / 7.0 / 34.4

표 1에서 gpt-5.5는 네 데이터셋 모두 INS 4.9% 이하, WTD 12.2% 이하로 가장 일관되게 안정적이다. SimpleQA에서는 AVG 50.0%와 INS 2.4%, WTD 11.0%를 동시에 달성해 높은 정확도와 낮은 민감도가 양립할 수 있음을 보여 준다. 반대로 HLE의 gpt-4.1은 INS 1.0%로 낮지만 AVG가 3.8%라서 더 떨어질 여지가 적은 floor effect를 고려해야 한다.

5.2 변화량이 양쪽 10% 꼬리에 집중되는 구조

전체 절대 변화의 88.3%가 가장 향상된 10%와 가장 저하된 10%에 집중된다. 중간 80%가 비교적 안정적이기 때문에 평균 정확도는 더욱 평평해 보인다. 아래 분포는 각 모델의 $\Delta_i$를 향상에서 저하 순으로 정렬하고 양끝을 2%-wide percentile bin으로 나눈다. 실선 막대가 관측 변화, 빗금이 추정 noise floor다.

Figure 1. 원문 Figure 2를 재번호화. MMLU-Pro에서 모델별 문항을 $\Delta_i$ 순으로 정렬한 뒤 가장 향상된 10%(위)와 가장 저하된 10%(아래)를 2% 구간으로 나눈 평균 변화. 단색 막대는 관측값, 빗금은 추정 noise floor다.

두 패널은 같은 INS라도 방향 구성이 다름을 보여 준다. gemini-3.1-fl은 향상 꼬리가 크게 솟고 Mistral-Large-3는 저하 꼬리가 두드러진다. 가운데 80%가 평평한 만큼 위험은 소수 문항에 집중되며, 빗금 보정 뒤에도 극단 구간의 신호가 남는다. 평균 accuracy 한 줄로는 모델별 꼬리 형태와 최악 문항의 손실을 복원할 수 없다. 따라서 향상 꼬리와 저하 꼬리를 분리하고 각 구간의 noise floor까지 나란히 보고해야 상쇄 구조를 확인할 수 있다.

Mistral-Large-3의 GPQA WTD 53.2%는 최악 10% 문항에서 정답 확률이 평균적으로 절반 넘게 내려간다는 뜻이다. 같은 모델의 전체 $\Delta$는 −3.0%에 그친다. SimpleQA에서도 $\Delta=-1.8\%$와 WTD 51.6%가 공존한다. 이 격차는 tail-selective regression이 평균 지표에서 얼마나 쉽게 희석되는지 보여 준다.

5.3 향상과 저하가 다른 오류를 만들다

연구진은 gpt-5.4에서 문맥 추가 후 정확도가 20% 넘게 바뀐 질문을 고르고, no-context와 with-context 응답을 질문당 다섯 쌍 비교해 오류 유형을 주석한다. 향상 문항의 범주는 문맥이 교정한 오류, 저하 문항의 범주는 문맥이 새로 도입한 오류다. 다음 표는 원문 Table 2의 분포를 그대로 옮긴 값이다.

표 2. 원문 Table 2 오류 유형 분포(%). 각 데이터셋은 향상(Impr.) / 저하(Degr.) 순서다.

오류 유형	MMLU-Pro	GPQA	HLE	SimpleQA
Wrong Problem	21.1 / 6.3	18.9 / 4.8	31.4 / 19.4	2.1 / 0.8
Wrong Fact	21.1 / 7.4	24.4 / 26.7	12.9 / 34.4	97.9 / 96.0
Wrong Rule	21.1 / 24.7	33.3 / 25.7	42.9 / 38.8	0.0 / 0.0
Wrong Calculation	36.8 / 61.6	23.3 / 42.9	12.9 / 6.2	0.0 / 0.0
Other or unclear	0.0 / 0.0	0.0 / 0.0	0.0 / 1.2	0.0 / 3.2

표 2에서 MMLU-Pro 저하의 61.6%, GPQA 저하의 42.9%가 Wrong Calculation이다. 반면 SimpleQA 변화는 향상 97.9%, 저하 96.0%가 Wrong Fact에 몰린다. HLE는 Wrong Rule이 향상 42.9%, 저하 38.8%로 중심이다. 문맥이 공통된 하나의 오류를 주입하기보다 task가 원래 요구하던 계산·규칙·사실 처리의 약한 지점을 흔든다.

5.4 취약 문항은 모델 사이에서 공유되지 않는다

모델별 $[\Delta_1,\ldots,\Delta_N]$ 벡터를 비교하면 MMLU-Pro 평균 Pearson $r=0.00$이며 95% CI는 [−0.02, 0.02]다. SimpleQA도 평균 0.00, 95% CI [−0.02, 0.01]이다. 비슷한 AVG·INS·WTD를 가진 모델 쌍도 같은 질문에서 같은 방향으로 흔들리지 않는다. aggregate profile의 유사성이 failure set의 유사성을 보장하지 않는다.

Figure 2. 원문 Figure 3을 재번호화. MMLU-Pro와 SimpleQA에서 모든 모델 쌍의 문항별 성능 변화 $\Delta_i$에 대한 Pearson $r$ 상관행렬.

두 heatmap에 일관된 양의 블록이 형성되지 않는다. 같은 데이터셋을 풀고 비슷한 전체 지표를 내더라도, 무관 문맥에 반응하는 질문 집합은 모델마다 다르다. MMLU-Pro에서 향상·저하 상위 10%의 평균 Jaccard가 각각 0.09이며 무작위 기준 0.05에 가깝다는 수치와 결합하면, 데이터 난도만으로 공통 취약 목록을 만드는 접근의 한계가 선명해진다. 새 모델이나 checkpoint를 도입할 때 이전 모델의 실패 문항만 재사용하지 말고 문항별 변화 벡터를 다시 추정해야 한다.

상관이 0에 가까운 이유를 단순 측정 잡음으로 돌리기도 어렵다. randomized split-half reliability는 MMLU-Pro에서 모델별 평균 0.73, 범위 0.60~0.87이다. Spearman–Brown 보정 후 reliability는 모든 8개 모델에서 0.75 이상이며, 진짜 cross-model correlation이 0.30이라면 관측값도 적어도 약 0.22가 되어야 한다. near-zero cross-model correlation은 실질적인 모델 특이성을 반영한다.

5.5 모호성보다 기준 불확실성이 변화 크기와 연결된다

질문 자체의 모호성이 취약성을 설명하는지 보기 위해 세 judge가 underspecification을 표시하고 0~3 점수로 합산한다. 기준 불확실성은 no-context 정답 확률의 Bernoulli variance $\widehat{s}_{i0}(1-\widehat{s}_{i0})$로 근사한다. signed change는 방향, squared change는 크기를 나타내며, shared-trial noise를 줄인 split-sample과 smoothed log-odds 결과도 함께 계산한다.

표 3. 원문 Table 3 상관 분석. Spearman $\rho$와 95% question-bootstrap CI, $n=1690$.

특징	목표	Raw Probability	Raw Logit	Split Probability	Split Logit
Ambiguity	Signed	−0.01 [−0.06,+0.04]	−0.01 [−0.05,+0.04]	−0.01 [−0.05,+0.03]	−0.01 [−0.05,+0.04]
Ambiguity	Squared	+0.02 [−0.03,+0.06]	+0.02 [−0.03,+0.06]	+0.02 [−0.02,+0.05]	+0.02 [−0.02,+0.05]
Uncertainty	Signed	−0.08 [−0.16,−0.00]	−0.08 [−0.15,−0.01]	−0.03 [−0.08,+0.03]	−0.02 [−0.07,+0.04]
Uncertainty	Squared	+0.73 [+0.70,+0.76]	+0.66 [+0.62,+0.70]	+0.21 [+0.17,+0.26]	+0.21 [+0.16,+0.25]

모호성은 방향·크기 모두 $\rho\approx0$이다. 불확실성은 raw squared change와 0.73으로 강하게 연결되지만 같은 baseline 시행을 공유한 잡음을 제거하면 0.21로 줄어든다. log-odds에서도 split 값 0.21이 유지되므로 확률 척도의 경계 효과만으로 설명되지는 않는다. 핵심은 불확실성이 변화 가능성은 알려도 개선·악화 방향은 알려 주지 못한다는 점이다.

5.6 noise-floor 보정값과 split-sample 값의 교차 확인

부록의 split-sample WTD는 본문 보정 WTD와 규모가 다르지만 위험 순서는 대체로 보존된다. Mistral-Large-3는 MMLU-Pro 51.8, GPQA 61.7, SimpleQA 58.0으로 큰 하락을 재확인한다. gpt-5.5도 본문 보정값보다 높은 12.0, 15.6, 5.3, 14.1을 보인다. 두 추정법의 숫자를 직접 동일시하기보다 큰 꼬리 위험이 독립 측정에서도 사라지지 않는지를 확인하는 용도로 쓰는 편이 적절하다.

MMLU-Pro에서 본문 gpt-5.4 WTD는 26.2이고 split-sample은 29.0, Mistral-Large-3는 47.3과 51.8이다. 반면 gpt-5.5는 10.0과 12.0처럼 차이가 작다. 선정과 측정을 분리해도 상대적으로 불안정한 모델의 꼬리가 크게 남는다는 사실은 결과가 동일 표본 선택의 극단값 편향만으로 만들어지지 않았음을 뒷받침한다.

randomized split-half reliability도 같은 역할을 한다. MMLU-Pro의 모델별 문항 변화 재현성은 0.60에서 0.87, GPQA는 0.22에서 0.89, HLE는 0.23에서 0.77, SimpleQA는 0.40에서 0.90 범위다. 데이터셋과 모델마다 측정 난도가 달라도 대부분 양의 재현성을 보이므로, 모델 간 상관 0은 각 모델 내부 신호가 전혀 없어서 생긴 값으로 보기 어렵다.

5.7 성능 바닥과 천장이 INS를 압축하는 방식

기준 정확도가 0에 가까우면 문맥이 더 낮출 공간이 작고, 1에 가까우면 더 높일 공간이 작다. HLE에서 gpt-4.1의 AVG 3.8, INS 1.0, WTD 5.4는 강한 안정성처럼 보이지만 상당 부분 바닥 효과일 수 있다. 반대로 높은 정확도의 모델은 저하 여지가 커서 같은 잠재 log-odds 이동이 더 큰 확률 변화로 보일 수 있다. 이 때문에 논문은 smoothed log-odds 분석을 추가한다.

불확실성–squared change 상관이 probability와 log-odds split-sample에서 모두 0.21이라는 결과는 단순 경계 압축만으로 관측 연관을 설명하기 어렵게 한다. 공통 log-odds shift를 넣은 null simulation에서도 상관 범위가 약 −0.02에서 +0.04에 머문다. 다만 0.21은 위험 방향을 예측하는 값이 아니며, 추정 reliability ceiling 0.43의 절반 수준이라는 점까지 함께 읽어야 한다.

5.8 모델별 숫자에서 드러나는 서로 다른 위험 형태

gpt-5.5는 네 benchmark에서 높은 편의 AVG와 낮은 INS·WTD를 함께 보이는 유일한 모델이다. GPQA AVG 63.8에 WTD 12.2, SimpleQA AVG 50.0에 WTD 11.0이라는 조합은 높은 능력이 자동으로 불안정성을 키운다는 단순 관계를 반박한다. 같은 계열의 gpt-5.4보다 MMLU-Pro AVG는 1.0%p 낮지만 WTD는 16.2%p 낮아, 세대 개선을 정확도 하나로 정렬할 때 놓치는 품질 차이를 보여 준다.

gemini-3.1-fl은 GPQA에서 평균 변화가 +8.5로 크게 좋아지면서 INS 13.6, WTD 21.5를 기록한다. 평균 향상만 보면 무관 문맥이 유익해 보이지만 관련 정보가 전혀 추가되지 않은 조건이므로, 큰 양의 이동도 안정적 reasoning의 증거로 볼 수 없다. 향상 tail이 넓은 모델은 현재 benchmark에서는 이득을 보더라도 문맥 분포가 바뀌면 방향이 뒤집힐 수 있어 positive instability까지 회귀 대상으로 관리해야 한다.

DeepSeek-V4-Pro는 GPQA에서 AVG 70.0, INS 3.0, WTD 7.7로 안정적인 조합을 보이지만 SimpleQA에서는 평균이 −5.9, INS 6.9, WTD 27.4로 악화된다. 한 benchmark의 context robustness를 모델 전반의 속성으로 일반화하기 어렵다는 사례다. 전문 추론과 짧은 사실 회상은 문맥을 처리하는 병목이 다를 수 있으므로, 배포 task와 유사한 오류 구조를 가진 데이터셋을 포함해야 한다.

Mistral-Large-3는 MMLU-Pro, GPQA, SimpleQA에서 WTD가 각각 47.3, 53.2, 51.6이다. 세 benchmark의 AVG와 평균 변화는 서로 다르지만 최악 꼬리는 반복해서 크게 나타난다. HLE에서는 WTD가 12.2로 작아 보이나 AVG가 5.1에 불과하다. 이 대비는 모델 수준 경보를 만들 때 benchmark별 WTD 최대값과 baseline-corrected profile을 함께 보존해야 함을 보여 준다.

5.9 오류 주석과 문항 상관을 함께 해석하기

오류 주석은 문맥이 어떤 기능을 흔드는지 보여 주고, 문항 상관은 그 흔들림이 어느 질문에 발생하는지 보여 준다. MMLU-Pro에서 저하 응답의 61.6%가 계산 오류라는 공통 양상이 있어도 모델별 worst-tail 질문 집합은 거의 겹치지 않는다. 즉 실패의 기능적 범주는 공유될 수 있지만, 그 범주가 발현되는 입력은 모델 고유 경계에 따라 달라진다.

SimpleQA에서 향상과 저하의 Wrong Fact 비중이 각각 97.9%와 96.0%라는 결과도 방향 판별의 어려움을 드러낸다. 동일한 사실 회상 기능이 어떤 질문에서는 문맥 뒤에 정답으로 이동하고 다른 질문에서는 오답으로 이동한다. 오류 taxonomy만으로 피해 방향을 예측하기보다 질문별 반복 시행과 uncertainty를 결합하고, 실제 응답의 근거 출처가 바뀌었는지 추적해야 한다.

MMLU-Pro와 GPQA에서 Wrong Problem은 저하보다 향상 쪽 비율이 높다. 원래 문제를 잘못 해석하던 응답이 무관 문맥 뒤 우연히 올바른 해석 경로로 들어간 경우다. 반면 새로 생긴 계산 오류는 저하 쪽에 집중된다. 이 비대칭은 하나의 scalar instability 뒤에 문제 선택, 규칙 적용, 계산, 사실 회상처럼 서로 다른 내부 단계가 섞여 있음을 보여 준다.

5.10 평균 상쇄를 release dashboard에서 드러내는 방법

평균 변화, INS, WTD 외에도 향상 tail과 저하 tail의 평균을 따로 표시하면 상쇄 구조를 바로 볼 수 있다. 두 tail의 크기, 전체 절대 변화에서 차지하는 비율, 모델 간 tail overlap, split-half reliability를 한 화면에 놓으면 평균이 비슷한 모델도 위험 형상이 달라진다. 특히 88.3% tail concentration은 중간 문항의 안정성과 극단 문항의 취약성을 분리해 표시할 근거가 된다.

release 간 비교에서는 이전 모델과 새 모델의 worst-tail 합집합을 고정 평가하고, 새 모델 자체의 tail도 별도로 탐색해야 한다. 첫 집합은 알려진 회귀를 막고 두 번째 집합은 모델 특이적 새 취약성을 찾는다. 두 모델의 Jaccard가 0.09 수준이라면 이전 tail만 재사용하는 suite는 새 위험 대부분을 놓칠 수 있다. 고정 regression set과 동적 discovery set을 분리하는 운영이 이 결과에서 직접 도출된다.

6. 추가 분석 및 Ablation Study: 문맥 유형·길이·추론·학습 단계의 조절 효과

6.1 자연스러운 무관 문맥에서도 남는 INS와 WTD

CHA, TOK, WEB, SQA는 의미성과 형식이 크게 다르지만 모두 INS와 WTD를 만든다. SQA는 두 데이터셋에서 가장 높은 INS를 보이는데, 다른 질문과 답의 연쇄가 목표 질문의 형식과 닮아 prediction state를 더 강하게 흔든다는 설명이 가능하다. CHA는 MMLU-Pro에서 WTD가 가장 높지만 SimpleQA에서는 가장 낮아, 문맥 유형의 상대 위험도 task에 의존한다.

Figure 3. 원문 Figure 4를 재번호화. gpt-5.4와 MMLU-Pro에서 sequential QA(SQA), random webpages(WEB), random tokens(TOK), pseudo-words(CHA)가 만든 INS·WTD와 문맥 유형 사이 문항별 변화 상관.

네 문맥 모두 양방향 변동과 유해 꼬리를 만들지만 크기는 같지 않다. 질문–답변 형식을 반복하는 SQA의 높은 INS는 단순 token 수보다 담화 형식이 conditioning을 좌우할 가능성을 보여 준다. 서로 다른 문맥 유형의 문항별 효과도 완전히 독립적이지 않아 MMLU-Pro 평균 Pearson 0.37, SimpleQA 0.24를 기록하며, 일부 취약 문항은 형식이 바뀌어도 겹친다. 하나의 무관 문맥 형식만 통과한 모델을 강건하다고 판정하기보다 여러 형식의 지표와 교집합을 함께 확인해야 한다.

context-type 간 평균 Pearson은 MMLU-Pro 0.37, 95% CI [0.28, 0.46], SimpleQA 0.24, 95% CI [0.16, 0.33]이다. 모델 간 평균 0.00보다 높다. 즉 어떤 모델 안에서는 다른 무관 문맥도 부분적으로 같은 취약 질문을 건드리지만, 모델을 바꾸면 그 구조가 거의 공유되지 않는다. 이 비교는 model-conditioned susceptibility라는 해석을 강화한다.

6.2 10-token 잡음부터 시작되는 길이 효과

놀라운 점은 10개의 pseudo-word token만으로도 무시할 수 없는 INS와 WTD가 생긴다는 사실이다. 길이가 100, 1k, 10k로 늘면 두 지표가 대체로 커지지만 포화 지점은 모델별로 다르다. gpt-5.4의 WTD는 1k 이후, gpt-5.5는 100 이후 증가가 둔화된다. 더 긴 입력이 항상 선형으로 더 위험한 것은 아니다.

짧은 문맥과 긴 문맥은 오류의 종류를 근본적으로 바꾸지 않는다. gpt-5.4에서 10-token pseudo-word가 새로 만든 오류 중 약 60%가 Wrong Calculation이고, 10k-token 조건의 분포와 비슷하다. 길이는 어떤 실패 회로를 새로 만드는 변수보다, 이미 존재하는 약점이 발현되는 영향 범위와 빈도를 키우는 변수에 가깝다.

6.3 reasoning effort가 줄이되 제거하지 못하는 위험

gpt-5.4에서 reasoning effort를 none에서 low로 올리면 INS와 WTD가 크게 줄고 gpt-5.5와의 격차가 대부분 닫힌다. 그러나 medium에서 high로 늘렸을 때 두 모델의 WTD가 단조롭게 감소하지 않는다. high reasoning의 gpt-5.4는 계산 오류가 크게 줄지만 Wrong Problem과 Wrong Rule이 남는다. 추론 예산은 오류 구성을 바꾸면서 일부 꼬리를 유지한다.

Figure 4. 원문 Figure 5를 재번호화. MMLU-Pro에서 pseudo-word 길이 10·100·1k·10k tokens와 reasoning effort none·low·medium·high에 따른 INS와 WTD의 scaling 효과.

왼쪽은 매우 짧은 문맥에서도 변동이 시작되고 모델별로 다른 길이에서 포화함을 보여 준다. 오른쪽은 none→low 전환의 이득이 크지만 이후 계산량 증가가 WTD를 계속 낮추지는 않음을 드러낸다. test-time compute는 유효한 완화 수단이지만 보증 장치가 아니며, reasoning token 수와 tail reliability를 별도 축으로 모니터링해야 한다. 같은 비용 증가가 모델마다 다른 포화점과 오류 구성을 만들므로 inference policy별 release 검증도 따로 필요하다.

reasoning 모델의 실제 token 사용을 보면 무관 문맥이 추론 길이를 늘리는 규칙도 없다. gpt-oss-120b high는 baseline reasoning 2,041 tokens에서 context 1,631로 감소하고, gpt-5.4 high는 486에서 536으로 증가한다. 모델과 effort에 따라 방향이 달라 reasoning compression 하나로 불안정성을 설명할 수 없다.

다음 표는 원문 Table 8의 MMLU-Pro 성능과 평균 응답·추론 token을 보존한다. AVG와 $\Delta$는 백분율이고, token 열은 baseline/context 평균이다. 표 전반에서 더 높은 effort가 AVG를 높이지만 문맥 조건의 reasoning token 변화는 모델별로 일관되지 않는다.

표 4. 원문 Table 8 reasoning 모델의 성능과 평균 response/reasoning tokens.

모델	AVG	$\Delta$	Response B/C	Reasoning B/C
gpt-oss-120b (low)	77.4	−0.6	188 / 194	160 / 154
gpt-oss-120b (mid)	79.5	+0.4	201 / 202	443 / 405
gpt-oss-120b (high)	82.2	−0.4	201 / 190	2041 / 1631
gpt-5.4 (none)	81.2	−2.1	142 / 129	0 / 0
gpt-5.4 (low)	87.9	−0.6	139 / 128	129 / 119
gpt-5.4 (mid)	88.8	+0.2	137 / 129	301 / 304
gpt-5.4 (high)	89.5	−0.3	138 / 131	486 / 536
gpt-5.5 (none)	80.2	+0.3	123 / 121	0 / 0
gpt-5.5 (low)	89.2	−0.5	115 / 115	130 / 118
gpt-5.5 (mid)	89.6	−0.3	113 / 112	277 / 255
gpt-5.5 (high)	90.1	−0.5	112 / 111	522 / 516

표 4는 test-time compute와 안정성이 동일한 단조 함수가 아님을 확인한다. gpt-5.4 AVG는 81.2에서 89.5로 오르지만 $\Delta$는 none −2.1, low −0.6, mid +0.2, high −0.3으로 부호까지 바뀐다. gpt-oss-120b high의 context reasoning 감소 폭도 크다. token budget을 늘리는 정책에는 비용·정확도·INS·WTD를 함께 묶은 선택 기준이 필요하다.

6.4 CoT prompting이 비추론 모델에 주는 효과

gpt-4.1에 CoT를 적용하면 네 데이터셋 모두 INS와 WTD가 감소한다. MMLU-Pro는 INS 4.3→1.3%, WTD 19.7→6.4%로 크게 줄고, GPQA WTD는 22.7→3.7%로 내려간다. SimpleQA는 INS 3.1→1.7%, WTD 11.8→7.6%로 개선 폭이 작아 사실 회상 오류가 명시적 추론으로 복구되기 더 어려울 가능성을 보인다.

아래 표는 원문 Table 9의 전체 수치다. CoT는 baseline AVG도 MMLU-Pro 78.0→81.2, GPQA 57.3→64.1, HLE 3.8→4.6, SimpleQA 30.4→32.2로 높인다. 평균 정확도 상승과 꼬리 안정성 향상이 동시에 나타나지만, SimpleQA WTD 7.6%처럼 잔여 위험은 남는다.

표 5. 원문 Table 9 gpt-4.1의 CoT 효과(%). 각 셀은 AVG / $\Delta$ / INS / WTD.

설정	MMLU-Pro	GPQA	HLE	SimpleQA
w/o CoT	78.0 / +0.0 / 4.3 / 19.7	57.3 / −0.9 / 5.6 / 22.7	3.8 / −0.2 / 1.0 / 5.4	30.4 / −0.7 / 3.1 / 11.8
w/ CoT	81.2 / +0.0 / 1.3 / 6.4	64.1 / +1.4 / 2.3 / 3.7	4.6 / −0.3 / 0.8 / 4.8	32.2 / −0.3 / 1.7 / 7.6

표 5의 $\Delta$는 CoT 뒤에도 −0.3~+1.4%로 작다. 그와 동시에 MMLU-Pro·GPQA의 WTD는 각각 13.3%p, 19.0%p 감소한다. 평균 변화만 추적했다면 이 완화 효과도 거의 보이지 않았을 것이다. CoT 평가는 정답률 개선뿐 아니라 문맥 perturbation 전후의 문항별 분산까지 측정해야 한다.

6.5 pretraining부터 post-training까지 형성되는 불안정성

OLMo-3 checkpoint 추적에서 INS와 WTD는 pretraining 동안 task 성능과 함께 점차 생긴다. midtraining 초반에는 data distribution shift와 함께 두 지표가 급증한 뒤 성능이 계속 오르는 동안 더 낮은 수준에서 안정된다. SFT는 baseline을 조금 바꾸면서 불안정성을 크게 늘리고, DPO는 성능 개선과 함께 INS·WTD도 확대한다. 학습 진전이 곧 문맥 강건성 진전을 뜻하지 않는다.

Figure 5. 원문 Figure 6을 재번호화. MMLU에서 OLMo-3-7B-Instruct의 개발 checkpoint를 따라 INS와 WTD가 형성되는 전체 training pipeline. 원문은 (I) 단계별 checkpoint, (II) pretraining, (III) midtraining 추적을 함께 보고한다.

전체 파이프라인 패널은 PRE·MID·CXT·SFT·DPO·RLVR의 accuracy 향상과 instability 변화를 나란히 놓는다. 특히 SFT와 DPO에서 성능 개선이 INS·WTD 감소로 이어지지 않는 구간이 핵심이다. checkpoint 선택을 평균 benchmark 하나에 맡기면 더 정확하면서도 꼬리 위험이 큰 모델을 채택할 수 있으므로, 개발 단계마다 context perturbation suite를 반복해야 한다.

Qwen3.5-9B는 base 대비 post-trained 모델에서 AVG 72.5→73.8이지만 INS 3.7→6.3, WTD 13.7→21.3으로 증가한다. gemma-4-12B도 instruction-tuned 모델에서 AVG 58.5→78.5와 함께 INS 6.7→8.4, WTD 24.5→40.7이 된다. 능력 향상과 context sensitivity 증가가 동시에 일어나는 두 사례다.

원문 Table 4는 base/post-training 비교와 동일한 OLMo-3-7B-2T 출발점에서 midtraining data mixture를 바꾼 비교를 한 표에 배치한다. 괄호는 각 열의 기준 checkpoint 대비 변화다. 관찰적 비교이므로 혼합 데이터가 불안정성의 원인이라고 확정할 수는 없지만, data composition을 후보 요인으로 좁힌다.

표 6. 원문 Table 4 local 모델과 training pipeline 결과(%).

비교 축	모델/checkpoint	AVG	$\Delta$	INS	WTD
Base vs post-trained	Qwen3.5-9B-Base	72.5	−1.0	3.7	13.7
	Qwen3.5-9B	73.8	−4.5	6.3 (+2.6)	21.3 (+7.6)
	gemma-4-12B	58.5	−0.5	6.7	24.5
	gemma-4-12B-it	78.5	−0.1	8.4 (+1.7)	40.7 (+16.2)
OLMo mixture	OLMo-3-7B-2T	25.4	−2.1	5.0	17.7
	2T + Gen-QA	44.9	−1.6	6.5 (+1.5)	20.0 (+2.3)
	2T + Math-code	43.1	−1.3	5.2 (+0.2)	16.1 (−1.6)
	2T + Final	47.4	−2.1	6.9 (+1.9)	22.1 (+4.4)

표 6에서 Math-code mixture는 AVG 43.1로 Gen-QA 44.9와 비슷하면서 WTD 16.1로 더 낮다. 균형 잡힌 Final mixture는 AVG 47.4로 가장 높고 WTD 22.1도 가장 높다. 데이터 혼합이 능력과 안정성을 서로 다른 방향으로 움직일 수 있으므로, 학습 recipe 비교에는 accuracy–instability Pareto frontier가 필요하다.

appendix의 GPQA·HLE 모델 간 상관행렬도 MMLU-Pro·SimpleQA와 같은 모델 특이성을 보인다. 네 benchmark 전체에서 특정 모델 쌍이 일관된 양의 상관 블록을 만들지 않는다. 아래 그림은 본문 Figure 2의 범위를 나머지 두 데이터셋으로 완성한다.

Figure 6. 원문 Figure 7을 재번호화. GPQA와 HLE에서 모든 모델 쌍의 문항별 성능 변화에 대한 Pearson $r$ 상관행렬.

GPQA와 HLE에서도 특정 모델 집단이 같은 취약 문항을 공유하는 뚜렷한 블록은 보이지 않는다. 표본이 190개인 GPQA와 baseline이 낮은 모델이 많은 HLE는 추정 잡음과 floor effect에 더 민감하지만, randomized split-half 신뢰도 분석 뒤에도 모델 간 공통 구조가 약하다. 문맥 강건성 평가는 새 checkpoint마다 자체 문항별 profile을 다시 측정해야 한다. MMLU-Pro와 SimpleQA의 결과까지 합치면 모델 특이성은 특정 문제 형식에 한정된 관찰보다 네 benchmark에 걸친 공통 패턴으로 해석된다.

6.6 응답 길이 변화가 보여 주는 보조 단서

원문 Table 10에서 gpt-4.1의 응답 길이는 CoT 없이 MMLU-Pro baseline 304, context 326 tokens이고, CoT에서는 503과 536이다. GPQA는 589/620에서 884/925, HLE는 1178/1187에서 1473/1497, SimpleQA는 111/132에서 207/248로 늘어난다. 무관 문맥은 대체로 응답을 조금 길게 만들지만, 그 증가량만으로 데이터셋별 WTD 차이를 설명하기에는 패턴이 일정하지 않다.

CoT가 안정성을 높인 결과에는 더 긴 계산 과정, 중간 검산, 문제 재서술이 함께 작용할 수 있다. 응답 길이가 늘어난 사실만으로 어느 과정이 원인인지 분리되지는 않는다. 후속 ablation은 동일 token budget에서 self-check 단계 유무를 바꾸거나, reasoning trace를 일정 길이로 제한한 뒤 INS와 WTD를 비교해야 한다. 그래야 계산량 효과와 추론 구조 효과를 구분할 수 있다.

gpt-oss-120b high에서 context reasoning이 2,041에서 1,631 tokens로 줄어드는 반면 gpt-5.4 high는 486에서 536으로 늘어난다. 두 모델 모두 같은 pseudo-word 조건을 받았지만 내부 reasoning policy의 반응 방향이 다르다. context가 추론을 일괄 축소한다는 가설보다, 모델별 budget controller와 stopping behavior가 불안정성에 결합된다는 설명이 현재 수치에 더 잘 맞는다.

6.7 개발 recipe를 accuracy–stability 평면에서 비교하기

OLMo mixture 결과는 clean accuracy가 비슷한 후보 사이에서도 stability가 달라질 수 있음을 보여 준다. Gen-QA와 Math-code는 AVG가 44.9와 43.1로 가깝지만 WTD는 20.0과 16.1이다. Final mixture는 AVG 47.4로 가장 높고 WTD 22.1도 높다. 단일 순위를 만드는 대신 accuracy 하한을 만족한 checkpoint 가운데 WTD가 낮은 후보를 선택하는 constrained selection이 더 직접적이다.

SFT·DPO·RLVR을 거친 뒤의 변화는 instruction following과 preference alignment가 무관 문맥 억제까지 자동으로 개선하지는 않음을 시사한다. 학습 목표가 clean prompt의 응답 품질을 최적화하면 입력 invariance는 별도 supervision 없이 남을 수 있다. 같은 질문의 clean/context pair에 예측 일관성 항을 추가하되, 실제 관련 근거가 들어온 경우에는 답이 바뀌어야 하므로 relevance classifier 또는 contrastive context construction이 함께 필요하다.

7. 한계점 및 향후 연구 방향: 측정 비용과 에이전트 궤적으로의 외삽 경계

7.1 반복 샘플 기반 잠재 정확도 추정의 비용

API 모델의 한 질문에는 baseline 20회와 10개 문맥×2회, 총 40개의 응답이 필요하다. 1,690개 질문과 8개 모델을 단순 곱하면 채점 전부터 수십만 generation이 된다. WTD는 가장 나빠진 10%를 안정적으로 고르기 위해 충분한 질문 수와 반복 시행이 동시에 필요하다. tail metric의 표본 효율이 실제 모델 개발 loop에 넣기 어려운 가장 직접적인 제약이다.

bootstrap noise floor는 절댓값과 tail selection의 양의 편향을 줄이지만, 평균 null floor를 빼는 절차다. 문항별 이질적 분산, context 간 상관, grader error까지 포함한 완전한 unbiased estimator는 아니다. split-sample WTD가 선택과 측정의 동일 잡음을 끊어 보완하지만, 시행을 절반씩 나눠 signal-to-noise ratio를 낮춘다. 후속 연구에는 hierarchical latent-probability model과 adaptive sampling이 필요하다.

7.2 pseudo-word에서 자연적 에이전트 문맥으로의 외적 타당도

pseudo-word는 의미적 혼입을 억제하는 강한 통제인 동시에 현실 문맥과 거리가 크다. WEB와 SQA가 현상의 존재를 보완하지만, 무작위 webpage와 다른 benchmark 문답도 실제 에이전트의 시간 순서·도구 의존성·사용자 수정·요약 상태를 재현하지 않는다. 실사용 문맥은 완전히 무관한 조각과 약하게 관련된 조각이 섞이고, 모델의 과거 출력이 다음 입력에 다시 들어가는 endogenous context다.

자연 궤적에서는 어느 부분이 “task-irrelevant”인지도 결과를 본 뒤에야 판별될 수 있다. 오래된 테스트 실패가 현재 수정에는 불필요해 보여도 회귀 원인을 설명할 수 있고, 반대로 직전 성공 로그가 잘못된 확신을 강화할 수 있다. 후속 benchmark는 동일한 원래 결정에서 context span을 제거·교체·순서 변경하며 인과 효과를 측정하고, 전문가가 표시한 relevance와 모델 변화량을 분리해야 한다.

7.3 오류 방향을 예측하지 못하는 불확실성 신호

baseline uncertainty는 squared change와 split-sample $\rho=0.21$로 연결되지만 signed change와는 거의 상관이 없다. 이는 위험 라우팅에서 불확실성 threshold만 사용하면 “흔들릴 질문”은 일부 찾더라도 “문맥 때문에 악화될 질문”은 구분하기 어렵다는 뜻이다. selective prediction에는 variance signal과 directional harm signal이 모두 필요하다.

향후에는 no-context entropy, self-consistency, verbal confidence, logit margin, representation distance를 함께 사용해 INS와 WTD를 예측할 수 있다. 다만 동일 반복 시행으로 특징과 목표를 만들면 shared-noise bias가 커지므로, 현재 논문의 disjoint-fold 설계를 유지해야 한다. 중요한 평가지표도 단순 상관에서 벗어나 worst-tail recall, calibration, risk–coverage curve로 확장할 필요가 있다.

7.4 모델 특이성이 만드는 벤치마크 유지 비용

문항별 변화의 모델 간 상관이 0에 가깝다는 결과는 고정된 adversarial set의 수명을 짧게 만든다. 한 모델에서 찾아낸 worst 10%를 다음 모델의 regression suite로 그대로 쓰면 Jaccard 0.09 수준의 작은 교집합만 확인할 수 있다. 모델 family, checkpoint, system prompt, inference stack이 바뀔 때 susceptibility map도 갱신해야 한다.

그러나 완전한 재평가는 비용이 크다. practical suite는 공통 anchor 문항, 이전 모델의 tail, 새 모델의 uncertainty 상위 문항, 무작위 탐색 문항을 혼합하고 sequential design으로 표본을 배분할 수 있다. 초기에 적은 반복으로 후보 tail을 찾고 경계 근처 문항에만 추가 시행을 집중하면 WTD의 ranking error와 API 비용을 함께 줄일 가능성이 있다.

7.5 학습 단계의 관찰 결과를 인과 주장으로 넓힐 때의 주의

OLMo checkpoint 곡선과 data-mixture 비교는 불안정성이 pretraining부터 형성되고 post-training에서 커질 수 있음을 보여 준다. 하지만 각 단계는 데이터, optimizer state, 학습 길이, template이 함께 달라지는 관찰적 연쇄다. SFT나 Gen-QA 데이터가 직접 원인이라는 결론에는 통제된 factorial training experiment가 더 필요하다.

후속 실험은 같은 초기 checkpoint와 token budget에서 mixture 비율만 바꾸고, clean accuracy를 맞춘 상태에서 INS·WTD를 비교해야 한다. 문맥 불변성 loss, contrastive no-context/context pair, irrelevant-span dropout을 추가한 학습도 후보가 된다. 성능을 유지하면서 꼬리를 줄이는지를 확인하려면 in-domain QA와 자연 agent trajectory를 함께 평가하고, 새로운 distractor에 대한 generalization도 측정해야 한다.

7.6 배포 평가로 옮길 때 필요한 다중 문맥 묶음

한 종류의 pseudo-word만으로 release gate를 만들면 그 형식에 과적합된 안정성 개선을 얻을 수 있다. 배포용 suite에는 무의미 문자열, tokenizer random token, 무작위 문서, 동일 task의 과거 문답, 실제 tool log, 약하게 관련된 retrieved passage를 구분해 넣어야 한다. 각 묶음에서 AVG, 평균 변화, INS, WTD를 따로 계산하면 어떤 context family가 특정 모델의 꼬리를 만드는지 추적할 수 있다.

release 판정은 clean accuracy가 기준 이하로 떨어지지 않는 조건에서 INS와 WTD의 회귀를 제한하는 방식이 적합하다. 새 모델의 WTD가 낮아도 AVG가 함께 낮아졌다면 floor effect일 수 있고, AVG가 높아져 저하 공간이 커진 경우에는 raw WTD 비교가 더 엄격해질 수 있다. 동일 질문의 paired change, log-odds 보조 통계, 과거 모델 tail 재평가를 결합해야 버전 간 비교가 안정적이다.

운영 중에는 고정 주기의 full suite와 소규모 canary replay를 나눌 수 있다. canary는 이전 release의 악화 tail, 새 모델의 높은 불확실성 문항, 최근 실제 실패 궤적을 섞고 반복 횟수를 줄여 빠르게 돌린다. 회귀 신호가 나오면 해당 context family와 문항에 표본을 추가해 WTD를 정밀 추정한다. 이런 sequential allocation은 모든 조합을 매번 40회 생성하는 비용을 줄인다.

7.7 단일 단계 WTD에서 궤적 손실로 확장하는 문제

에이전트의 단계별 예측 변화가 서로 독립이라는 보장은 없다. 초기에 잘못 선택한 도구가 이후 문맥을 바꾸고, 그 오염된 문맥이 다음 단계의 취약성을 다시 높일 수 있다. 단순히 단계별 WTD를 더하면 이런 feedback을 놓치고, 모두 곱하면 지나치게 보수적일 수 있다. 실제 궤적에서는 같은 목표 상태에서 여러 context replay를 실행해 행동 분기와 최종 손실의 결합 분포를 측정해야 한다.

위험의 크기도 정답 여부 하나로 충분하지 않다. 읽기 전용 검색의 뒤집힘과 외부 시스템 변경의 뒤집힘은 비용이 다르다. tool permission, rollback 가능성, 후속 분기 수, 사람 승인 지점을 가중치로 두고 context-induced action flip을 집계하면 같은 INS에서도 운영 위험을 구분할 수 있다. 이는 QA benchmark의 WTD를 에이전트 안전 지표로 확장할 때 필요한 최소한의 비용 모델이다.

8. 내 해석: 동일 세션 재생으로 문맥 위험 예산을 계측하기

8.1 반복 추정의 약점과 context replay perturbation 제안

내가 보는 약점 하나는 반복 샘플로 잠재 정확도를 추정하고 평균 null noise floor를 빼는 정교함에 비해, 평가 문맥이 자연적 에이전트 상태를 충분히 대표하지 못한다는 점이다. 질문당 40회 생성은 비용이 큰데도 pseudo-word·무작위 웹·다른 문답은 실제 세션에서 생기는 도구 출력의 시간 순서와 자기생성 오류 전파를 보존하지 않는다. SWE-chat의 실사용 코딩 궤적에는 파일 읽기, 테스트 실패, 사용자 pushback, 재수정이 연결되어 있어 한 로그 조각의 효과가 다음 상태와 결합된다. 따라서 보고된 WTD를 자연 코딩 세션의 실패율로 곧바로 외삽하기보다 통제된 불변성 위반의 크기로 제한해 읽는 편이 안전하다.

내 후속 제안 하나는 동일 세션의 결정 지점을 고정한 context replay perturbation이다. 실제 trajectory에서 직전 도구 상태와 목표 질문은 유지하고, 오래된 로그·중복 파일·실패 출력만 제거, 순서 변경, 동량의 다른 세션 조각으로 교체해 다음 행동의 INS와 WTD를 측정한다. 이는 long-context attention decay가 말하는 오래된 증거의 흐려짐과, 현재 논문이 보인 무관 입력의 예측 재배치를 한 실험에서 분리한다. 각 단계 WTD에 도구 권한·되돌리기 비용·후속 분기 수를 곱해 trajectory-level risk budget으로 누적하면, 평균 task success가 같아도 어느 세션이 위험한 단일 뒤집힘에 의존했는지 계측할 수 있다.

9. 결론: 평균 성능표를 문항별 신뢰성 지도와 함께 읽기

9.1 강건성의 평가 단위를 바꾼 결과

가장 중요한 결론은 무관 문맥 뒤에도 평균 정확도가 유지된다는 관찰을 폐기하는 데 있지 않다. 그 관찰이 문항별 불변성을 뜻하지 않는다는 점을 수식과 대규모 반복 실험으로 분리했다는 데 있다. $\Delta$는 순효과, INS는 양방향 민감도, WTD는 유해 꼬리를 측정하며, 셋은 서로 대체할 수 없다.

8개 모델과 4개 데이터셋에서 INS는 최대 13.6%, WTD는 53.2%에 이른다. 절대 변화의 88.3%가 양쪽 10% 꼬리에 집중되고, 영향을 받는 질문의 모델 간 평균 상관은 MMLU-Pro와 SimpleQA에서 0.00이다. 이 조합은 소수의 큰 변동, 향상·악화의 상쇄, 모델별 failure set이라는 세 겹의 은폐 구조를 만든다.

9.2 완화 수단과 개발 파이프라인의 교훈

추론 예산과 CoT는 유효한 완화 수단이다. gpt-4.1의 MMLU-Pro WTD는 19.7%에서 6.4%로 줄고 GPQA는 22.7%에서 3.7%로 줄어든다. 그러나 high reasoning이 medium보다 항상 낫지 않고, SimpleQA의 잔여 사실 오류도 남는다. 더 오래 생각하기를 안정성 보증으로 취급할 수 없는 이유다.

training stage 결과는 정확도 중심 checkpoint selection의 맹점을 보여 준다. Qwen과 Gemma의 post-trained 모델, OLMo의 일부 SFT·DPO 구간은 성능과 불안정성이 함께 오른다. 따라서 모델 카드와 회귀 테스트에는 clean AVG뿐 아니라 여러 무관 문맥에서의 INS, WTD, worst-tail overlap, split-half reliability를 포함해야 한다. 배포 이후에도 실제 context replay로 tail drift를 지속 감시해야 한다.

9.3 평가 결과를 모델 선택 기준으로 바꾸는 순서

모델 선택에서는 먼저 배포 task의 clean accuracy 하한을 정하고, 이를 넘는 후보끼리 여러 context family의 WTD 최대값과 INS를 비교하는 순서가 적절하다. 그 다음 이전 release의 취약 문항 합집합에서 회귀가 없는지 확인하고, 새 후보별 uncertainty 상위 문항과 무작위 문항에서 새 tail을 탐색한다. 이 순서는 낮은 baseline 때문에 안정적으로 보이는 후보와 평균 향상으로 큰 변동을 가리는 후보를 모두 걸러 낸다.

최종 dashboard에는 평균 한 줄 대신 clean AVG, signed change, INS, WTD, 향상·저하 tail 규모, split-half reliability를 같은 단위로 기록해야 한다. 질문 수와 반복 시행 수, context 길이·역할·위치, decoding 설정, grader 버전도 통계와 함께 보존해야 release 간 차이를 재현할 수 있다. 문항별 변화 벡터를 저장하면 나중에 모델 쌍의 tail overlap과 신규 취약 집합을 다시 계산할 수 있다.

9.4 에이전트 신뢰성으로 이어지는 최종 함의

문맥이 풍부한 시스템에서 무관 정보는 예외가 아니라 정상 상태다. 단일 QA의 예측 뒤집힘이 agent에서는 다음 관찰과 행동을 바꾸므로, 단계별 작은 확률 이동이 trajectory 전체의 비가역 비용으로 증폭될 수 있다. 평균 task success만 보고 context management를 압축 문제로 취급하면, 어떤 단계가 잡음에 의해 우연히 통과하거나 실패했는지 알기 어렵다.

실무적으로 필요한 변화는 명확하다. 깨끗한 prompt 성능과 long-context 성능을 따로 보고, 같은 입력에 relevance-neutral perturbation을 반복하며, 평균과 양쪽 꼬리를 함께 기록해야 한다. 모델 업데이트마다 취약 문항이 바뀌므로 고정 목록에 의존하지 말고, 실제 세션에서 context replay를 수행해야 한다. 강건성은 한 개의 평균 점수보다 조건이 바뀌어도 같은 결정을 유지하는 성질로 평가되어야 한다.

10. 요약 정리: 무관 문맥의 숨은 꼬리 위험을 읽는 열 가지 기준

• 문맥 추가 후 평균 정확도 변화 $\Delta$가 0에 가까워도 향상과 악화가 상쇄될 수 있으므로, aggregate stability를 문항별 불변성과 동일시할 수 없다.
• INS는 $|\Delta_i|$의 평균으로 양방향 민감도를, WTD는 가장 나빠진 10%의 평균 저하로 유해 꼬리를 측정하며 AVG·$\Delta$와 함께 읽어야 한다.
• 8개 모델·MMLU-Pro·GPQA·HLE·SimpleQA에서 noise-floor-adjusted INS는 최대 13.6%, WTD는 최대 53.2%를 기록했다.
• 전체 절대 변화의 88.3%가 가장 향상된 10%와 가장 저하된 10%에 집중되어, 가운데 다수 문항이 평균의 안정된 인상을 강화한다.
• MMLU-Pro와 SimpleQA의 모델 간 문항별 변화 평균 Pearson $r$은 0.00이고 tail Jaccard는 0.09여서 취약 문항은 강하게 모델 특이적이다.
• 질문 모호성은 변화 방향·크기와 거의 무관하며, baseline uncertainty는 split-sample에서 변화 크기와 $\rho=0.21$로 연결되지만 방향을 예측하지 못한다.
• CHA·TOK·WEB·SQA 모두 INS와 WTD를 만들고, 10-token pseudo-word도 영향을 주며 길이 증가는 모델별 포화점까지 위험을 대체로 키운다.
• reasoning effort와 CoT는 꼬리 위험을 줄이지만 단조롭거나 완전한 해결책은 아니며, 정확도·token 비용·INS·WTD를 공동 최적화해야 한다.
• OLMo checkpoint와 Qwen·Gemma base/post-trained 비교는 benchmark 능력 향상과 context instability 증가가 동시에 일어날 수 있음을 보여 준다.
• 실사용 에이전트에는 동일 trajectory 결정점을 재생해 무관 로그를 제거·교체하는 context replay perturbation과 단계별 WTD 기반 risk budget이 필요하다.