[arXiv 2608.11095] Catastrophic Remembering: CLAUDE.md가 계속 커지는 이유

Why Does CLAUDE.md Keep Growing? Catastrophic Remembering in Agentic Coding

https://arxiv.org/abs/2608.11095

Kushal Chakrabarti | South Park Commons | arXiv:2608.11095 | 2026년 8월

---

1. 서론: 지워지지 않는 지침이 만드는 ‘파국적 기억’의 역설

유용한 컨텍스트 파일이 끝없이 비대해지는 이유

CLAUDE.md, AGENTS.md, copilot-instructions.md 같은 에이전트 코딩용 컨텍스트 파일은 저장소의 규칙을 모델에게 전달하는 실행 가능한 프롬프트다. 이런 파일이 있으면 에이전트가 작업을 더 빨리, 더 적은 토큰으로 끝낸다는 선행 결과가 있어 단순 삭제는 해법이 아니다. 그러나 제약이 늘수록 지시 이행률이 떨어지는데도 실제 파일의 마지막 관측 버전은 중앙값 39개, 90백분위수 131개의 지침을 담고 있었다. 이 논문이 추적한 파일들은 자기 생애 동안 평균 지침 수가 226% 증가했고 대량 재작성을 제외한 커밋마다 순지침이 평균 4.9개 늘었으므로, 문제는 몇몇 장황한 사례에서 그치지 않고 유지보수 과정에 내재한 누적 편향이다.

파일을 만든 직후의 지침 수를 기준점으로 두면 평균 곡선은 수명 후반에 약 226% 증가한다. 평균 문장 길이의 변화보다 지침 개수 증가가 훨씬 커서, 몇 문장이 장황해진 현상으로는 이 곡선을 설명하기 어렵다. 저장소마다 프로젝트 수명과 변경 빈도가 달라 절대 커밋 수를 그대로 평균내지 않고, 각 파일의 생애를 0에서 1 사이로 정규화했다는 점도 중요하다. 코퍼스의 1,867개 저장소와 247,694개 지침 생애는 실패 뒤 추가는 반복되지만 기존 규칙의 삭제는 같은 속도로 따라오지 못한다는 비대칭을 보여 준다.

Figure 1: 실제 저장소에서 관측한 지침 수의 생애 정규화 성장 곡선

파일을 만든 직후의 지침 수를 기준점으로 두면 평균 곡선은 수명 후반에 약 226% 증가한다. 평균 문장 길이의 변화보다 지침 개수 증가가 훨씬 커서, 몇 문장이 장황해진 현상으로는 이 곡선을 설명하기 어렵다. 저장소마다 프로젝트 수명과 변경 빈도가 달라 절대 커밋 수를 그대로 평균내지 않고, 각 파일의 생애를 0에서 1 사이로 정규화했다는 점도 중요하다. 코퍼스의 1,867개 저장소와 247,694개 지침 생애는 실패 뒤 추가는 반복되지만 기존 규칙의 삭제는 같은 속도로 따라오지 못한다는 비대칭을 보여 준다.

파국적 망각의 반대편에 있는 파국적 기억

새 지침을 덧붙이는 비용은 작고 실패 직후의 근거도 분명하지만, 시간이 지난 뒤 그 지침을 안전하게 지우려면 “없었더라면 어떤 제약이 다시 깨졌을까”라는 반사실을 확인해야 한다. $|D|$개의 지침을 가진 프롬프트에서 중복과 상호작용까지 정직하게 검사하려면 최악의 경우 부분집합 수에 비례하는 $O(2^{|D|})$개의 검사가 필요하지만, 추가 당시의 잠재 추론을 기록하는 비용은 $O(1)$이다. 저자는 이유를 잊어 지워야 할 것을 계속 보존하는 이 발산을 ‘파국적 기억(catastrophic remembering)’이라 부른다. 이전 과제를 지탱하던 정보를 덮어쓰는 파국적 망각과 방향은 반대지만, 업데이트를 정당화할 정보가 사라진다는 점에서는 같은 구조다.

현실의 삭제 양상도 이 해석과 맞물린다. 관측된 지침 소멸의 대부분은 하나씩 숙고해 제거하는 편집보다 파일의 절반 이상을 한꺼번에 없애는 전면 재작성 또는 형제 파일로의 이동에서 발생하며, 논문은 이 둘을 합쳐 전체 소멸의 77.3%로 집계한다. 전면 재작성은 개별 지침마다 삭제 이유를 요구하지 않으므로 잠시 크기를 줄이지만, 원인인 회상 손실을 고치지 않아 곧바로 성장이 재개된다. 즉 이 논문의 핵심 대상은 단조 증가 자체보다 ‘축적-전면 정리-재축적’이 반복되는 래칫형 동학이다.

논문의 제안과 검증 전략

제안은 코드 주석의 역할을 프롬프트로 옮기는 것이다. 지침은 실행자에게 무엇을 할지 말하고, 프롬프트 주석은 다음 유지보수자에게 왜 이 지침이 생겼는지, 어떤 실패가 반복됐는지, 어떤 시도가 반증됐는지를 전달하며 실행자에게는 보이지 않게 한다. 역전된 IFEval 실험에서 정보성 주석은 51단계 뒤 초과 크기를 211.3%에서 1.4%로 낮춰 초과 지침의 99.3%를 제거했고, 15단계에서는 60.4%에서 $-5.8\%$로 66.2%p 줄였다. WildIFEval 기반 실험에서도 같은 아이디어는 실제 문장형 제약의 이행률을 50.4%에서 62.0%로 올려 11.6%p, 상대적으로 23.1% 개선했다.

논증은 관찰 연구와 배정 실험을 서로 다른 역할로 결합한다. GitHub 코퍼스는 래칫이 실제 저장소에서 얼마나 널리 나타나는지와 삭제 위험의 형태를 보여 주지만, 유지보수 이유를 무작위 배정하지 못하므로 그 자체로 주석의 인과 효과를 확정하지 않는다. 반대로 IFEval 세계는 현실의 저장소 크기보다 훨씬 작은 커버를 사용하지만, 다음 유지보수자에게 전달되는 잠재 추론만 조작해 성장 억제의 원인을 식별한다. WildIFEval 복제는 기계 검증 제약에 한정된 첫 실험과 실제 파일의 관찰 결과 사이를 이어, 초과 지침이 이미 존재할 때 주석이 지시 이행 손실을 얼마나 되돌리는지 측정한다.

Figure 2: 실패 근거가 유지보수 과정에서 소실되는 구조

이 모식도는 논문의 이론과 원 Figure 2를 바탕으로 재구성한 reviewer schematic이다. 실패 직후에는 새 지침과 이유가 함께 선명하지만, 이유를 별도 채널에 기록하지 않으면 여러 편집을 거치는 동안 지침만 남는다. 논문에서 핵심은 주석을 실행 프롬프트에 그대로 노출하지 않고 유지보수자 전용 정보로 다루는 채널 분리다. 미래 유지보수자는 삭제가 회귀를 부를지 판단하기 어려워 전체를 보존하며, outcome-grounded comment는 실패·반증·복구 원문을 붙잡아 이 판단 비용을 낮춘다.

2. 배경 및 관련 연구: 삭제를 가능하게 하는 것은 기억된 ‘왜’다

관측 불가능한 제약 집합과 최소 커버

논문은 프롬프트 유지보수를 검열되고 잡음 섞인 피드백으로 관측 불가능한 제약 집합을 온라인 추정하는 문제로 정식화한다. 과업 $j=(o_j,C_j)$는 명시된 목적 $o_j$와 숨은 제약 부분집합 $C_j\subseteq C$로 이루어지며, 전체 집합 $C=\{g_c\}$의 각 원소는 응답을 검사하는 검증기다. 시점 $t$의 프롬프트는 유한 지침 집합 $D_t$이고, 지침 $d$가 들어온 시점을 $\tau_d$, 나이를 $a_d=t-\tau_d$로 둔다. 실행자가 과업 $j$에서 제약 $c$를 만족할 확률은 $q_c(D,j)$이며, 유지보수자는 그 함수나 전체 $C$를 직접 보지 못하고 하네스가 돌려준 결과만 관측한다.

유지보수의 목표는 정확도를 최대화하는 지침 집합 중 가장 작은 최소 커버 $D_\star$다. 논문의 정의는 $$D_\star=\operatorname*{argmin}_{D\in\mathcal{M}}|D|,\qquad \mathcal{M}=\operatorname*{argmax}_{D}\,\mathrm{E}_{j,\,c\in C_j}[q_c(D,j)]$$ 이다. 따라서 평가는 기대 제약 만족도 $\mathrm{E}[q_c]$와 초과 크기 $|D_t|/|D_\star|-1$을 동시에 보며, 한 축을 개선하려고 다른 축을 희생하면 우월한 유지보수 체계로 인정하지 않는다. 이 이중 기준은 짧기만 한 프롬프트와 모든 지침을 보존해 우연히 정확한 프롬프트를 모두 배제한다.

이론은 특정한 $q_C$ 함수형을 가정하지 않고 다섯 성질만 요구한다. A1 지시 가능성은 어떤 지침이 특정 제약의 만족 확률을 높인다는 뜻이고, A2 간섭은 그 지침이 다른 제약의 확률을 낮출 수 있음을 뜻하며, A3 중복은 두 번째 지침이 같은 제약에 추가 이득을 주지 않을 수 있음을 뜻한다. A4 검열은 결과가 어느 지침 덕분인지 밝히지 않는다는 조건이고, A5 확률성은 커버된 제약도 $q_c<1$일 수 있다는 조건이다. 앞의 세 성질이 유지보수 공간을 만들고, 검열은 삭제를 막으며, 확률적 실패는 새 지침의 추가를 계속 촉발한다.

Table 1: 프롬프트 유지보수 모델의 다섯 성질

가정	행동	유지보수 의미
A1 지시 가능성	특정 지침이 제약 만족도를 높인다	추가가 유효할 수 있다
A2 간섭	새 지침이 다른 제약을 해칠 수 있다	모든 추가가 안전하지 않다
A3 중복	두 번째 지침의 추가 이득이 없을 수 있다	초과 지침이 생긴다
A4 검열	결과가 기여 지침을 알려 주지 않는다	삭제 근거가 사라진다
A5 확률성	커버된 제약도 실패할 수 있다	추가가 계속 촉발된다

왜 한 줄 삭제가 지수적 감사가 되는가

지침 $d$가 제약 $c$에 기여하는 양은 과업 평균에서 $$\Delta_c(d\mid D)=\mathbb{E}_j[q_c(D,j)-q_c(D\setminus\{d\},j)]$$ 로 정의되며, 모든 $c$에 대해 $\Delta_c\leq 0$이면 그 지침은 초과다. 하지만 이를 추정하려면 적어도 $D\setminus\{d\}$를 시험해야 하고, 여러 지침이 같은 제약을 중복 커버하면 하나씩 빼는 검사만으로는 공동 삭제의 회귀를 발견하지 못한다. 가능한 결합을 빠짐없이 감사하면 $O(2^{|D_t|})$개의 부분집합을 비교해야 하므로 일반적인 $D_\star$ 계산은 실현 불가능하다. 반대로 추가 당시의 잠재 추론 $r_d$가 남아 있다면 어떤 실패와 가설이 지침을 낳았는지 즉시 판단할 수 있어 관련 판단 비용이 $O(1)$로 줄어든다.

저자는 나이 $a$에서 이유가 복원될 확률을 $$\rho(d,a)=\Pr(r_d\text{가 나이 }a\text{에서 복원 가능})$$ 로 두고, 지침에 대한 주변 평균을 $\bar{\rho}(a)=\mathbb{E}_d\rho(d,a)$로 정의한다. 작성 순간에는 $\rho(d,0)=\bar{\rho}(0)=1$이지만 시간이 흐르면 둘 다 0으로 수렴한다는 것이 불완전 회상 가정이다. 나이 $a$의 지침이 실제로 초과일 확률을 $s(a)=\Pr(\text{excess}\mid a)$라 하면 합리적 삭제 위험은 $$h(a)\approx\bar{\rho}(a)s(a)$$ 로 분해된다. 그러므로 내용이 낡아 초과가 되어도 그 이유를 복원하지 못하면 안전한 삭제 사건은 발생하지 않을 수 있다.

한 에피소드에서 추가되는 지침 수를 $A_t$라 할 때 기대 순증가는 $$\mathbb{E}[|D_{t+1}|-|D_t|]=A_t-\sum_d h(a_d)$$ 로 표현된다. 일정한 추가율 $A$와 고정된 초과 확률 $s$를 놓은 흐름 균형에서 논문은 $$|D_\infty|=\frac{A}{\bar{\rho}(a)s}\xrightarrow[a\to\infty]{}\infty$$ 를 제시한다. 과업이나 숨은 제약 집합이 변하지 않아도 이유의 복원 가능성만 0으로 쇠퇴하면 평형 크기가 발산한다는 결론이다. 프롬프트 주석은 바로 이 분모의 $\bar{\rho}(a)$를 보존해 append-only에 가까워진 최적 추정기를 다시 삭제 가능한 추정기로 바꾸는 개입이다.

관련 연구와의 연결 및 차이

기존의 에이전트 컨텍스트 파일 연구는 지침 파일이 작업 속도와 토큰 효율에 도움을 주고, 저장소 역사에서 추가가 다른 편집보다 우세하다는 사실을 보여 주었다. 이 논문은 파일 단위 크기 대신 개별 지침의 출생, 생존, 삭제를 복원해 나이별 위험을 추정한다는 점에서 한 단계 더 나아간다. MemGPT의 컨텍스트 초과 기반 퇴거, Mem0의 모순 감지 삭제, Zep의 시간표시 기반 무효화처럼 에이전트 메모리 연구는 관측 가능한 노후화 대리변수를 사용한다. 그러나 사람이 작성한 규칙은 오래됐거나 드물게 호출됐다는 이유만으로 무효가 되지 않으므로, 저자는 지침의 잠재 추론을 보존과 삭제의 핵심 신호로 삼는다.

조직 규칙 연구는 규칙의 생성과 소멸을 확률 과정으로 보고 규칙 자체의 나이와 조직 내 밀도가 변화율에 미치는 영향을 분석해 왔다. 논문은 이 사건사 분석 전통에서 삭제 위험의 나이 의존성을 빌리되, 그것을 노후화와 구성 효과로만 설명하지 않고 이유 복원 가능성 $\bar{\rho}(a)$로 분해한다. 소프트웨어 공학의 주석, 리터레이트 프로그래밍, 아키텍처 결정 기록은 구현의 ‘무엇’보다 결정의 ‘왜’를 다음 개발자에게 전달한다는 직접적인 선례다. 다만 코드와 주석의 불일치가 오래된 문제인 만큼, 단지 주석 모양 텍스트보다 실패, 가설, 검증 결과를 담은 구조화된 근거가 필요하다는 것이 이 연구의 차별점이다.

이 구분은 주석을 단순한 설명문이나 길이 증가로 오해하지 않게 한다. 정보성 주석은 관측된 실패와 그것을 겨냥한 가설, 이후의 성공 또는 재발, 이미 반증된 접근을 지침에 결박해 다음 편집자가 보존과 삭제의 반사실을 좁히도록 한다. 결과가 없는 시도 서술은 검증되지 않은 전제를 후임자가 다시 확장하게 만들 수 있으며, 논문의 절제 실험에서도 ‘주석처럼 보이는 잡음’은 무주석 대조군과 구별되지 않았다. 따라서 작동 원리는 자연어를 더 붙이는 데 있지 않고, 실행자가 읽는 규칙과 유지보수자가 읽는 결과 근거를 별도 채널로 분리하는 데 있다.

연속학습의 파국적 망각은 변하는 과제 아래 고정된 파라미터가 과거 지식을 덮어쓰는 문제이며, 리허설과 정규화 또는 고정 크기 프롬프트 풀이 대표 해법이다. 이 연구의 과업은 대체로 고정되어 있지만 간헐적 실패와 검열된 피드백이 텍스트 규칙을 계속 추가하게 만든다는 점에서 그 쌍대 문제를 다룬다. IFEval은 기계적으로 검증 가능한 제약을, FollowBench와 WildIFEval은 제약이 누적될수록 이행률이 저하되는 현상을 제공한다. 저자는 이 벤치마크들을 정답 응답 평가 대신 숨은 제약으로부터 최소 프롬프트를 재구성하는 유지보수 세계로 ‘역전’해, 기존 평가가 측정하지 못한 초과 지침의 가격을 측정한다.

3. 방법론: 저장소의 지침 생애와 통제된 유지보수 세계를 잇다

1,867개 저장소에서 지침의 생애를 복원하는 코퍼스

현장 코퍼스의 표집틀은 기본 브랜치에 CLAUDE.md, AGENTS.md 또는 copilot-instructions.md를 가진 공개 GitHub 저장소 목록이다. 저자는 기존 스냅숏 텍스트를 재사용하지 않고 1,867개 저장소를 blobless 방식으로 복제한 뒤, 추적 대상 컨텍스트 파일의 전체 커밋 역사를 시간순으로 순회해 모든 버전을 다시 만들었다. 그 결과 버전이 둘 이상인 파일 1,801개, 연속 버전 전이 299,440건, 지침 생애 247,694개가 확보됐다. 최종 버전에서 과거로 추적하지 않고 앞으로 걸은 것은 마지막까지 살아남은 지침만 조건으로 삼는 생존 편향을 피하기 위해서다.

분석 단위인 지침은 하나의 절 수준 명령문으로 정의하며 나머지 텍스트는 payload로 분리한다. 각 버전을 먼저 Markdown 목록 항목과 블록 경계로 나눈 뒤 남은 산문을 문장 경계에서 다시 분할하고, 제목, fenced code, 표, 줄 전체 굵은 라벨, 두 단어 미만 조각은 payload로 보낸다. Payload는 삭제 위험 집합에는 들어가지 않지만 함께 계수해 파일이 오래될수록 텍스트가 지침 범주로 이동했을 뿐이라는 대안 설명을 점검한다. 이 문법은 결과 게이트를 보기 전에 코퍼스별로 고정됐지만, 논문도 이를 코퍼스 측에서 가장 큰 미검증 자유도로 명시한다.

연속 버전 사이의 동일 지침은 세 단계 캐스케이드로 연결한다. 먼저 원문 완전 일치를 시도하고, 다음으로 대소문자·공백·Markdown 문장부호를 제거한 정규화 문자열을 비교하며, 마지막으로 유사도 70을 넘는 fuzzy match에서 아직 짝이 없는 최고 점수 후보를 택한다. 각 지침은 최대 한 번만 매칭되고, 이전 버전에서 짝을 찾지 못하면 소멸, 새 버전에서 짝을 찾지 못하면 출생으로 처리한다. 사람이 주석한 전이 50건에서 정밀도 1.000과 재현율 0.933을 얻었으며, 놓친 재서술은 오래된 지침에 거짓 소멸을 더해 하락 기울기를 0 쪽으로 편향시키므로 관측된 위험 감소는 보수적 추정이다.

Table 2: GitHub 현장 코퍼스의 분석 단위

항목	규모	역할
공개 저장소	1,867개	전체 표집틀
다중 버전 파일	1,801개	정방향 생애 복원
버전 전이	299,440건	출생·생존·소멸 매칭
지침 생애	247,694개	삭제 위험의 위험집합
개별 삭제	28,426건	재작성·이동 검열 후 사건

모든 대량 소멸을 개별 지침 삭제로 해석하지 않는 것이 핵심이다. 한 커밋에서 살아 있던 지침의 50% 이상이 사라지고 사전 위험 집합이 최소 5개이면 전면 재작성으로, 같은 커밋에서 사라진 텍스트가 저장소의 형제 파일에 나타나면 이동으로 정의한다. 두 사건은 특정 지침이 불필요하다고 판단한 삭제가 아니므로 경쟁위험으로 검열하며, 각각 96,162건과 682건의 소멸을 위험 추정에서 제외해 추적 가능한 삭제 28,426건을 남긴다. 50% 임계값은 재실행을 통한 민감도 분석이 수행되지 않았으므로, 77.3%를 검열하는 이 선택은 강한 관측 결과인 동시에 중요한 한계다.

전면 재작성으로 분류된 커밋은 1,353건이며, 한 사건이 제거한 지침의 중앙값은 46개, 새로 만든 지침의 중앙값은 14개였다. 그중 24.4%는 파일을 비워 두었고, 죽은 텍스트의 절반 이상을 새 텍스트로 대체한 사건은 38.3%에 그쳤으며, 형제 파일 이동을 하나라도 동반한 비율은 2.9%였다. 이는 임계값이 소규모 다듬기를 대량 삭제로 과장했다기보다 실제로 파일 수준의 교체 사건을 포착했음을 뒷받침한다. 동시에 전면 재작성 사망은 개별 삭제보다 3.4배 많아, 유지보수자가 이유를 복원해 하나씩 가지치기하기보다 전체를 갈아엎는다는 이론적 예측과 연결된다.

Figure 3: 개별 가지치기 대신 대량 재작성으로 지침이 사라지는 사례

여섯 파일의 궤적에서 붉은 선은 살아 있던 지침의 절반 이상이 한 번에 사라진 첫 대량 재작성 커밋을 가리킨다. 크기는 크게 내려가지만 그 뒤의 기울기는 다시 양수가 되며, 이런 사건이 전체 지침 소멸의 큰 몫을 차지한다. 재작성은 개별 규칙마다 효용을 확인하는 절차를 우회하기 때문에, 이유를 모르는 유지보수자가 택할 수 있는 거친 초기화로 해석된다. 저자는 이를 개별 규칙의 불필요성을 확인한 삭제와 분리해 검열했으며, 전면 정리가 근거 보존 없이 누적 결과만 초기화한다는 해석과 연결한다.

Table 3: 대량 재작성 사건의 구조

지표	관측값	해석
재작성 커밋	1,353건	지침 절반 이상이 사라진 사건
죽은 지침 중앙값	46개	개별 다듬기보다 큰 교체
태어난 지침 중앙값	14개	삭제와 함께 새 규칙 유입
파일을 비운 사건	24.4%	전면 초기화의 강도
10커밋 뒤 크기	91.5%	빠른 재성장

성장 곡선, 삭제 위험, 구성 효과의 식별

성장은 파일마다 생애 길이가 다르다는 문제를 피하도록 각 파일의 시간을 0에서 1로 정규화하고, 지침 수를 첫 버전에 대한 비율로 바꿔 집계한다. 이 방식은 오래 생존한 큰 파일이 후반부 평균을 독점하는 구성 효과를 줄이며, 같은 축에서 평균 지침 길이와 payload 크기도 비교한다. 별도로 첫 전면 재작성 시점을 $t=0$에 맞춘 사건 연구는 재작성 직전 크기를 기준으로 하락과 재성장을 추적한다. 균형 패널 52개 파일에서 평균 크기는 재작성 때 59.5%로 줄었다가 10커밋 안에 91.5%로 회복됐고, 커밋당 성장률은 재작성 전 4.1%에서 이후 4.9%로 오히려 높아졌다.

성장을 지침 개수와 문장 장황성으로 분해한 결과도 래칫이 단순한 표현 확장이 아님을 보여 준다. 같은 정규화 생애 축에서 평균 지침 길이는 최대 10% 늘어난 반면 지침 개수는 226% 늘었고, 비지침 payload의 총크기도 140% 증가했다. 다중 버전 저장소 1,576개 중 지침 수가 증가한 비율은 64.3%, 감소한 비율은 26.6%였으며 저장소별 순증가 중앙값은 7개였다. 따라서 측정된 성장은 기존 규칙을 길게 풀어 쓰거나 분할 문법이 텍스트를 payload에서 지침으로 옮긴 결과만으로 설명하기 어렵다.

Figure 4: 대량 재작성 직후 하락과 10개 커밋 이내 재성장

재작성 전후 10개 커밋을 모두 관찰할 수 있는 52개 파일을 같은 시점에 맞추면 평균 크기는 직전의 59.5%까지 떨어진다. 그러나 10개 커밋 뒤에는 91.5%로 복귀하고, 커밋당 성장률도 재작성 전 4.1%에서 이후 4.9%로 낮아지지 않는다. 사건 직후의 크기 감소와 이후 기울기를 분리해 보면, 한 번의 정리 성공이 유지보수 체계의 성공을 뜻하지 않음을 확인할 수 있다. 전면 정리는 당장의 길이를 줄여도 실패 원인과 삭제 근거를 인계하지 않는 한 래칫의 동력을 없애지 못한다.

삭제 위험은 파일을 실제로 건드린 커밋 수를 지침 나이로 삼아 Nelson–Aalen 방식으로 추정한다. 나이 $a$의 위험 집합에는 그 나이까지 관측된 모든 생애가 들어가며, 개별 삭제는 사건, 재작성·이동과 파일 역사 종료는 검열로 처리한다. 0~50커밋 구간에서 대역폭 2커밋으로 평활화하고 기대 사건 수가 1보다 작은 격자점은 그리지 않으며, 저장소 단위로 200회 층화 부트스트랩해 신뢰구간과 로그 위험 기울기를 구한다. 저장소 내부 지침들이 작성자와 분할 결과, 유지보수 문화를 공유하므로 지침 단위가 아닌 저장소 단위 재표집이 불확실성을 과소평가하지 않는 선택이다. 이 주 추정에서 로그 삭제 위험의 기울기는 커밋당 $-0.032$였고 95% 신뢰구간 $[-0.047,-0.019]$는 0을 포함하지 않았다.

Figure 5: 오래된 지침일수록 낮아지는 삭제 위험과 95% 부트스트랩 구간

개별 삭제 28,426건으로 계산한 곡선은 지침 나이가 늘수록 삭제 위험이 낮아지는 방향을 보이며 로그 위험 기울기는 커밋당 $-0.032$다. 요구가 낡아진다면 위험이 상승해야 하고 나이와 무관하다면 평평해야 하므로 관측 부호는 두 설명과 맞지 않는다. 공유 텍스트 frailty를 넣어 고정된 내용 취약성을 흡수한 뒤에도 음의 기울기가 남았다는 점이 이 관측의 설득력을 보강한다. 저장소 단위 200회 부트스트랩의 95% 구간 $[-0.047,-0.019]$도 0을 배제하지만, 이 결과만으로 회상 손실의 인과성을 확정할 수는 없다.

나이에 따른 위험 감소가 단지 취약한 항목의 조기 탈락 때문인지 확인하려고 piecewise-exponential EM 기반 감마 frailty 모형도 적합한다. 저장소, 파일, 여러 저장소에 반복 등장한 동일 정규화 텍스트를 각각 군집으로 두고, 50커밋에서 행정 검열해 기저 위험과 frailty 분산을 함께 추정한다. 가장 강한 동일 텍스트 frailty가 하락 기울기의 30.8%를 흡수했지만 기울기는 여전히 $-0.0355$이고 95% 신뢰구간은 $[-0.0414,-0.0296]$이었다. 따라서 내용의 고정된 취약성은 일부를 설명해도 음의 나이 효과 전체를 제거하지 못한다.

불완전 회상만의 조건부 예측은 여러 사람이 파일을 편집할수록 나이 효과가 더 가팔라진다는 것이다. 저자는 봇 커밋을 제외하고 서로 다른 인간 작성자가 둘 이상인 파일을 multi-author로 표시한 뒤, 파일 수준 감마 frailty와 활동량 $\log(\text{commits})$ 및 그 나이 상호작용을 통제한 모형을 적합한다. 핵심 계수는 $\beta_{\text{multi-author}\times\text{age}}=-0.0211$이고 $z=-11.7$, 95% 신뢰구간은 $[-0.0246,-0.0175]$다. 다만 이 분석은 사전 등록되지 않았고 작성자 수가 실제 원저자의 이탈을 직접 측정하지 않으므로, 저자는 확증적 인과 증명보다 경쟁 설명에 불리한 탐색적 증거로 제한한다.

IFEval을 최소 커버가 알려진 유지보수 세계로 역전하기

통제 실험은 IFEval 항목 $(D_j,C_j)$의 방향을 뒤집는다. 원래의 명시 지침 $D_j$를 유지보수자에게 숨겨 참조 최소 커버 $D_\star$로 삼고, 코드 검증기 $C_j$만 하네스가 보유한 숨은 제약으로 유지하며, 더 강한 모델이 $D_j$를 손실 요약해 만든 짧은 일반 목적 $o_j$만 공개한다. 이 변환 덕분에 일반 환경에서는 계산 불가능한 $|D_\star|$가 사전에 알려져 초과 크기를 직접 계산할 수 있다. 논문은 원 IFEval 코드를 그대로 쓰지 않고, 유지된 프롬프트에 대해 검열된 불평을 반환하도록 20종 제약 검증기를 재구현했으므로 만족률은 기존 IFEval 점수와 직접 견주지 않고 실험군 간 비교에 사용한다.

검증기가 둘 이상인 모든 항목을 사용해 시드당 184개 세계, 세 시드에서 실험군별 552개 유지보수 이력을 만든다. 참조 커버 크기는 2개인 이력이 423개, 3개인 이력이 129개이며, 기본 실험은 15단계이고 장기 추세는 한 시드의 184개 세계에서 51단계까지 연장한다. 매 단계 하네스는 한 과업을 뽑고 숨은 제약 중 두 개를 표집해 실행자 응답을 채점한 뒤, 통과에는 맨 판정만 주고 실패에는 목표 수치나 제약 식별자가 없는 모호한 자연어 불평만 돌려준다. 유지보수자와 실행자는 모두 Claude Haiku 4.5이지만 매 단계 유지보수자 인스턴스는 새로 시작해 프롬프트와 해당 실험군이 보존하는 정보 외에는 기억하지 못한다. 이 범위 설정은 현실의 전체 크기를 재현하기보다 불완전 회상 메커니즘의 초기 작동을 분리하려는 절충이다.

실험군은 무주석 대조군, 주석 모양의 무정보 텍스트를 붙이는 위약군, 잠재 추론을 기록하는 정보성 주석군의 세 가지다. 지침은 실행자에게 보내는 한 문장 명령으로 고정되고 재서술할 수 없으며, 주석에는 실패 설명, 반복 횟수, 이미 반증된 시도, 교체로 삭제되는 지침의 원문을 최대 1,024자 안에 기록한다. 하네스는 실행자 호출 전에 식별자와 모든 주석을 코드로 제거하고, 과거 실패나 점수를 지침 본문에 밀어 넣는 연산도 거부해 주석만이 유지보수 근거의 유일한 채널이 되게 한다. 세 군의 과업, 단계, 피드백은 같고 인계 정보만 다르므로, 정보성 주석과 위약 주석의 차이는 주석 형식과 결과 기반 내용의 효과를 분리한다.

래칫을 재현하는 피드백 체계는 다섯 조건을 함께 만족한다. 실패 판정은 구체적 목표값을 숨긴 채 모호해야 하고, 통과는 어떤 지침이 기여했는지 검열되며, 지속적인 제약 식별자는 제공되지 않고, 유지보수 목표가 짧은 프롬프트를 직접 요구해서는 안 되며, 관측 지평은 최소 10단계여야 한다. 예를 들어 검증기 명세를 전부 공개하면 무주석군도 초과 크기 3.0%에 정착해 군 간 효과가 사라졌고, 지속 ID를 주면 유지보수자가 숨은 커버 크기를 역사 없이 추론했다. 이 실패 분석은 실험이 주석을 선호하도록 임의로 꾸몄다는 뜻보다 실제 유지보수자가 알 수 없는 정보를 차례로 차단했을 때 불완전 회상 메커니즘이 드러난다는 경계 조건을 제시한다.

Figure 6: 정보성 주석·주석 모양 잡음·무주석 조건의 초과 크기 비교

최소 커버를 아는 184개 세계에서 정보성 주석 조건은 51단계가 지나도 초과 크기가 1.4%에 머물렀다. 같은 horizon의 무주석 조건은 211.3%, 주석 모양 잡음 조건은 147.9%까지 늘어, 표면적인 주석 형식보다 실패 결과와 반증 이력을 담은 내용이 작동했음을 보여 준다. 정보성 주석은 다음 유지보수자가 중복 규칙을 지우고 유효 규칙을 복구하는 데 쓰이며, executor 입력에서는 제거되어 직접적인 응답 힌트로 기능하지 않는다. 세 조건의 마지막 제약 만족률은 각각 44.0%, 42.6%, 44.0%로 비슷해 크기 차이가 단순한 정확도 포기에서 생긴 것도 아니다.

WildIFEval로 현실형 제약과 잡음 지침의 비용을 검증하기

외적 타당성 실험은 같은 역전을 WildIFEval의 사람이 작성한 복합 제약에 적용한다. 각 세계에 참 지침 중 $K=1$개를 숨기고 나머지 $|D_j|-K$개를 초기 프롬프트에 넣은 뒤, 다른 항목 $D_{i\neq j}$에서 균등 추출한 잡음 지침을 $G=0$개 또는 $G=16$개 섞어 3회 유지보수한다. 핵심 잡음 조건은 5개 또는 6개 제약을 가진 총 64개 세계로 구성되고, 제약별 만족률을 제공된 참 지침, 숨긴 지침, 전체 지침으로 나눠 간섭과 복구를 구별한다. 이 설계는 실제 저장소에서 래칫이 16개 잡음까지 자라는 과정을 재현하기보다 이미 들어온 초과 지침이 정확도에 부과하는 비용과 주석이 회수하는 몫을 측정한다.

WildIFEval에는 코드 검증기가 없으므로 Claude Haiku 4.5 판정자가 한 번에 제약 하나와 응답 하나만 보고 불리언 판정을 내리며, 프롬프트·실험군·역사·다른 제약은 보지 못한다. 모든 6,336개 판정을 GPT-5.6 Luna로 다시 채점해 판정자 간 효과 차이도 확인했고, 두 판정자의 개별 판정 일치율은 82.1%, Cohen의 $\kappa=0.639$였다. 주석 효과는 첫 판정자에서 11.6%p, 두 번째에서 7.8%p였고 그 차이의 95% 신뢰구간 $[-1.9,9.6]$%p는 0을 포함한다. 이는 두 판정자가 같은 인과 방향을 재현했음을 뜻하지만 어느 판정도 인간 정답은 아니므로, 논문은 절대 정확도와 구분되는 명시된 판정자 아래의 군 간 대비로 결론 범위를 제한한다.

4. 실험 설정: 관찰 코퍼스와 통제된 프롬프트 유지보수 환경

4.1. GitHub 에이전트 지침 코퍼스의 구성

저자는 먼저 실제 저장소에서 CLAUDE.md, AGENTS.md, copilot-instructions.md가 어떻게 변하는지 추적했다. 표본 프레임은 기본 브랜치에 이들 파일 중 하나 이상을 둔 공개 GitHub 저장소이며, 스냅숏의 최종 상태만 보지 않고 각 파일의 전체 커밋 이력을 다시 수집했다. 그 결과 1,867개 저장소에서 버전이 둘 이상인 파일 1,801개, 연속 버전 간 전이 299,440건, 개별 지침의 생존 구간인 instruction spell 247,694개가 만들어졌다. 마지막 버전에 살아남은 지침만 거꾸로 추적하면 생존자 편향이 생기므로, 저자는 시간을 정방향으로 걸으며 지침의 출생과 사망을 기록했다.

지침은 단순한 줄 수 대신 “하나의 절 수준 명령문”으로 정의했다. Markdown 목록과 블록을 먼저 나누고 남은 산문은 문장 경계에서 분할했으며, 제목·코드 펜스·표·굵은 라벨·두 단어 미만 조각은 비지침 payload로 보냈다. 인접 버전의 지침은 원문 완전 일치, 대소문자·공백·Markdown 문장부호를 제거한 정규화 일치, 유사도 70 이상의 fuzzy match 순서로 대응시켰다. 50개 전이의 수작업 검증에서 precision 1.000, recall 0.933이었으나 표본은 작다.

한 커밋에서 살아 있던 지침의 50% 이상이 사라지고 위험집합에 최소 5개가 있었으면 개별 삭제 대신 wholesale rewrite로 분류했으며, 같은 시점에 형제 파일에서 문구가 다시 나타나면 migration으로 처리했다. 두 사건은 특정 지침이 불필요하다고 판단된 삭제와 의미가 달라 경쟁위험으로 검열했고, rewrite 사망 96,162건과 migration 사망 682건을 제외한 뒤 삭제 28,426건이 남았다. 전체 관측 사망의 77.3%가 rewrite 또는 migration이었다. 따라서 hazard 분석의 모집단은 전체 사망 대신 경쟁위험을 분리한 개별 지침 생존 구간이다.

4.2. inverse-IFEval: 정답 프롬프트를 아는 세계 만들기

현실의 프롬프트에서는 최소한의 정답 지침 집합을 알 수 없으므로, 저자는 IFEval을 거꾸로 사용해 최적해가 관찰 가능한 유지보수 세계를 만들었다. 원래 항목의 지침 집합 $D_j$는 숨겨진 기준 최소 cover $D_{\star}$가 되고, 기계적으로 실행 가능한 verifier 집합 $C_j$는 harness만 아는 제약이 된다. 강한 모델은 원래 지침을 “제품 발표문을 작성하라” 같은 짧은 일반 목적 $o_j$로 손실 압축하며, 이 목적은 세계를 만들 때 한 번 생성한 뒤 모든 실험 arm에서 고정된다. 평가는 정답률과 함께 $\lvert D_T\rvert/\lvert D_{\star}\rvert-1$로 정의한 excess size를 함께 측정하므로, 정확도를 희생해 프롬프트를 비우는 해법은 승리로 간주되지 않는다.

IFEval 항목 중 verifier가 둘 이상인 항목을 모두 사용해 seed당 184개 세계를 만들었고, 세 seed를 합치면 각 arm에 552개 maintenance history가 있다. 최소 cover가 두 지침인 history는 423개, 세 지침인 history는 129개이며 평균 $\lvert D_{\star}\rvert$는 2.2다. 매 step마다 harness가 한 작업을 뽑고 숨은 제약 중 두 개를 무작위로 채점하며, executor의 응답 뒤에는 완전히 새로운 maintainer 인스턴스가 현재 프롬프트를 수정한다. 기본 실험은 $T=15$ step·3 seed이고 장기 추적은 같은 184개 세계의 한 seed에서 $T=51$까지 이어지므로, 두 horizon의 $N$을 552와 184로 구분해 읽어야 한다.

maintainer와 executor는 모두 Claude Haiku 4.5를 사용했고, 한 줄 목적 생성에는 Claude Sonnet 5를 사용했다. 매 라운드 실패 피드백은 “단어 수가 맞지 않는다”처럼 문제의 차원만 말하고 목표 수치, verifier 이름, 전체 제약 수는 공개하지 않으며, 통과 시에는 bare verdict만 남긴다. 총 20종 verifier는 키워드 존재·금지어·빈도, 문단·문장·단어 수, JSON·섹션·목록 형식, 대소문자, 구두점, 시작·종료 형식 등을 포괄한다. 이는 실제 유지보수자가 실패 현상은 보지만 어느 기존 지침이 성공을 만들었는지는 알기 어려운 censored feedback을 재현한 것이다.

Arm 차이는 vague verdict, 통과 결과의 검열, 지속적인 constraint identifier의 부재, 간결성을 직접 요구하지 않는 maintainer 목적, 최소 10-step horizon이 동시에 갖춰졌을 때 나타났다. Verifier 명세를 전부 공개하면 no-comment arm도 +3.0% excess에 수렴해 효과가 사라졌고, 고정 identifier를 주면 maintainer가 숨은 제약 수를 추론해 모든 arm이 cover로 모였다. 반대로 프롬프트를 짧게 만들라고 목적에 써 버리면 래칫이 정보 손실이 아니라 실험 지시문이 만든 결과가 된다. 이 조건 탐색은 사전 고정된 단일 설계가 아니라는 약점이 있지만, 최종 조건들은 현실 유지보수자가 보통 갖지 못하는 정보를 하나씩 차단한다는 점에서 메커니즘과 연결된다.

4.3. 세 실험 arm과 prompt comment의 정보 경로

핵심 비교는 주석이 없는 control, 주석처럼 보이는 잡음을 붙인 placebo, 잠재적 근거를 기록한 informative-comments treatment의 세 arm이다. control과 placebo를 함께 둔 이유는 # 뒤 텍스트나 입력 토큰 증가의 표면 효과와 실제 유지보수 정보의 효과를 분리하기 위해서다. 모든 arm은 동일한 세계·작업 순서·horizon을 만나며 달라지는 것은 다음 maintainer에게 넘기는 handoff뿐이다.

여기서 instruction은 executor에게 “무엇을 할지” 알려주고, comment는 미래 maintainer에게 “왜 이 지침이 생겼는지” 알려준다. 각 지침에는 재사용되지 않는 식별자가 붙고 주석은 추가 시점에 한 번 작성된 뒤 수정할 수 없으며 최대 1,024자로 제한된다. informative comment에는 라운드 번호, 실패 문구와 반복 횟수, 이미 시도했으나 반증된 접근의 계보, 삭제한 지침을 되살릴 수 있는 원문 인용이 들어간다. 반대로 placebo는 “이전 라운드에서 관련 실패가 있었다” 같은 정보 없는 문구만 무작위로 붙여, 실제 outcome과 가설의 역사를 전달하지 않는다.

가장 중요한 격리는 executor가 comment를 절대 읽지 않는다는 점이다. Harness는 실행 프롬프트를 만들 때 주석과 내부 식별자를 코드로 제거하고, 과거 실패·점수·라운드를 instruction 본문에 우회 기록하려는 추가도 거부한다. 따라서 comment가 응답을 직접 유도해 점수를 올리지 않고, 다음 maintainer가 중복 지침을 삭제하거나 유효한 지침을 보존하도록 돕는 간접 경로만 허용된다. 논문이 제안하는 prompt comment는 일반 자연어 컨텍스트를 늘리자는 뜻보다 해석기와 유지보수자가 보는 채널을 분리하자는 설계 제안에 가깝다.

Canonical campaign은 세 arm과 세 seed를 합쳐 49,680회 모델 호출, 3,790만 token, 45 model-hour를 사용했다. 모든 arm의 호출 수는 같고, maintainer 입력 token만 no-comment 700만에서 informative-comment 990만으로 늘었다. 학습은 하지 않았으며 양쪽 실험은 8 vCPU, 16 GiB의 CPU-only container에서 실행했다. 따라서 크기 절감은 계산량을 줄여 얻은 결과가 아니며 동일한 작업을 다른 handoff 정보로 수행한 결과다.

4.4. inverse-WildIFEval과 통계 추정

기계 verifier가 있는 IFEval은 최소 cover와 크기 효과를 정밀하게 재지만, 실제 사용자의 복잡한 제약을 얼마나 잘 따르는지는 별도 검증이 필요하다. 저자는 WildIFEval도 같은 방식으로 뒤집되, 모든 정답 지침을 처음부터 학습시키지 않고 총 $N=5$ 또는 $6$개 제약 중 $K=1$개를 숨겼다. 따라서 초기 프롬프트에는 참 지침 $N-K$, 즉 4개 또는 5개가 들어가고, 다른 항목에서 균등 추출한 distractor $G$개를 추가했다. 본 비교는 64개 세계에서 $G=0$과 $G=16$을 두고 세 번의 maintenance round를 수행하며, “16개 distractor 대 4~5개 제공 지침”이라는 부하를 시험한다.

WildIFEval의 제약은 사람이 쓴 산문이고 실행 코드가 없으므로, arm을 모르는 LLM judge가 제약 하나와 응답 하나만 보고 boolean으로 판정한다. 주 judge는 Claude Haiku 4.5이며 프롬프트, arm 이름, 과거 이력, 다른 제약은 judge 입력에서 모두 숨겼다. 통계량은 세계 단위 paired contrast이고 95% percentile bootstrap confidence interval을 제시하며, 총 6,336개 verdict는 독립적인 두 번째 judge로 다시 채점했다. 그러므로 뒤에서 말하는 WildIFEval 만족률은 객관적 정답률과 구분되는 명시된 judge 아래의 per-constraint satisfaction rate라는 한계를 유지해야 한다.

5. 주요 실험 결과: 성장 래칫을 멈추고 지침 준수율을 회복하다

5.1. 현실 코퍼스에서 확인된 무제한 성장과 삭제 hazard

실제 파일의 마지막 추적 버전에는 중앙값 39개, 90백분위 131개의 지침이 있었다. 버전이 여러 개인 저장소 1,576개 중 64.3%는 지침 수가 늘었고 26.6%만 줄었으며, 저장소별 순증가 중앙값은 7개였다. 대량 rewrite를 제외한 19,267개 커밋에서는 커밋당 평균 4.9개 지침이 순증가했다. 각 파일의 수명을 정규화해 첫 버전과 비교하면 평균 지침 수는 최고 +226%로 세 배 이상이 되었고, 평균 지침 길이는 +10%, 비지침 payload도 +140% 늘어 단순한 segmentation 이동만으로는 결과를 설명할 수 없었다.

개별 삭제 위험은 지침이 오래될수록 높아지지 않고 오히려 낮아졌다. 저장소 단위로 층화한 200회 bootstrap과 Nelson–Aalen 추정에서 commit-age에 대한 log-hazard 기울기는 커밋당 $-0.032$, 95% CI $[-0.047,-0.019]$로 0을 배제했다. 오래되어 요구사항이 낡는 staleness 가설이라면 양의 기울기, 연령과 무관한 삭제라면 0을 예상하므로 관측 부호는 둘 모두와 반대다. 유사한 지침이 사라지기 쉬운 content fragility가 집단 구성을 왜곡할 가능성을 감안해도, 반복 텍스트 공유 gamma frailty 모형의 기울기는 $-0.0355$, 95% CI $[-0.0414,-0.0296]$로 남았고 해당 구성 효과가 흡수한 비율은 30.8%였다.

불완전 회상 가설만의 추가 예측은 파일을 만진 사람이 많을수록 근거의 인계가 더 빨리 끊긴다는 것이다. 파일 활동량과 file-level frailty를 통제한 탐색적 piecewise-exponential 모형에서 multi-author와 age의 상호작용은 $-0.0211$, 표준오차 0.0018, $z=-11.7$, 95% CI $[-0.0246,-0.0175]$였다. 이 분석은 1,837개 파일 중 human author가 둘 이상인 589개 파일을 구분했으며 bot commit은 제외했다. 다만 multi-author는 실제 작성자가 떠났는지 직접 측정한 변수가 아니고 사전등록된 specification curve도 아니므로, 인과 증명보다는 rival mechanism을 약화하는 보조 증거로 보는 편이 정확하다.

Hazard의 시간축은 달력 날짜 대신 해당 파일을 건드린 commit 수다. 지침이 휴면 저장소에 오래 놓여 있어도 검토 기회가 없었다면 삭제 위험에 노출되었다고 보기 어렵기 때문이다. 저자는 age 0~50 commit 구간을 bandwidth 2로 kernel smoothing하고, 기대 사건이 한 건 미만인 grid point는 곡선에서 제외했다. Confidence interval도 spell을 독립 표집하지 않고 저장소를 단위로 재표집했으므로, 같은 저장소의 작성자·분할 결과·유지보수 문화가 공유된다는 군집 구조를 반영한다.

5.2. rewrite는 초기화일 뿐 성장률을 고치지 못한다

대량 rewrite는 파일을 잠시 작게 만들지만 래칫의 원인을 제거하지 못했다. 첫 rewrite 전후 10개 커밋을 모두 관찰할 수 있는 52개 파일을 사건 시점에 정렬하면, 평균 지침 수는 rewrite 직후 직전의 59.5%까지 떨어졌다가 10개 커밋 안에 91.5%까지 회복했다. 더구나 성장률은 rewrite 이전 커밋당 4.1%에서 이후 4.9%로 낮아지지 않고 오히려 높아졌다. 즉 “왜 이 지침이 있었는지”를 보존하지 않은 전면 재작성은 쌓인 결과만 지울 뿐, 다음 실패에서 다시 지침을 추가하는 비대칭을 그대로 남긴다.

전체 코퍼스에는 rewrite commit이 1,353건 있었고, 한 사건에서 죽은 지침과 새로 태어난 지침의 중앙값은 각각 46개와 14개였다. 사건의 24.4%는 파일을 완전히 비웠으며, 죽은 텍스트의 절반 이상을 새 텍스트로 대체한 경우는 38.3%뿐이었다. 성장하는 구간의 비율은 첫 rewrite 전 78.5%였고 세 번 이상 rewrite한 뒤에는 86.0%였다. 이는 개별 지침을 안전하게 지울 근거가 없어 wholesale reset을 택한다는 해석과 맞물린다.

5.3. informative comment가 최소 cover에 수렴시키는 효과

$T=15$의 552개 history에서 no-comment control은 최종 평균 3.5개 지침, excess size +60.4%에 도달했고 95% bootstrap CI는 [+43.8%, +80.7%]였다. Placebo는 3.3개와 +53.2%([+39.4%, +68.7%])여서 control과 크게 다르지 않았다. 반면 informative-comments arm은 평균 2.1개, excess $-5.8\%$([$-12.0\%$, +1.1%])로 평균 cover 2.2에 거의 정렬되었다. Control 대비 차이는 66.2 percentage point이며, 단순한 주석 모양 토큰보다 실패와 결과를 연결한 정보가 성장을 멈춘다는 결론을 지지한다.

이 크기 절감은 constraint satisfaction을 희생해 얻은 것이 아니었다. 마지막 세 라운드 평균 만족률은 control 39.0%±2.8, placebo 40.3%±2.7, treatment 38.2%±2.6으로 confidence interval이 겹치며, 초기 $t=0$ 값도 각각 23.2%, 22.0%, 21.5%로 비슷했다. 다시 말해 informative comment는 “아무 지침도 남기지 않아 작아진 프롬프트”와 달리, 같은 수준의 검증 성능을 더 적은 지침으로 유지한 arm이다. 이 실험의 핵심 성과는 절대 만족률 39% 자체보다, censored feedback이라는 동일 조건에서 correctness와 compactness의 Pareto 경계를 움직였다는 데 있다.

장기 $T=51$ 실험에서는 arm 간 차이가 더 벌어졌다. 184개 세계에서 control은 평균 6.6개, +211.3%±105.3 excess로 계속 자랐고 placebo도 5.3개, +147.9%±79.9에 이르렀다. Treatment는 평균 2.2개와 +1.4%±22.1로 cover 근처를 유지했으며, 마지막 만족률은 control과 treatment가 모두 44.0%로 같고 placebo는 42.6%였다. +211.3%에서 +1.4%로의 감소는 control excess의 99.3%를 제거한 값이므로, 주석의 이점이 단기 정리 효과보다 horizon이 길어질수록 누적되는 유지보수 효과임을 보여준다.

Table 4: inverse IFEval의 프롬프트 크기와 성능

조건	15단계 초과 크기	51단계 초과 크기	마지막 만족률
무주석	+60.4%	+211.3%	44.0%
주석 모양 잡음	+53.2%	+147.9%	42.6%
정보성 주석	-5.8%	+1.4%	44.0%

5.4. WildIFEval에서 되찾은 실제 지침 준수율

먼저 distractor 자체의 비용은 comment arm과 무관하게 컸다. $K=1$을 숨긴 상태에서 이미 제공된 참 지침에 대한 만족률은 $G=0$일 때 65.6%였지만, 다른 항목에서 온 잡음 지침 16개를 넣으면 41.5%로 24.1pp 하락했다. 이 paired interference contrast의 95% CI는 [$-33.4$, $-14.9$]pp로 0을 배제한다. 즉 더 많은 지침이 안전망이라는 직관과 달리, 관련 없는 명령이 4~5개의 참 지침을 따르는 능력까지 손상시킨다는 것을 먼저 확인한 셈이다.

16개 distractor가 있는 동일 초기 프롬프트에서 세 maintenance round를 돌리자, 전체 제약 만족률은 no-comment 50.4%에서 informative-comments 62.0%로 11.6pp 상승했다. 95% CI는 [+5.1, +18.3]pp이고 상대 개선율은 23.1%다. Placebo와 control의 차이는 +2.7pp, 95% CI [$-4.4$, +10.1]pp로 0을 포함해, IFEval에서와 마찬가지로 comment의 외형만으로는 효과가 재현되지 않았다. 이 결과는 깨끗한 프롬프트에 주석을 붙이면 언제나 모델이 좋아진다는 뜻과 달리, 제거해야 할 seeded noise가 있을 때에 한해 근거 있는 주석이 간섭으로 잃은 성능을 회복한다는 뜻이다.

설계표를 세부적으로 보면 총 제약이 5개인 32개 세계에서 $G=16$의 전체 만족률은 control 51.2%, treatment 62.5%였고, 총 제약이 6개인 다른 32개에서는 49.5%와 61.5%였다. Treatment는 두 stratum 모두에서 16개 distractor를 7개 안팎의 최종 프롬프트로 줄였지만, 이 크기 수치는 seeded comment가 distractor의 반증 정보를 이미 명시한 특수 조건이므로 논문의 주된 크기 주장에는 사용되지 않는다. 반대로 $G=0$에서는 treatment가 control보다 일관되게 높지 않았고 $N=5$에서는 높지만 $N=6$에서는 낮았다. 따라서 WildIFEval이 입증하는 범위는 일반적인 “comment bonus”보다 과잉 지침이 존재할 때의 interference recovery다.

6. 추가 분석 및 Ablation Study: 무엇을 기록해야 효과가 나는가

6.1. Maintainer 역량이 높을수록 더 강해지는 래칫

저자는 executor와 작업 흐름을 Haiku 4.5로 고정하고 maintainer만 Haiku 4.5, Sonnet 5, Opus 5로 바꾼 64개 세계·한 seed 실험도 수행했다. 주석 없는 control의 최종 크기 비율 $\lvert D_T\rvert/\lvert D_{\star}\rvert$은 1.68, 3.07, 6.72로 역량이 높을수록 커졌으며, excess로 바꾸면 각각 약 +67.7%, +207%, +571.9%다. 더 유능한 maintainer가 실패마다 더 그럴듯한 가설을 만들어 추가하지만 과거 가설을 안전하게 폐기할 근거는 여전히 없기 때문에, 능력이 래칫을 자동으로 해결하지 않고 오히려 가속한다. 이는 prompt comment가 약한 모델을 보조하는 임시 장치를 넘어 maintainer가 강해질수록 더 필요한 provenance 장치일 수 있음을 시사한다.

Informative comment는 Haiku, Sonnet, Opus에서 각 control 대비 크기 비율을 42.1%, 61.7%, 52.3% 줄였다. Opus maintainer에서는 만족률도 control 45.3%보다 18.4% 상대적으로 높아 $z=2.12$였고, 크기와 correctness가 함께 좋아지는 Pareto 방향을 보였다. 다만 Sonnet 5는 추가의 약 40%에서 1,024자 comment budget을 초과해 protocol compliance 문제를 포함한다.

6.2. Comment payload ablation: 서사보다 outcome이 핵심

주석 모양의 잡음은 자체 control 대비 excess를 3.1% 줄였지만 $z=-0.33$에 불과했고, 만족률 차이도 +3.3%에 $z=0.77$이었다. 더 흥미롭게도 시도한 내용을 서술하되 그 결과를 기록하지 않은 “narrative without outcomes”는 excess를 오히려 8.8% 늘렸고 최종 excess가 +70.0%인 최악의 arm이 되었다. 후임 maintainer는 검증되지 않은 가설을 유산처럼 받아 더 확장할 수 있으므로, 길고 친절한 설명 그 자체가 provenance는 아니다. 필요한 것은 어떤 실패가 반복되었고, 어떤 시도가 실패했으며, 현재 지침 이후 그 실패가 재발했는지처럼 삭제 판단을 허가하는 outcome 정보다.

전체 commit schema는 자체 control 대비 excess를 48.9% 줄였고 paired $z=-2.78$이었다. 라운드 번호만 제거하면 감소폭은 47.4%로 거의 유지됐지만, recurrence count를 빼면 30.9%로 축소되어 전체 효과의 약 37%를 잃었다. Falsification lineage를 빼면 크기 감소는 34.3%였고 만족률은 control보다 9.6% 낮아졌으며, 삭제 지침의 verbatim restore quote를 빼면 감소는 43.5%, 만족률은 8.9% 낮아졌다. 이 ablation은 주석의 최소 유효 단위가 단순한 “왜 추가했는가”보다 더 구조화된 실패 빈도·반증 이력·복원 가능성임을 보여준다.

Table 5: 주석 payload 절제 실험

절제 조건	초과 크기 변화	만족률 변화
주석 모양 잡음	-3.1%	+3.3%
결과 없는 시도 서사	+8.8%	-3.3%
전체 outcome schema	-48.9%	+4.1%
재발 횟수 제거	-30.9%	-3.2%
반증 계보 제거	-34.3%	-9.6%

6.3. Cover 크기, seed, 프롬프트별 분포가 드러낸 경계

Pooled +60.4%라는 control 래칫은 두 cover stratum에서 강도가 달랐다. $\lvert D_{\star}\rvert=2$인 423개 history에서 control excess는 +74.2%([+52.2, +98.8])였고 treatment는 $-1.1\%$([$-9.2$, +7.7])였지만, cover가 3인 129개에서는 각각 +15.2%([+0.5, +31.8])와 $-21.2\%$([$-28.7$, $-13.2$])였다. 후자의 만족률도 control 40.3%, treatment 35.7%여서 과도한 pruning 비용이 더 보인다. 그러므로 15-step pooled 래칫은 주로 cover 2 세계가 이끌며, 작은 synthetic cover에서 얻은 평균을 현실의 중앙값 39개 지침에 그대로 외삽해서는 안 된다.

세 seed의 control excess는 +59.9%, +49.8%, +71.6%였고 informative arm은 $-0.1\%$, $-2.1\%$, $-15.1\%$였다. Pooled 효과 66.2pp에 비해 control의 seed 간 표준편차는 10.9pp였으며, 사전 정의한 control ratchet과 placebo-null 기준은 세 world draw에서 각각 통과했다. 이는 한 번의 유리한 IFEval 샘플이 결과를 만든 것은 아니라는 근거다. 다만 seed는 같은 세계의 단순 반복 대신 eligible pool을 순열 표집한 서로 다른 world draw이므로, 552라는 숫자를 독립 benchmark 항목 552개로 세면 안 된다.

평균 크기만 보면 informative arm이 이상적이지만 per-world 분포에는 위험한 꼬리가 있었다. Treatment의 평균 절대 cover 오차는 0.481로 control 0.921보다 작고, cover의 ±25% 안에 든 세계도 37.3% 대 33.3%로 많았지만, 프롬프트를 완전히 비운 비율은 12.1%로 control의 2.4%보다 높았다. Treatment가 비운 67개 어려운 세계에서 만족률은 treatment 25.9%, control 27.9%였고, 지침을 남긴 485개에서는 각각 39.9%, 40.6%로 거의 같았다. 주석 작성 자체는 아무것도 삭제하지 않아 안전하지만 주석을 근거로 자동 삭제하는 정책에는 최소 보존선과 사람의 검토가 필요하다는 실무적 경고가 여기서 나온다.

6.4. Channel 분리와 judge robustness

Comment를 executor에게도 보여주는 ablation은 채널 분리가 단순한 구현 세부가 아님을 보여준다. 한 seed의 184개 세계에서 주석을 노출하면 최종 excess는 +28.5%가 되어, 주석을 제거한 canonical arm의 $-0.1\%$보다 28.6pp 높았고 95% CI는 [+5.5, +58.5]pp였다. 만족률 차이는 $-1.7$pp, 95% CI [$-5.2$, +1.5]pp로 0을 포함해 이 추가 컨텍스트가 correctness를 사들이지도 못했다. 실행 모델이 읽을 규칙과 미래 maintainer가 읽을 근거를 한 문서에 저장하더라도, 렌더링 단계에서는 서로 다른 projection으로 분리해야 한다는 설계 원칙이 뒷받침된다.

WildIFEval의 6,336개 verdict를 GPT-5.6 Luna로 다시 채점했을 때 comment 효과는 +7.8pp, 95% CI [+0.6, +14.9]pp로 주 judge의 +11.6pp와 같은 방향이었다. 두 judge 효과의 difference-in-differences는 3.8pp, 95% CI [$-1.9$, +9.6]pp여서 차이가 있다고 말할 근거는 없지만, 9.6pp 차이까지 허용하므로 통계적 동등성을 입증한 것도 아니다. 개별 판정 일치율은 82.1%, Cohen의 $\kappa=0.639$, 95% CI [0.620, 0.657]이었고 arm별 $\kappa$도 0.631~0.653으로 비슷했다. Judge noise가 특정 arm에만 유리했다고 보기는 어렵지만 인간 정답 표본이 없으므로, 이 수치들은 judge 간 재현성과 순위 안정성을 말할 뿐 판정 정확도를 보증하지 않는다.

6.5. 종합 해석과 실험이 말하지 않는 것

실험 전체를 묶으면 prompt comment의 효과는 “설명을 많이 쓰면 모델이 좋아진다”가 아니다. 실패가 언제 왜 발생했고 어떤 접근이 반증되었는지를 유지보수자 전용 채널에 보존하면, 후임 maintainer가 유효한 지침은 지키고 중복·실패 지침은 지울 수 있다는 주장이다. IFEval 역전 실험은 알려진 최소 cover에 거의 수렴하면서 correctness parity를 유지한다는 인과 증거를, WildIFEval은 16개 잡음 지침으로 생긴 간섭에서 최대 11.6pp를 회복한다는 실용 증거를 제공한다. 실제 GitHub 코퍼스의 하강하는 삭제 hazard와 rewrite 뒤 재성장은 이런 통제 실험이 겨냥한 현상이 현실에도 존재함을 관찰적으로 연결한다.

그러나 범위는 분명히 제한된다. 통제 실험의 cover는 2~3개로 실제 파일 중앙값 39개보다 훨씬 작고, 동일한 Haiku 4.5가 기본 maintainer와 executor 역할을 맡았으며, IFEval 제약은 영어로 된 기계 검증 가능 형식에 치우친다. WildIFEval은 현실적인 산문 제약을 쓰지만 초과 지침을 실제 저장소에서 자연 성장시키지 않고 인위적으로 seed했고, 결과는 LLM judge의 만족률이다. 코퍼스 역시 언어·프로그래밍 언어·도메인 분포를 측정하지 않았으므로, 이 논문은 모든 시스템 프롬프트에 즉시 자동 삭제를 적용하라는 처방과 달리 “지침의 why를 실행 채널과 분리해 기록하고 삭제는 검증 가능하게 하라”는 설계 가설로 받아들이는 것이 가장 타당하다.

7. 한계점 및 향후 연구 방향: 통제된 최소 덮개에서 실제 프롬프트 운영으로

7.1 관찰 코퍼스의 측정 한계

이 논문의 관찰 연구는 1,867개 공개 GitHub 저장소와 247,694개 instruction lifetime을 추적하지만, 유한한 저장소 이력에서 문자 그대로의 무한 성장을 관측한 것은 아니다. 평균 instruction 수가 파일 수명 동안 226% 늘고, 대규모 재작성 전후에도 커밋당 증가율이 4.1%에서 4.9%로 이어졌다는 결과는 강한 ratchet 패턴을 보여 준다. 다만 “unbounded”는 관측 구간의 증가 추세와 저자 모형을 결합한 외삽이다. 프로젝트 종료, 규칙 파일 분할, 도구 정책 변경, 조직 차원의 정기 정리처럼 장기 평형을 바꾸는 사건은 표본의 끝 이후까지 추적되지 않았다.

코퍼스 구성에도 측정 선택의 영향이 크다. 한 커밋에서 살아 있던 instruction의 50% 이상이 사라지면 wholesale rewrite로 정의하고, sibling file에 같은 텍스트가 나타나면 migration으로 처리해 두 사건을 deletion hazard에서 검열한다. 이 규칙으로 관측된 instruction death의 77.3%가 제외된다. 저자들은 재작성이 개별 규칙의 효용 판단과 다른 사건이라고 설명하지만, 실제 대규모 정리에는 여러 개별 판단이 섞일 수 있다. 50% 임계값을 바꾼 민감도 분석도 실행하지 않았으므로, 일반 삭제와 재작성 사이의 경계가 hazard 기울기에 미치는 영향은 남아 있다.

instruction 분할 grammar와 버전 간 matcher 역시 결론의 기반이다. 제목·코드 블록·표·두 단어 미만 조각은 payload로 보내고, 나머지를 Markdown 구조와 문장 경계로 분할한다. matcher는 exact, normalized, fuzzy similarity 70의 cascade를 쓰며 50개 수작업 전이에서 precision 1.000, recall 0.933을 얻었다. 그러나 299,440개 전이 전체에 비하면 검증 표본이 작고, 한 저자가 annotation을 수행했다. 저자 설명대로 누락된 rewording이 오래된 규칙의 가짜 death를 만들어 기울기를 0 쪽으로 밀 수는 있지만, 이 보수성 주장은 오류가 연령에 따라 어떻게 분포하는지에 의존한다. 저장소 규모·파일 나이·Markdown 형식을 층화한 독립 재주석이 필요하다.

감소하는 deletion hazard가 imperfect recall과 일치한다는 점과 그것이 유일한 원인이라는 주장은 구분해야 한다. log-hazard 기울기 −0.032/commit, shared-text frailty를 넣은 뒤에도 남은 −0.0355, multi-author×age 계수 −0.0211은 단순 staleness나 고정된 content fragility만으로 설명하기 어려운 증거다. 반면 multi-author는 instruction 작성자가 실제로 떠났는지, rationale가 전달되지 않았는지 직접 재지 않는다. 규칙 중요도, 승인 권한, 담당 팀의 변경, 파일별 review 문화처럼 시간과 저자 수에 함께 얽힌 변수가 남을 수 있다. 후속 연구는 instruction별 작성자·reviewer·수정 이유·관련 issue와 test를 연결해 “이유의 회수 가능성” 자체를 표본 조사해야 한다.

역 IFEval이 만드는 인과 증거의 범위

통제 실험은 IFEval의 instruction을 숨겨 알려진 minimum cover로 삼고 verifier만 harness에 남긴다. 이 구성은 correctness와 excess size를 함께 잴 수 있게 하지만, cover가 2~3개인 184개 world, 기본 15 step, 영어의 기계 검증 가능한 형식 제약이라는 작은 세계다. 실제 코퍼스의 median은 39개 instruction이며 규칙 사이에는 우선순위, 예외, 파일 경로, 보안 요구가 얽힌다. 한 모델인 Claude Haiku 4.5가 maintainer와 executor를 모두 맡고, instruction rewording과 comment 수정도 금지된다. 따라서 comments가 실제 CLAUDE.md 유지보수에서도 같은 크기의 효과를 낸다고 바로 환산할 수 없다.

평균 결과 안의 이질성도 중요하다. 15 step의 pooled 결과에서 informative comments는 excess size를 +60.4%에서 −5.8%로 낮추면서 satisfaction을 대체로 유지했지만, 이 ratchet 결과는 cover size 2인 층에서 더 뚜렷했다. cover size 3에서는 no-comment excess가 +15.2%였고, comment arm은 −21.2%로 cover 아래까지 잘랐다. 전체 552개 world 중 comment protocol이 prompt를 비운 비율은 12.1%로, no-comment의 2.4%보다 높다. 논문도 이 tail에서 correctness parity가 깨진다고 보고한다. 이유를 기록하는 행위와 그 이유를 근거로 자동 삭제하는 행위는 위험 수준이 다르며, 특히 안전·배포·데이터 삭제 규칙에는 최소 보존선과 사람 승인이 필요하다.

실험 regime은 vague verdict, censored pass, 숨긴 constraint identifier, brevity를 요구하지 않는 maintainer objective, 10 step 이상의 horizon이 함께 있을 때 arm 차이가 나타났다. 이 조건들은 현실적인 정보 비대칭을 모사하지만, 저자들이 여러 설계 실패를 거쳐 찾아낸 조건이기도 하다. verifier 명세를 모두 공개하면 no-comment arm도 +3.0% excess에 수렴한다. 즉 prompt comment의 가치는 보편 상수라기보다 실패 원인과 검증 결과가 얼마나 관측 가능한지에 따라 달라진다. CI, test name, owner, issue link가 이미 잘 보존된 저장소에서는 추가 이득이 작을 수 있고, 반대로 결과가 로그에만 묻히는 환경에서는 더 커질 수 있다.

comment payload도 아무 서술이나 허용하지 않는다. 효과가 난 schema는 round, 재발한 failure, 이미 반증된 시도, 삭제 규칙의 원문 복구 정보를 담았고, comment-shaped noise는 통제군과 차이가 없었다. outcome 없는 시도 서사는 오히려 excess size +70.0%로 가장 나빴다. comment가 오래되어 현재 코드와 어긋나는 고전적인 comment–code inconsistency 문제도 실험에서는 거의 다뤄지지 않는다. comments는 추가 시점에 고정되고 instruction과 함께 사라지므로, 현실의 수정 가능한 rationale가 잘못 업데이트되거나 살아남는 경로가 차단되어 있다. rationale freshness와 사실성 검증이 없는 도입은 새로운 기억 부채를 만들 수 있다.

WildIFEval 결과와 이론 모델의 경계

WildIFEval 실험은 4~5개의 제공된 true instruction에 다른 item에서 뽑은 distractor 16개를 인위적으로 심는다. 이때 noise는 기존 true instruction의 satisfaction을 65.6%에서 41.5%로 24.1%p 낮췄고, comments는 3 round 뒤 50.4%에서 62.0%로 11.6%p 회복시켰다. 그러나 이는 실제 저장소에서 noise가 점진적으로 태어나고 이유가 소실되는 과정을 재현한 실험이 아니다. distractor의 comment에는 falsification 정보가 처음부터 주어지며, 64개 world와 짧은 maintenance horizon에서 seeded noise를 제거한 결과다. distractor가 없는 조건에서는 treatment의 방향도 constraint 수에 따라 일관되지 않아, 깨끗한 prompt에 대한 일반 성능 향상으로 읽을 근거가 없다.

WildIFEval에는 programmatic verifier가 없어 arm 정보를 보지 않는 LLM judge를 사용한다. 두 judge가 6,336개 판정에서 82.1%, Cohen’s κ=0.639로 합의했고, comments의 이득은 각각 11.6%p와 7.8%p로 같은 방향이었다. 그 차이의 difference-in-differences 신뢰구간은 −1.9~+9.6%p라 judge 간 효과가 다르다는 증거는 없지만, 동등성을 확인한 것도 아니다. 사람 정답 표본이 없으므로 이 수치는 named judge 아래의 비교율이다. constraint별 human audit, 응답 truncation 층화, 여러 모델군의 교차 채점이 실제 accuracy 주장을 위한 다음 단계다.

이론에서 안전한 deletion audit가 O(2^|D|) subset probe를 요구한다는 명제는 redundancy를 모두 고려하는 최악의 조합적 논증이다. 실제 규칙에는 module, test ownership, dependency graph, static analysis처럼 탐색 공간을 줄이는 구조가 있으며, 반대로 확률적 도구 실행과 rare safety case는 유한 probe로도 확신하기 어렵다. 또한 고정 hidden constraint set, censoring, stochasticity를 둔 모형은 요구사항 자체가 변하는 저장소를 단순화한다. Equation 5는 latent reasoning recoverability가 0으로 갈 때 equilibrium size가 발산하는 메커니즘을 설명하지만, empirical corpus에서 그 함수나 minimum cover를 직접 추정한 결과는 아니다.

후속 연구를 위한 검증 계약

가장 먼저 필요한 것은 실제 저장소의 shadow maintenance 실험이다. prompt comment를 곧바로 삭제 자동화로 곧바로 연결하지 말고, instruction마다 생성 원인, 실패한 test, 적용 범위, 대체된 규칙, 마지막 검증 시점, 안전 등급을 구조화해 기록한다. 이후 제안 삭제를 사람이 승인한 집단과 기존 방식 집단을 비교하면서 6개월 이상 instruction 수, 반복 실패, 회귀, input token, task 성공률, 유지보수 시간을 추적해야 한다. executor에는 rationale를 제거하고 maintainer에만 보여 주는 channel separation도 독립 요인으로 시험해야 한다. 원 논문의 strip ablation은 executor 노출 시 excess가 −0.1%에서 +28.5%로 커지고 satisfaction 이득은 없었다고 보고해, 이 분리가 구현 세부가 아님을 시사한다.

벤치마크는 median 39개 이상 규칙, 100회 이상의 변경, 다국어 prompt, 서로 다른 maintainer·executor 모델, rewording과 comment update를 포함해야 한다. no provenance, 자유형 rationale, outcome-grounded schema, test-linked provenance를 비교하고, prompt size와 correctness 외에 잘못된 삭제율, stale-comment율, 안전 규칙 recall, 성공당 토큰과 사람 review 시간을 측정해야 한다. 저장소 연구에는 rewrite threshold sweep과 층화 재주석도 필요하다.

7.4 실제 저장소를 위한 장기 검증 설계

실제 적용에서는 프롬프트 크기만 줄이는 목표를 두지 말고, 삭제 후보가 어떤 테스트·이슈·실패 로그와 연결됐는지 추적해야 한다. 안전 등급이 높은 규칙은 자동 삭제에서 제외하고, held-out 회귀 평가와 사람 승인 뒤에만 제거하는 정책이 필요하다. rationale 자체도 오래되거나 사실과 어긋날 수 있으므로 마지막 검증 시점과 재확인 상태를 함께 저장해야 새로운 종류의 기억 부채를 막을 수 있다. 규칙을 삭제한 뒤 같은 실패가 재발하면 원문과 근거를 즉시 복구할 수 있는 rollback 경로도 provenance schema 안에 포함해야 한다. 이런 구조가 있어야 짧은 프롬프트와 안전한 운영을 동시에 평가할 수 있다.

운영 지표에는 규칙 개수와 토큰 외에도 provenance coverage를 포함해야 한다. 각 지침이 최소 하나의 실패 사례, 검증 결과, 소유자, 적용 범위와 연결됐는지 측정하고, 연결이 끊긴 항목은 즉시 삭제하지 않고 재검증 대기열로 보낸다. 삭제 후보는 전체 프롬프트에서 단독으로 빼는 시험과 관련 규칙 묶음을 함께 빼는 시험을 구분하며, 두 경우 모두 동일한 held-out 작업과 안전 검사를 통과해야 한다. 이 기록을 버전 관리하면 근거가 갱신되지 않은 기간과 담당자 변경 횟수를 위험 신호로 사용할 수 있다.

운영 배포 전에는 baseline과 provenance arm을 같은 저장소 스냅숏에서 shadow mode로 병렬 실행해 삭제 제안만 비교해야 한다. 두 arm이 서로 다른 후보를 제시하면 관련 테스트와 이슈 링크를 사람 reviewer에게 함께 보여 주고, 결정 이유를 다음 라운드 provenance에 다시 기록한다. 이 순환 구조는 유지보수 근거 자체의 품질을 관찰하게 하며, 잘못된 rationale가 장기간 누적되는 위험도 별도 지표로 드러낸다. 최소 100회 변경 동안 오류 삭제율과 재발 시간까지 안정적일 때에만 좁은 범위의 자동화로 승격하는 편이 안전하다.

8. 내 해석: 컨텍스트 예산에 삭제 근거라는 축을 더하다

내가 운영하는 위키의 input-surface-token-audit는 CLAUDE.md·로그·구조화 입력처럼 반복 주입되는 표면을 먼저 재고, agent-context-compression은 파일별 해상도를 조절한다. 이번 논문은 그 위에 “이 규칙을 나중에 안전하게 지울 근거가 남아 있는가”라는 수명 관리 축을 보탠다. 구체적인 약점은 comment arm이 552개 world의 12.1%에서 prompt를 비웠고, 실제 코퍼스의 median 39개보다 훨씬 작은 2~3개 cover에서 주효과를 보였다는 점이다. 그래서 나는 토큰 절감 수치만 보고 자동 pruning을 켜지 않고, 이유 기록과 삭제 권한을 분리해 운영하겠다.

내가 제안하는 후속 실험은 LongHorizon-Harness(2608.01964)의 Manage–Execute–Audit 상태 인계에 instruction provenance를 넣고, HarnessOpt-Bench(2608.06301)의 trusted held-out 평가로 삭제 후보를 검증하는 100-round 교차 실험이다. no-comment, 자유형 comment, outcome-grounded comment, 구조화된 test-linked provenance 네 arm에 같은 모델 호출·토큰·사람 review 예산을 배정하겠다. success rate와 prompt token뿐 아니라 잘못 지운 안전 규칙, 회귀 복구 시간, stale rationale 비율을 함께 재면, 압축 이득과 기억 손실을 한 운영 계약 안에서 판단할 수 있다.

8.1 운영자 관점의 약점과 후속 제안

9. 결론: 프롬프트 규칙에도 유지보수 가능한 이유가 필요하다

이 논문은 agentic README의 팽창을 파일 크기 변화에서 instruction 생존 문제로 내려가 분석한다. 평균 instruction 수의 +226% 성장, 커밋당 +4.9개 순증, age에 따른 deletion hazard 감소, multi-author 환경에서 더 가팔라지는 감소, wholesale rewrite 뒤 즉시 재성장이라는 관측은 “오래된 규칙일수록 낡아서 지워진다”는 직관과 맞지 않는다. 저자들은 instruction은 남고 그것을 추가한 latent reasoning만 사라지기 때문에, 유지보수자가 회귀 위험을 감수하기보다 계속 추가하게 된다고 설명하고 이를 catastrophic remembering이라 부른다.

인과 실험이 지지하는 핵심은 comment의 존재 자체보다 outcome-grounded provenance다. failure, 재발, 반증된 시도, 복구할 원문을 다음 maintainer에게 넘겼을 때 inverse IFEval에서 excess size가 장기 조건의 +211.3%에서 +1.4%로 줄었고 satisfaction은 같은 수준에 머물렀다. WildIFEval의 seeded-noise 조건에서도 true instruction에 대한 간섭을 일부 회복했다. 반대로 comment-shaped noise와 outcome 없는 서사는 효과가 없거나 더 나빴다. executor에게 comment를 노출했을 때 크기 비용만 커진 결과는 실행 지시와 유지보수 근거를 별도 channel로 다뤄야 함을 보여 준다.

적용 결론은 보수적이어야 한다. 이 연구는 영어 형식 제약, 작은 minimum cover, 짧은 horizon, 제한된 모델 조합에서 mechanism을 확인했고, 자연 발생한 대규모 prompt를 comments로 장기간 관리하는 실험은 수행하지 않았다. 특히 protocol이 일부 world를 비운 결과와 윤리 절의 경고처럼, rationale를 쓰는 것은 즉시 안전하지만 그것으로 규칙을 삭제하는 결정은 회귀를 만들 수 있다. 실제 배포에서는 provenance 기록, verifier 연결, 사람 승인, 안전 규칙 보존선, held-out 회귀 평가가 한 묶음으로 필요하다.

그 조건을 붙이면 논문의 실용적 기여는 명료하다. CLAUDE.md를 정기적으로 통째로 줄이는 방식은 크기만 초기화하고 성장 원인을 남긴다. 각 규칙의 why와 outcome을 작성 시점에 저렴하게 보존하고, 다음 maintainer가 그 기록을 검증 가능한 삭제 근거로 사용할 수 있게 해야 ratchet을 다룰 수 있다. 향후 연구의 과제는 comment 문법을 홍보하는 데 있지 않고, rationale의 정확성·갱신·폐기와 삭제 후 회귀까지 측정하는 prompt maintenance engineering을 확립하는 데 있다.

9.1 근거 보존에서 검증 가능한 삭제로

10. 요약 정리: catastrophic remembering을 운영 규칙으로 바꾸기

• 현상: 1,867개 공개 저장소에서 agentic context file의 instruction 수는 파일 수명 동안 평균 226% 증가했고, 대규모 재작성 뒤에도 성장률이 회복됐다.
• 기제: instruction의 효용보다 그것을 추가한 latent reasoning의 회수 가능성이 먼저 감소하면, 유지보수자는 회귀를 피하려고 삭제보다 추가를 택하게 된다.
• 관찰 근거: deletion log-hazard는 commit age당 −0.032로 낮아졌고, shared-text frailty와 file activity를 고려한 분석 및 multi-author interaction에서도 감소 신호가 남았다.
• 통제 결과: inverse IFEval의 51-step 조건에서 informative comments는 excess size를 +211.3%에서 +1.4%로 줄이면서 constraint satisfaction을 같은 수준으로 유지했다.
• 내용 조건: failure outcome과 반증 lineage가 있는 comment가 효과를 냈으며, comment-shaped noise나 outcome 없는 시도 서술은 대체물이 되지 못했다.
• 실제성의 경계: WildIFEval의 11.6%p 회복은 distractor 16개를 심은 64개 world의 named-judge 결과이며, 자연 발생한 장기 prompt 성장 전체를 재현한 수치는 아니다.
• 삭제 위험: comment protocol은 일부 world에서 cover 아래로 과도하게 줄였으므로, 안전 규칙에는 자동 삭제 금지·최소 보존선·사람 승인·held-out 회귀 검사가 필요하다.
• 운영 방향: 반복 입력을 계수하고 압축하는 작업에 instruction별 원인, test, 결과, supersede 관계, 마지막 검증 시점을 보존하는 provenance 수명 관리를 결합해야 한다.
• 다음 검증: 실제 저장소에서 39개 이상의 규칙과 100회 이상의 변경을 대상으로 다중 모델·다국어·동일 예산 실험을 수행하고, 오류 삭제율과 stale rationale까지 함께 보고해야 한다.