[arXiv 2608.07437] Fisher-R1: 실제 데이터 가설검정을 위한 검증 가능 강화학습

Fisher-R1: Training LLM Agents for Reliable Hypothesis Testing

https://arxiv.org/abs/2608.07437

Jiacheng Miao, Jin Mu, Guanhua Chen, James Zou | Stanford University, University of Wisconsin–Madison | arXiv:2608.07437v1 | 2026년 8월

---

대규모 언어 모델이 데이터를 열고 코드를 실행해 매끄러운 통계 보고서를 작성하더라도, 선택한 검정이 데이터 구조와 연구 질문에 맞는지는 별개의 문제다. Fisher-R1은 이 간극을 실제 과학 데이터의 개방형 가설검정으로 드러내고, 단순한 코드 실행 성공 대신 기준 분석에서 재현된 $p$-값과 결론을 직접 채점하는 P-Bench를 제안한다. 벤치마크는 경제학과 생의학의 425개 과제를 포함하며, 결론 방향만 맞춘 경우와 기준 분석에 가까운 수치까지 낸 경우를 분리해 측정한다.

저자들은 이 평가 형식을 학습 신호로 확장해 Fisher-R1을 만든다. 실행 가능한 합성 데이터 생성 과정과 기준 분석으로 8,642개 과제를 구성하고, 정제된 교사 궤적으로 지도 미세조정한 뒤 R 샌드박스의 실제 롤아웃을 DAPO로 최적화한다. 보상은 형식과 실행 가능성을 먼저 통과시킨 다음 $z$-공간의 $p$-값 근접도와 기각 결론 일치도를 결합한다. 핵심은 통계 방법의 이름을 외우게 하는 데 있지 않고, 데이터 진단부터 코드 실행과 수치 보고까지 이어지는 궤적을 외부 계산으로 검증할 수 있게 만든 데 있다.

1. 서론: 실행 가능한 분석이 틀린 추론을 가리는 순간

1.1 코드의 성공과 통계적 추론의 성공은 다르다

경험과학의 가설검정은 질문을 검정 가능한 가설로 바꾸고, 데이터에 맞는 통계 절차를 선택한 뒤, 계산된 $p$-값으로 귀무가설 기각 여부를 판단하는 연쇄 과정이다. Fisher-R1 논문은 임상시험의 치료 효과나 경제정책의 고용 효과처럼 결과가 실제 의사결정에 연결되는 상황일수록 이 연쇄의 각 고리가 중요하다고 전제한다. 코드가 오류 없이 실행되더라도 질문, 자료 구조, 가정과 맞지 않는 검정을 택하면 정밀하게 출력된 숫자가 오히려 잘못된 과학적 결론에 권위를 부여할 수 있다는 것이 출발점이다.

LLM 코딩 에이전트는 데이터 파일을 열고, 변수 분포를 요약하고, 분석 코드를 작성해 실행하며, 결과를 문장으로 정리할 수 있다. 그러나 저자들이 구분하는 핵심은 실행 능력과 추론 타당성이다. 실행 능력은 프로그램이 돌아가고 산출물이 생성되었는지를 말하지만, 추론 타당성은 선택한 모형과 검정이 연구 질문과 데이터의 분포, 독립성, 이상치, 이분산성, 군집 구조 같은 조건에 맞는지를 묻는다. 따라서 자연스러운 보고서와 성공한 실행 로그만으로는 분석이 옳다고 판정할 수 없다.

논문의 대표 사례는 돌연변이 부담과 종양 순도 사이의 연관성을 검정하는 암 유전체 분석이다. 데이터에는 큰 영향력을 가진 소수의 이상치가 있고, 선형 회귀는 그 점들에 끌려 매우 유의한 양의 연관성을 산출하지만 순위 기반 검정에서는 동일한 결론이 유지되지 않는다. 원문에 따르면 GPT-5.4는 이상치와 비정규성의 경고 신호를 인식하고 Spearman 결과가 유의하지 않다는 사실까지 확인했으면서도 최종 답에서는 선형 회귀를 유지해 거짓 발견으로 이어졌다. 반면 Fisher-R1은 순위 변환이 이상치의 영향력을 압축한다는 점을 반영해 Spearman 검정을 주 분석으로 선택하고 귀무가설을 기각하지 않았다.

Figure 1. 코딩 에이전트의 개방형 가설검정. 왼쪽은 GPT-5.4가 이상치를 확인하고도 선형 회귀를 적용해 거짓 발견을 내는 반면 Fisher-R1은 순위 기반 검정으로 귀무가설을 기각하지 않는 사례이며, 오른쪽은 P-Bench Easy와 Hard 정확도이다.

그림의 왼쪽은 같은 데이터와 질문에서도 최종 방법 선택이 결론을 뒤집을 수 있음을 보여준다. GPT-5.4의 추적에는 경고 신호가 존재하지만 최종 선형 검정은 $p<2.2\times10^{-16}$으로 기각을 선언하고, Fisher-R1의 Spearman 검정은 $p=0.085$로 기각하지 않는다. 오른쪽 막대는 이 차이가 단일 일화가 아니라 Easy와 Hard 분할에서 비교되는 평가 대상임을 연결한다. 이 대비는 경고를 보는 능력과 최종 추론을 고치는 능력이 별개임을 드러낸다.

1.2 검증 가능한 가설검정 과제로 평가 단위를 바꾸다

저자들은 기존 데이터 분석 평가가 흔히 그럴듯한 최종 답, 실행 가능한 워크플로, 또는 예측 성능을 보상하면서 추론 방법 자체를 충분히 분리해 검사하지 못한다고 지적한다. 가설검정에서 확인해야 할 대상은 어떤 검정을 실제로 실행했는지, 보고한 $p$-값이 그 실행에서 나왔는지, 그리고 결론이 계산된 증거와 일관되는지이다. 이 세 항목을 묶어 확인하지 않으면 에이전트가 잘못된 분석을 성공적으로 실행한 경우와 올바른 분석을 수행한 경우가 동일하게 통과할 수 있다. 특히 다수의 데이터셋과 가설을 자동 탐색하는 시스템에서는 이런 판정 누락이 거짓 발견을 연쇄적으로 증폭할 위험이 있다는 것이 논문의 문제의식이다.

이 빈틈을 메우려면 연구 질문, 실제 데이터, 실행 가능한 기준 분석, 그리고 방법·$p$-값·결론을 확인한 숨은 정답 키가 함께 있어야 한다. 논문은 이러한 자원이 드문 이유도 짚는다. 출판된 논문은 선택된 결과만 보고하는 경우가 많고, 공개 데이터는 분석 전에 정제가 필요하며, 서술된 통계 절차가 곧바로 기계 채점 가능한 표적으로 포장되어 있지는 않다. 그러므로 단순히 논문 문장에서 숫자를 옮기는 방식 대신 기준 코드를 재실행하고 출판 주장과 대조하는 구축 절차가 필요하다.

저자들이 제안한 P-Bench는 이 요구를 425개의 개방형 가설검정 과제로 구현한다. 각 과제는 과학적 질문, CSV 데이터, 데이터 설명만 공개하고 통계 방법은 알려주지 않으며, 에이전트가 분석법을 선택해 R 코드를 실행하고 $p$-값과 기각 여부를 보고하도록 한다. 정답 키는 경제학과 생물학의 동료심사 논문 및 권위 있는 생물통계 교육 자료의 기준 분석을 로그가 남는 환경에서 실행해 만들고 전문가 감사를 거친다. 논문의 주장에 따르면 이 설계는 답의 문체나 코드 실행 여부보다 실제 추론 결과의 재현 가능성과 결론 정확성을 평가 단위로 삼는다.

Fisher-R1은 이 평가 과제에 맞춰 공개 가중치 모델의 학습 목표도 재구성한다. 저자들은 실제 출판 데이터만으로 대규모 강화학습 보상을 만드는 병목을 피하기 위해, 데이터 생성 과정과 기준 분석을 함께 실행할 수 있는 합성 과제를 만들었다. 이어 교사 모델의 분석 궤적으로 지도 미세조정을 수행하고, 실행 환경에서 생성한 롤아웃을 $p$-값 근접도와 결론 일치도로 보상하는 강화학습을 적용했다. 논문이 제시하는 공헌은 결국 검증된 벤치마크와 검증 가능한 학습 신호를 같은 가설검정 인터페이스 위에 결합한 데 있다.

2. 배경 및 관련 연구: 통계 추론과 코딩 에이전트 평가의 빈틈

2.1 개방형 가설검정의 형식화와 실행 궤적

논문은 하나의 과제를 과학적 질문 $q$, 데이터셋 $D$, 데이터 설명 $s$의 묶음 $x=(q,D,s)$로 정의한다. 이때 올바른 통계 방법은 입력에 명시되지 않으며, 에이전트는 탐색과 진단을 거쳐 방법을 고르고 보고 $p$-값 $\hat{p}$와 결정 $\hat{\delta}$를 반환해야 한다. $\hat{\delta}$는 미리 정한 유의수준에서 귀무가설을 기각할지, 기각하지 못할지를 나타낸다. 이 형식화는 방법 이름을 맞히는 분류 문제에서 벗어나 데이터와 상호작용하며 결과를 산출하는 개방형 분석 문제를 의도한다.

평가는 숨은 정답 키 $k^{\star}=(p^{\star},\delta^{\star})$와 에이전트 결과를 비교한다. 에이전트는 고정된 R 실행 환경과 여러 차례 상호작용하며, 시점 $t$의 이력은 $h_t=(x,a_1,o_1,\ldots,a_{t-1},o_{t-1})$로 표현된다. 여기서 $a_i$는 R 코드, 중간 분석 판단, 최종 답 같은 행동이고, $o_i$는 요약 통계, 경고, 모형 출력, 진단 결과, 검정통계량과 $p$-값 같은 환경 관측이다. 저자들은 R을 사용함으로써 생물통계와 경제학에서 기준으로 널리 쓰이는 생존분석, 혼합효과, 도구변수, 강건·순위 기반 구현을 하나의 실행 백엔드에서 대조할 수 있다고 설명한다.

완료된 궤적은 $\tau\sim\pi_\theta(\cdot\mid x)$로 표기되며, 실행된 코드 흔적과 최종 보고를 모두 포함한다. 이 정의에서 관측은 단순한 부가 정보에 그치지 않고 다음 행동을 수정하게 하는 근거이며, 경고를 본 뒤 방법을 바꾸는지 여부도 분석 능력의 일부가 된다. 평가는 궤적의 최종 답을 파싱해 $\hat{p}$와 $\hat{\delta}$를 정답 키와 대조하지만, 그 숫자는 실제 환경 상호작용에서 생성되어야 한다. 따라서 통계적 판단과 도구 사용을 분리하지 않고 하나의 검증 가능한 실행 궤적으로 취급하는 것이 P-Bench 설정의 핵심이다.

2.2 데이터 분석 벤치마크와 통계 선택 문제 사이의 간극

ReAct 계열 에이전트 연구는 추론, 코드 실행, 관측, 수정을 교차시키며 장기 분석을 수행하는 능력을 발전시켜 왔다. 원문이 검토한 다수의 데이터 분석 벤치마크는 데이터셋의 평균 같은 사실형 질문에 정확히 답하는지, 실행 가능한 표 분석을 만드는지, 또는 예측 모형의 성능을 높이는지를 측정한다. 이러한 평가는 도구 사용과 코드 완결성을 확인하는 데 유용하지만, 선택한 검정의 가정이 주어진 데이터에 타당한지까지 필수적으로 확인하지는 않는다. 그 결과 실행 성공이 추론 성공의 대리 지표로 사용되는 빈틈이 남는다.

반대편에는 적절한 통계 절차를 고르는 능력을 객관식으로 묻는 StatQA 같은 접근이 있다. 논문은 이런 평가가 방법 선택 지식을 직접 묻는다는 장점이 있지만, 실제 데이터를 열어 전처리하고 코드를 실행해 $p$-값을 얻는 전체 고리를 포함하지 않는다고 구분한다. 객관식 선택이 맞더라도 구현 세부, 결측 처리, 모형 지정, 표준오차 선택이 잘못되면 실제 분석의 숫자와 결론은 달라질 수 있다. P-Bench는 방법 선택, 실행 분석, 수치 결과, 기각 결정을 하나의 과제로 묶고 기준 분석에서 얻은 정답으로 채점함으로써 두 평가 계열 사이의 간극을 겨냥한다.

이 차이는 결론만 맞은 경우와 근거까지 맞은 경우를 나누는 데서 선명해진다. 예를 들어 잘못된 검정이 우연히 기준 분석과 같은 기각 결정을 내리면 결론 수준 점수는 통과할 수 있지만, 보고한 $p$-값은 기준값에서 크게 벗어날 수 있다. 저자들은 방법 정확도를 단독 범주로 강제하기보다, 여러 방어 가능한 절차가 존재할 수 있음을 인정하면서 결과의 $z$-공간 근접도로 부적절한 선택을 간접 평가한다. 이는 통계 방법의 이름을 하나로 고정하지 않되, 선택이 만들어 낸 증거의 크기에는 엄격한 책임을 묻는 설계다.

2.3 주장 검증, 재현성, 자율 연구 에이전트의 연결 지점

과학 주장 검증 연구는 문헌에서 근거를 검색하고 주장을 지지하거나 반박하는 텍스트 함의 문제로 발전해 왔다. 논문은 SciFact와 후속 벤치마크가 근거 문장을 찾고 설명을 제공하는 능력을 평가하지만, 주장 아래에 있는 통계 분석을 같은 데이터로 재구성하지는 않는다고 정리한다. 반면 대규모 재현성 프로젝트는 출판 수치를 다시 계산하고 강건성을 확인하지만 많은 전문가 노동과 비용이 든다. P-Bench는 문헌의 문장 진위를 직접 판정하기보다, 동일한 질문과 데이터에서 에이전트가 통계적으로 타당한 $p$-값을 산출할 수 있는지를 상류 단계에서 검사한다.

자율 연구 에이전트는 가설 제안, 데이터 선택, 코드 실행, 실험, 논문 작성까지 연결하려 한다. 저자들은 이 긴 파이프라인의 신뢰도가 각 단계에서 사용하는 통계 추론의 신뢰도를 넘을 수 없다고 주장한다. 잘 정의된 단일 가설검정에서도 이상치나 군집 구조를 잘못 처리한다면, 다수 가설을 스스로 생성하고 선별하는 환경에서는 오류가 후속 주장과 원고에 그대로 전파될 수 있다. 따라서 P-Bench는 완전 자율 발견을 직접 평가하는 대신 그 기반 능력인 실행 가능한 추론을 통제된 형태로 격리한다.

공개 가중치 에이전트라는 Fisher-R1의 위치도 이 배경에서 중요하다. 논문은 민감한 과학·의료 데이터를 외부 폐쇄형 서비스에 보내기 어려운 상황에서 로컬로 실행할 수 있는 분석 모델의 필요성을 제기한다. 다만 공개 여부 자체가 통계적 신뢰도를 보장하지 않으므로, 모델 가중치의 접근성과 함께 검증된 과제, 실행 로그, 결과 기반 보상을 제공해야 한다. 저자들이 제안하는 해법은 벤치마크와 학습 환경 모두에서 질문부터 결론까지 동일한 실행 단위를 사용해 이 요구를 연결하는 것이다.

3. 방법론: P-Bench와 Fisher-R1의 검증 가능 학습 루프

3.1 P-Bench 과제 구조와 숨은 정답 키

P-Bench의 각 과제는 분석 요청과 CSV 데이터셋을 에이전트에게 제공하고, 기준 분석에서 도출한 정답 키는 숨긴다. 분석 요청에는 과학적 질문, 연구 설계와 변수 역할을 이해하는 데 필요한 데이터 설명이 포함되지만 사용할 통계 검정은 지정되지 않는다. 에이전트는 샌드박스에서 R 코드를 작성하고 실행하며 데이터 탐색, 가정 점검, 모형 적합을 거쳐 선택한 방법, $p$-값, 귀무가설 기각 또는 기각 실패 결정을 구조화해 반환한다. 채점기는 이 결과를 정답 키의 기준 $p$-값과 결정에 비교한다.

Figure 2. P-Bench 과제는 분석 요청과 CSV 데이터, 기준 분석에서 얻은 숨은 정답 키로 구성된다. 에이전트는 로그가 남는 샌드박스에서 R 코드를 실행해 방법, $p$-값, 기각 여부를 반환하고 평가기는 이를 정답 키와 비교한다.

왼쪽의 과제 구조는 질문과 연구 설계, 데이터가 공개되지만 정답 방법은 주어지지 않는 조건을 나타낸다. 중앙의 샌드박스에서는 요약과 검정 코드가 실제로 실행되고, 에이전트는 방법·$p$-값·결정을 답으로 제출한다. 오른쪽 평가기는 기준 $p$-값과 결론을 에이전트 출력에 각각 대조하므로 실행 가능성만으로 통과할 수 없다. 예시의 Pearson 결과는 기준값과 달라 두 평가 축에서 실패한다. 따라서 그럴듯한 보고서보다 재현된 수치와 결정의 정합성이 채점의 중심이 된다.

논문은 정답 키를 논문 본문에서 손으로 옮긴 숫자 대신 정식 기준 코드의 실행 결과로 만든다는 점을 강조한다. 경제학 과제는 공개 복제 스크립트, 생물학 과제는 공개 표에 대한 방법 절 재구현, 생물통계 과제는 배포된 강의 분석을 기준 실행으로 사용한다. 이 실행에서 $p$-값, 검정통계량, 결론을 읽고 출판된 주장과 교차 확인한 뒤, 통계 또는 생물통계 훈련을 받은 검토자가 요청문, 데이터 부분집합, 정답 키의 정렬을 독립적으로 감사한다. 재현되지 않거나 모호하거나 서로 불일치하는 과제는 수정 또는 제거된다.

3.2 실제 데이터의 수집·검증과 425개 과제 구성

P-Bench의 원천은 Harvard Dataverse에 데이터가 공개된 상위권 경제학 논문, cBioPortal의 데이터가 연결된 동료심사 생물학 논문, R 패키지로 데이터를 배포하는 Vanderbilt 생물통계 교육 자료의 세 계열이다. 저자들은 먼저 넓은 후보 풀에서 통계 주장을 추출하고 분야와 방법이 균형을 이루도록 표본을 구성했다. 이어 기준 분석을 깨끗한 환경에서 재현해 로그를 남기고, 실패한 분석을 거른 뒤, 남은 주장을 실행 로그에 연결해 자기완결적 과제와 구조화된 정답 키로 포장했다. 실제 분석에서 나타나는 소음과 불규칙성을 반영하기 위해 통제된 데이터 교란도 일부 도입했다.

검증 후 벤치마크는 총 425개이며 Easy 203개와 Hard 222개로 나뉜다. Hard 판정은 결과를 미리 보는 방식을 피하고 메타데이터만 사용하는 결정 규칙에 따른다. Cox 회귀, IV/2SLS, Tobit처럼 모형 지정과 가정 점검이 까다로운 기준 방법 계열이거나 적대적 데이터 품질 교란을 포함하면 Hard에 배정된다. 이 분할은 단순한 코드 길이보다 방법 선택과 진단 부담이 큰 과제를 별도로 측정하려는 설계다.

P-Bench는 총 17개의 가설검정 메서드 범주를 포괄한다. $t$-검정, $\chi^2$ 검정, OLS 계수 검정, Fisher 정확 검정 같은 보편적 절차에 더해 Cox 비례위험 회귀, IV/2SLS, 혼합효과 모형, 로그순위 검정, Mann–Whitney 검정, Tobit과 probit 모형 같은 전문 절차가 포함된다. 원문은 어떤 한 범주도 전체의 19%를 넘지 않으므로 한 가지 기본 레시피만 반복해 높은 점수를 얻기 어렵다고 보고한다. 경제학과 생의학 자료의 비중도 각각 51.5%와 48.5%로 구성되어 서로 다른 연구 설계와 추론 표적 사이의 전이를 요구한다.

Figure 3. P-Bench의 과제 구성. 안쪽 고리는 경제학과 생의학의 데이터 영역 비중을, 바깥 고리는 17개 가설검정 메서드 범주의 분포를 나타낸다.

안쪽 고리는 경제학 51.5%와 생의학 48.5%로 원천 분야가 거의 균형을 이룸을 보여준다. 바깥 고리에서는 $t$-검정 17.9%, Spearman 상관 12.9%, OLS 계수 검정 11.8%가 비교적 크지만 어느 방법도 19%를 넘지 않는다. 나머지는 Mann–Whitney, 로그순위, Fisher 정확, IV/2SLS, Cox, 혼합효과, Tobit 등으로 분산되어 있다. 따라서 고정된 검정을 반복하기보다 과제별 설계와 가정을 읽어야 한다.

과제의 어려움은 방법 목록의 다양성만으로 생기지 않는다. 저자들은 이상치, 이분산성, 군집 관측처럼 순진한 절차가 자신감 있는 오답을 내기 쉬운 통계적 함정을 포함했다고 밝힌다. 같은 상관 질문이라도 이상치가 기울기를 지배하면 Pearson 상관이나 선형 회귀의 유의성이 순위 기반 결과와 크게 달라질 수 있고, 군집 자료에서 독립성을 가정하면 표준오차가 왜곡될 수 있다. P-Bench는 이러한 경고를 탐지하고 적절히 처리하는지를 실제 코드 실행 결과로 확인한다.

3.3 합성 8,642개 과제와 SFT 품질 통제

Fisher-R1의 학습 과제는 실행 가능한 데이터 생성 과정, 알려진 기준 분석, 프로그램으로 확인 가능한 정답 키를 함께 갖는다. LLM이 모수화된 시뮬레이션 코드와 분석 질문을 작성하고, 각 스크립트가 CSV 데이터를 생성한 뒤 해당 방법의 기준 분석을 직접 실행한다. 여기서 정답은 생성 모수의 참값 대신 실제로 생성된 표본에 기준 방법을 적용해 얻은 $p$-값, $\alpha=0.05$에서의 결정, 방법 라벨이다. 저자들은 이 구분이 올바른 분석이 현실의 표본에서 산출할 결과와 감독 신호를 맞춘다고 설명한다.

과제 분류 체계는 방법 $M$, 방법별 도메인 시나리오 $S_m$, 표본 크기 $N$, 효과 크기 $E$, 프롬프트 스타일 $P$, 난수 시드 $K$의 데카르트 곱이다. 이를 식으로 쓰면 $$M\times S_m\times N\times E\times P\times K$$이며, 효과 크기는 null, borderline, medium의 세 구간을 사용한다. borderline 구간은 시뮬레이션으로 자동 보정해 실제로 유의성 경계가 모호한 표본을 만들고, 프롬프트는 연구 질문만 주는 non-hint와 내생성·군집 같은 방법 관련 특징을 알리는 hint로 나뉜다. 여기에 결측값, 극단값, 유효하지 않은 관측을 더해 기계적 분석을 방지하며 최종 합성 말뭉치는 균형 있게 구성된 8,642개 과제다.

지도 미세조정 단계에서는 합성 과제의 무작위 부분집합에 Claude-Sonnet-4.6 교사 모델을 적용해 총 4,611개 분석 궤적을 생성한다. 교사는 기본 EDA로 데이터 크기, 열 유형, 변수 역할을 확인하고, 상세 EDA로 분포, 결측, 균형, 상관을 살핀 뒤, 후보 방법에 맞는 가정을 점검한다. 이후 방법 선택과 실행 분석, 결론 작성까지 다섯 단계를 수행하며, 각 궤적은 생각·코드·관측·답이 교차하는 ReAct 또는 CodeAct 형식을 따른다. 학습 손실은 사용자 프롬프트와 도구 관측을 문맥으로 제공하되 어시스턴트 토큰에만 마스크를 켠 자기회귀 음의 로그우도다.

자동 품질 통제는 유효한 다중 턴 궤적과 파싱 가능한 결론을 먼저 요구한다. 궤적의 기각 여부가 정답과 같아야 하고, $p$-값을 보고했다면 $\alpha=0.05$에서의 유의성 판정이 일치하면서 기준값과 한 자릿수 규모 이내여야 한다. 교사 전용 메타데이터와 정답 키 누출도 프롬프트와 표적에서 제거된다. 이 필터를 통과해 SFT에 남은 것은 4,611개 중 3,851개, 즉 약 83.5%이며, 탈락분을 그대로 모방하지 않는 것이 후속 강화학습의 출발 품질을 결정한다.

Figure 4. 위쪽은 SFT를 위해 생각, 코드, 관측, 최종 답을 포함한 전문가 궤적을 수집하고 품질 통제로 거르는 과정이다. 아래쪽은 SFT 모델에서 초기화한 정책이 실행 환경과 상호작용하며 롤아웃을 만들고, $p$-값 정확도와 결론 정확도의 규칙 기반 보상으로 최적화되는 과정이다.

위쪽은 약 4.6천 개 교사 생성 궤적이 생각, 코드, 관측, 답의 연쇄로 수집된 뒤 품질 통제를 거쳐 약 3.8천 개로 정제되는 SFT 흐름을 압축한다. 아래쪽은 8.6천 개 합성 과제와 SFT warm start에서 출발한 정책이 R 환경과 상호작용해 롤아웃을 만드는 구조다. 규칙 기반 보상은 $p$-값 근접도와 결론 일치를 평가하고 그 신호가 RL 손실을 통해 정책으로 돌아간다. 즉 정적 정답 모방과 실행 결과 최적화가 연속된 두 단계다. 두 단계는 동일한 실행 형식을 공유해 학습과 평가 사이의 인터페이스 차이를 줄인다.

3.4 DAPO, 동적 샘플링, $z$-공간 Fisher 보상

강화학습은 SFT로 초기화한 정책 $\pi_\theta$에 DAPO, 즉 Decoupled Clip and Dynamic Sampling Policy Optimization을 적용한다. 각 프롬프트 $q$마다 이전 정책에서 $G$개의 다중 턴 롤아웃 $\{o_i\}_{i=1}^{G}\sim\pi_{\theta_{\mathrm{old}}}(\cdot\mid q)$를 뽑고 Fisher 보상 $R(o_i)$을 계산한다. 그룹 평균과 분산으로 표준화한 상대 이점은 $$\hat A_i=\frac{R(o_i)-\mu_q}{\sigma_q+\epsilon},\qquad \mu_q=\frac{1}{G}\sum_{j=1}^{G}R(o_j),\qquad \sigma_q^2=\frac{1}{G}\sum_{j=1}^{G}(R(o_j)-\mu_q)^2$$이다. 이 구성은 같은 질문에 대한 여러 실행 중 더 나은 궤적을 상대적으로 강화한다.

토큰별 중요도 비율을 $r_{i,t}(\theta)=\pi_\theta(y_{i,t}\mid h_{i,t})/\pi_{\theta_{\mathrm{old}}}(y_{i,t}\mid h_{i,t})$로 두면 논문의 DAPO 목적함수는 다음과 같다. $$J_{\mathrm{DAPO}}(\theta)=\mathbb{E}_{q,\{o_i\}}\left[\frac{1}{\sum_{i=1}^{G}T_i}\sum_{i=1}^{G}\sum_{t=1}^{T_i}\min\left(r_{i,t}(\theta)\hat A_i,\operatorname{clip}\left(r_{i,t}(\theta),1-\epsilon_{\ell},1+\epsilon_h\right)\hat A_i\right)\right]$$이다. 저자들은 비대칭 클리핑 범위를 $(\epsilon_{\ell},\epsilon_h)=(0.20,0.28)$로 두어 양의 이점을 가진 롤아웃 토큰에는 더 큰 증가를 허용하면서 과도한 확률 감소는 낮은 경계로 제어한다. 길이가 다른 롤아웃은 생성된 어시스턴트 토큰 총수로 정규화된다.

DAPO의 dynamic sampling은 그룹 내 보상 분산이 $\sigma_q^2=0$인 프롬프트 그룹을 버리고 다시 샘플링한다. 모든 롤아웃이 똑같이 성공하거나 실패하면 상대 이점이 퇴화해 정책을 어느 방향으로 갱신해야 하는지 알려주지 못하기 때문이다. 재샘플링을 통해 실제 업데이트에는 비퇴화 상대 이점을 가진 그룹만 들어간다. 논문이 이 절차를 채택한 목적은 실행 비용의 단순 증가보다 비교 가능한 성공과 실패가 함께 관측되는 학습 신호에 계산을 집중하는 것이다.

Fisher 보상은 hard format gate 뒤에 $p$-값 보상과 결론 보상을 결합한다. 정확한 식은 $$R(o)=I_{\mathrm{valid}}(o)\left(w_p r_p(o)+w_c r_c(o)\right),\qquad w_p+w_c=1$$이며, 가중치는 $w_p=0.9$, $w_c=0.1$이다. $I_{\mathrm{valid}}(o)$는 궤적에 추론, 실행 가능한 코드, 파싱 가능한 마지막 답 블록이 모두 있을 때만 1이고 하나라도 빠지면 전체 보상을 0으로 만든다. 결론은 보고된 $p$-값과 일관되는지 확인하는 성격이 강하므로 저자들은 수치 근접도보다 작은 비중을 부여했다.

$p$-값 보상은 원시 차이 대신 양측 표준정규 꼬리확률에 대응하는 $z$-공간에서 계산된다. 논문의 정의는 $$z(p)=\Phi^{-1}(1-p/2),\qquad r_p(o)=\exp\left(-\frac{|\min\{z(\hat p),5\}-\min\{z(p^{\star}),5\}|}{\sigma}\right),\qquad \sigma=1$$이다. 이 변환은 원자료의 정규분포 가정과 무관하게 어떤 모수·비모수 검정에서 나온 $p$-값도 단조롭게 다시 표시하는 장치이며, 매우 작은 $p$-값이 0 근처에 압축되는 문제를 줄인다. 예컨대 $p=0.5$와 $0.6$의 차이와 $p=0.1$과 $10^{-10}$의 차이는 원시 척도에서 비슷해 보여도 증거 강도는 전혀 다르므로 $z$-공간 보상이 이를 구별한다.

결론 보상 $r_c\in\{0,1\}$은 $\alpha=0.05$에서 최종 기각 또는 기각 실패 결정이 정답 키와 같은지 확인한다. 논문은 복수의 통계 절차가 같은 질문에 방어 가능할 수 있다는 이유로 별도의 방법명 정확도 항을 보상에 넣지 않는다. 대신 부적절한 방법은 대체로 기준 분석에서 먼 $p$-값을 만들 것이므로 $z$-공간 근접도에서 낮은 점수를 받게 한다. 이로써 Fisher-R1의 학습 루프는 특정 방법 문자열을 외우게 하기보다 형식을 지키고 코드를 실행하며 기준 증거와 가까운 추론 결과를 산출하도록 압력을 준다.

4. 실험 설정: 실제 과학 데이터와 다중 롤아웃 평가

4.1 P-Bench는 무엇을 재는가

Fisher-R1의 실험은 단순한 통계 지식 퀴즈를 넘어, 질문과 실제 데이터만 받은 코딩 에이전트가 스스로 분석법을 선택하고 코드를 실행한 뒤 p값과 결론을 함께 내놓는 상황을 겨냥한다. 각 과제는 과학적 질문, CSV 데이터셋, 데이터 설명으로 구성되며, 정답에 해당하는 통계 방법은 프롬프트에 주어지지 않는다. 에이전트는 R 샌드박스에서 탐색적 분석과 가정 점검을 수행하고, 최종적으로 선택한 방법, 계산한 p값, 귀무가설 기각 또는 기각 실패 결정을 구조화해 반환한다. 평가는 이 출력과 공개되지 않은 정답 키를 대조한다. 따라서 실행 가능한 코드를 만들었다는 사실만으로는 성공하지 못하며, 그 코드가 질문과 데이터 구조에 맞는 추론을 했는지가 핵심이다.

벤치마크의 정답은 논문 본문에 적힌 숫자를 그대로 옮겨 적는 방식으로 만들지 않았다. 경제학 논문은 공개된 재현 스크립트, 생물학 논문은 공개 테이블에 대한 방법 절 재구현, 생물통계학 자료는 출판된 강의 분석을 깨끗한 환경에서 다시 실행한다. 실행 로그에서 p값, 검정통계량, 결론을 읽고 출판된 주장과 교차 확인한 다음, 통계학 또는 생물통계학 훈련을 받은 검토자가 질문·데이터 부분집합·정답 키의 정합성을 독립적으로 점검한다. 재현에 실패하거나 해석이 모호한 사례는 수리하거나 제외한다. 이 절차는 P-Bench가 ‘그럴듯한 답변’을 평가하는 자료가 아닌, 특정 데이터에 대해 실제로 실행된 표준 분석을 기준점으로 삼는 벤치마크임을 보여 준다.

Figure 5: P-Bench 데이터 큐레이션과 자동 검증 흐름(원문 Figure 6)

Figure 5는 원문에서 통계 주장을 추출한 뒤, 대응하는 R 분석을 재실행하고 결과를 구조화해 자동 검증하는 흐름을 보여 준다. 그림의 p=0.013은 파싱된 주장과 paired t-test 실행값이 일치하는 예시이며, 검증에 통과하지 못한 주장은 제외된다. 중요한 점은 문장 표면의 숫자가 아니라 실행 로그와 결론의 일치가 정답 키의 근거라는 데 있다. 데이터 부분집합, 분석 코드, 검정통계량, 기각 결정의 계보가 함께 보존되므로 각 문항은 출판 문장을 단순 복사한 문제가 아니라 재현 실행을 거친 검증 단위가 된다.

다음 표는 원문이 명시한 P-Bench의 규모, 분할 규칙, 출처와 방법 구성을 한곳에 모은 것이다. 출처별 세부 과제 수는 본문에 제시되지 않았으므로 임의의 개수를 배정하지 않았고, 원문에서 확인되는 총수와 범주 수만 적었다. Hard 여부도 모델 성능이나 사람이 느끼는 난이도에 따른 사후 결정을 피하고, 방법 계열과 데이터 교란 메타데이터를 이용한 결정론적 규칙으로 나눈다.

표 1. P-Bench 분할·출처·통계 방법 구성

구성 축	원문 수치	구성 및 판정 규칙
전체	425개 과제	실제 과학 데이터에 기초한 개방형 가설검정 과제
P-Easy	203개	Hard 규칙에 해당하지 않는 과제
P-Hard	222개	세심한 모형 명세·가정 점검이 필요한 방법 계열 또는 적대적 데이터 품질 교란 포함
출처 계열	3개 계열	Harvard Dataverse의 경제학 논문, cBioPortal의 생물학 논문, R 패키지로 배포된 Vanderbilt 생물통계학 교육 자료
통계 방법	17개 범주, 단일 범주 비중 19% 미만	t-test, 카이제곱, OLS 계수 검정, Fisher exact test부터 Cox, IV/2SLS, 혼합효과, log-rank, Mann–Whitney, Tobit, probit까지 포함

425개 중 P-Hard가 222개로 P-Easy의 203개보다 조금 많다는 사실은 결과를 읽을 때 중요하다. Hard에는 Cox 회귀, IV/2SLS, Tobit처럼 단순한 함수 호출보다 모형 명세가 중요한 방법과 함께 이상치·이분산·군집 관측 같은 교란이 포함된다. 동시에 17개 방법 범주 중 어느 하나도 19%를 넘지 않으므로, 한두 개 검정을 기본값처럼 반복하는 전략으로 높은 점수를 얻기 어렵다. 다만 이 분할은 ‘모든 연구에서 보편적으로 어려운 정도’를 재는 심리측정 척도라기보다 저자들이 정의한 메타데이터 규칙이라는 점도 함께 기억해야 한다.

부록의 대표 과제들은 ‘실제 과학 데이터’라는 말의 구체적 의미를 보여 준다. 경제학 출처 계열의 무작위 대조시험 예시는 노인 1,113명의 세 시점 자료에서 3주 시점 CBT 단독군과 대조군의 우울 점수를 혼합효과 선형회귀로 비교한다. 기준 실행은 3,009개 관측에서 계수 −0.0873, p=0.876을 얻어 \(H_0\) 기각에 실패한다. 생물학 예시는 2,396개 대장암 원발 종양 표본에서 PTEN 변이와 전이 여부의 연관성을 공변량 보정 로지스틱 회귀로 검정한다. 계수는 −0.5059, 오즈비는 0.603, p=0.0146이므로 \(H_0\)를 기각한다. 의학 교육 자료 예시는 SUPPORT 코호트의 입원 중 사망과 Coma 질환군을 로지스틱 회귀로 분석하며, 과제별 결측 처리 뒤 5,732개 관측에서 계수 0.9477과 p=0.0001을 얻는다.

이 세 사례는 모델이 ‘p값을 찾아 복사’하기보다 연구 설계와 변수 역할을 복원해야 하는 이유를 드러낸다. 같은 로지스틱 회귀라도 생물학 예시는 PTEN 변이 효과가 표적이고, SUPPORT 예시는 여러 질환군 중 Coma 계수가 표적이다. 경제학 예시에서는 개인별 반복 측정 때문에 혼합효과 구조가 필요하다. 정답 키에는 검정 종류, 표적 변수 또는 계수, p값, 유의성, 결론과 분석 관측 수가 함께 저장되지만, 에이전트에게는 질문과 데이터만 보인다. 따라서 올바른 함수 이름을 알고 있는 것과 올바른 분석 대상을 지정하는 것은 서로 다른 능력이며, P-Hard는 후자의 실패를 더 자주 노출하도록 구성됐다.

4.2 Raw와 Strict를 분리한 이유

평가의 가장 중요한 설계는 결론 정확도와 수치 정확도를 분리한 것이다. Raw는 유의수준 \(\alpha=0.05\)에서 최종 기각 방향이 정답과 같은지만 본다. 반면 Strict는 Raw를 만족하면서 보고한 p값도 기준 분석에 가까워야 한다. 두 p값은 직접 빼지 않고 양측 정규 z-공간으로 옮긴다. 원문의 정의는 \(z(p)=\Phi^{-1}(1-p/2)\)이며, 주 기준은 \(|z(\hat p)-z(p^\star)|<0.5\)이다. 이 변환은 원자료의 정규분포 가정과 구분되는 점수화 장치로, 서로 다른 검정이 낸 p값을 꼬리확률이 같은 양측 z값으로 단조 변환한다.

각 과제에는 독립적인 롤아웃 세 번을 수행한다. pass@1은 세 시행의 성공률을 평균하므로 ‘한 번 실행했을 때 기대되는 성공 가능성’을 나타낸다. pass@3는 세 번 중 하나라도 성공하면 해당 과제를 푼 것으로 계산하므로, 모델이 적어도 한 번은 올바른 분석 경로를 찾을 탐색 가능성을 본다. 파싱할 수 없는 출력은 Raw에서도 오답이다. 이 때문에 pass@3가 높고 pass@1이 낮은 모델은 잠재적인 좋은 경로는 갖고 있지만 매번 안정적으로 선택하지 못한다고 해석할 수 있다.

아래 표는 네 용어를 섞지 않도록 판정 단위와 요구 조건을 분리한다. 특히 P-Easy Raw pass@1과 P-Hard Strict pass@1은 난이도도, 성공 정의도 다르므로 숫자 크기만 가로질러 비교해서는 안 된다.

표 2. P-Bench 평가 기준과 다중 롤아웃 집계

지표	판정 정의	해석
Raw	\(\alpha=0.05\)에서 기각/기각 실패 결정이 정답과 일치	결론 방향의 정확도, 파싱 불가 출력은 오답
Strict	Raw가 맞고 동시에 \(|\Delta z|<0.5\)	결론과 p값 근접도를 함께 요구
pass@1	과제당 3개 독립 시행의 성공률 평균	단일 시행의 평균적 신뢰성, 원문은 3회 평균과 표준편차 보고
pass@3	3개 시행 중 하나라도 성공하면 과제 해결	여러 번 시도할 때 올바른 경로를 한 번 이상 찾는 능력

Raw와 Strict의 간격은 사소한 점수 차이가 아니다. 예를 들어 서로 다른 분석법이 모두 같은 기각 결론을 낼 수 있지만 p값의 증거 강도는 크게 다를 수 있다. 결론만 맞춘 시스템을 자동 과학 에이전트로 사용하면, 잘못된 가정이나 표준오차로 얻은 ‘우연히 같은 방향’이 성공으로 기록된다. Strict는 기준 분석과 동일한 방법명을 강제로 요구하지는 않지만, 결과 p값이 가까워야 하므로 부적절한 방법 선택을 간접적으로 벌한다. 저자들의 설계 주장과 별개로, 이것이 모든 대안적 분석을 틀렸다고 선언하는 기준은 아니다. 개방형 데이터에서는 여러 방어 가능한 분석이 존재할 수 있고, Strict는 그중 기준 분석과의 수치적 정합성을 측정한다.

4.3 비교 모델과 실행 조건

비교군은 규모와 공개 수준을 폭넓게 잡았다. 상용 모델은 GPT-5.4이며, 오픈소스 계열에는 DeepSeek V4 Pro, GPT-OSS-120B, Qwen3-Coder-30B, Qwen3-32B가 포함된다. 데이터 분석 특화 모델로 DataMind-7B와 DataMind-14B도 비교한다. Fisher-R1의 직접적인 백본은 Qwen2.5-Coder-7B와 Qwen2.5-Coder-14B다. 따라서 가장 인과적으로 읽기 쉬운 비교는 같은 파라미터 규모의 백본과 Fisher-R1 사이이고, GPT-5.4나 DeepSeek V4 Pro와의 비교는 최종 시스템 간 성능 비교다. 파라미터 수나 추론 비용이 통제된 일대일 실험으로 과장해서는 안 된다.

평가 시 모든 모델은 과제당 세 개의 독립 롤아웃을 생성한다. 추론 온도는 0.3, top-p는 0.9, 배치 크기는 10이다. 학습은 SFT와 RL에서 서로 다른 설정을 쓴다. SFT는 LlamaFactory로 3 epoch를 수행하고, RL은 verl을 사용해 1 epoch의 DAPO를 수행한다. 학습용 RL 롤아웃은 평가보다 높은 온도 0.7과 그룹 크기 \(G=8\)을 사용해 같은 프롬프트에서 다양한 궤적과 상대적 보상 차이를 확보한다.

훈련과 추론의 숫자를 한 표로 정리하면, 결과 재현에서 무엇을 고정해야 하는지 명확해진다. 아래 값은 모두 원문 부록의 “Training setup and detailed hyperparameters”에서 가져왔다.

표 3. SFT·DAPO·추론 하이퍼파라미터

단계	학습률·스케줄	배치·길이	샘플링·기타
SFT	3 epoch, \(1\mathrm{e}{-5}\), cosine, warmup ratio 0.1	batch 16, cutoff 8192 tokens	LlamaFactory
DAPO RL	1 epoch, \(1\mathrm{e}{-6}\), constant warmup, 20 warmup steps	batch 16, prompt 2048, response 4096 tokens	\(\epsilon_{low}=0.2\), \(\epsilon_{high}=0.28\)
RL rollout	—	group size \(G=8\)	temperature 0.7, top-p 1.0
평가 추론	—	batch 10, 과제당 독립 시행 3회	temperature 0.3, top-p 0.9

학습은 141GB HBM을 가진 NVIDIA H200 GPU의 단일 노드에서 수행됐고, 14B 전체 RL 학습은 약 36시간이 걸렸다. 이 정보는 모델 가중치만으로는 포착되지 않는 재현 비용을 보여 준다. 또 훈련 rollout의 temperature 0.7과 평가의 0.3이 다르므로, 학습 중 탐색 다양성과 평가 중 안정성을 같은 개념으로 혼동하지 않아야 한다. 원문은 하드웨어와 총 시간을 보고하지만 GPU 개수나 전체 에너지 비용까지 상세히 제시하지 않으므로, 여기서 더 세밀한 효율 비교를 추정하지 않는다.

5. 주요 실험 결과: 결론 정확도와 p값 근접도의 간극

5.1 핵심 모델의 P-Easy·P-Hard 전체 결과

주 결과는 네 축을 동시에 읽어야 한다. 첫째, P-Easy와 P-Hard를 분리한다. 둘째, 결론만 보는 Raw와 p값까지 보는 Strict를 구분한다. 셋째, 단일 시행에 가까운 pass@1과 세 번의 기회를 허용한 pass@3를 구분한다. 넷째, pass@1의 아래첨자 표기는 세 독립 실행에서 얻은 표준편차다. 아래 표는 요청된 핵심 모델 다섯 개를 원문 표의 조건 순서 그대로 옮겼다. 모든 값의 단위는 퍼센트이며, ‘평균 ± 표준편차’는 pass@1에만 적용된다.

표 4. P-Bench 주 결과: 주 Strict 기준 \(|\Delta z|<0.5\)

모델	P-Easy				P-Hard
	Raw		Strict		Raw		Strict
	pass@1	pass@3	pass@1	pass@3	pass@1	pass@3	pass@1	pass@3
GPT-5.4	92.9 ± 1.0	95.6	64.7 ± 3.3	73.4	58.3 ± 0.9	68.0	30.5 ± 1.6	39.2
DeepSeek V4 Pro	70.9 ± 0.5	93.1	54.2 ± 0.5	71.9	46.8 ± 1.2	69.7	26.3 ± 3.0	42.5
Qwen3-Coder-30B	76.9 ± 2.2	87.7	45.0 ± 1.1	57.6	59.8 ± 0.9	68.0	27.8 ± 1.8	36.0
Fisher-R1-7B	87.0 ± 1.6	96.6	65.7 ± 1.2	74.9	63.4 ± 2.5	82.4	30.6 ± 1.2	44.1
Fisher-R1-14B	87.4 ± 1.9	94.1	64.2 ± 0.6	75.9	65.8 ± 0.8	81.1	33.0 ± 1.7	45.5

가장 쉬운 결론 지표인 P-Easy Raw pass@1에서는 GPT-5.4가 92.9로 가장 높고 Fisher-R1-14B와 7B는 각각 87.4와 87.0이다. 그러나 p값 근접도를 요구하면 순위가 달라진다. P-Easy Strict pass@1은 Fisher-R1-7B가 65.7로 GPT-5.4의 64.7과 Fisher-R1-14B의 64.2를 앞선다. 세 번 중 한 번의 성공을 보는 P-Easy Strict pass@3에서는 Fisher-R1-14B가 75.9, Fisher-R1-7B가 74.9, GPT-5.4가 73.4다. ‘쉬운 분할에서 GPT-5.4가 늘 우세하다’거나 ‘14B가 모든 조건에서 7B보다 높다’는 요약은 표의 조건 의존성을 지워 버린다.

P-Hard에서는 Fisher-R1 계열의 강점이 더 분명하다. Raw pass@1은 Fisher-R1-14B 65.8, Fisher-R1-7B 63.4, Qwen3-Coder-30B 59.8, GPT-5.4 58.3, DeepSeek V4 Pro 46.8 순이다. Strict pass@1도 Fisher-R1-14B가 33.0으로 최고이며, 7B 30.6, GPT-5.4 30.5, Qwen3-Coder-30B 27.8, DeepSeek V4 Pro 26.3이 뒤따른다. pass@3에서는 Fisher-R1-14B가 45.5, 7B가 44.1로 GPT-5.4의 39.2를 웃돈다. 특히 7B의 P-Hard Raw pass@3 82.4는 표 전체에서 가장 높은 값이지만, 같은 모델의 Strict pass@3는 44.1이다. 올바른 결론을 한 번 찾는 능력과 기준 p값에 가까운 분석을 찾는 능력 사이에 큰 간극이 있음을 잘 보여 준다.

5.2 결론은 맞아도 p값은 틀릴 수 있다

논문의 중심 메시지는 모델 순위 자체보다 Raw와 Strict 사이의 하락에 있다. GPT-5.4의 P-Hard pass@1은 Raw 58.3에서 Strict 30.5로 내려간다. 즉 기각 또는 기각 실패 방향은 맞췄지만 기준 분석과 가까운 p값까지 낸 비율은 훨씬 낮다. Qwen3-Coder-30B도 P-Hard에서 Raw 59.8과 Strict 27.8로 갈라지고, DeepSeek V4 Pro 역시 46.8에서 26.3으로 낮아진다. Fisher-R1-14B도 65.8에서 33.0으로 하락하므로 이 문제가 완전히 해결된 것은 아니다. 다만 절대 Strict 점수와 같은 백본 대비 개선 폭을 보면, p값 보상을 넣은 훈련이 간극을 줄이는 방향으로 작동했다고 볼 수 있다.

왜 이런 일이 생길까. 유의수준 0.05를 기준으로 결론만 맞히는 것은 p값의 세밀한 크기를 보존하지 않는다. 예를 들어 서로 다른 표준오차 추정, 군집 구조 무시, 이상치에 민감한 선형모형 사용이 모두 같은 쪽의 기각 결론을 낼 수 있다. Raw는 이들을 정답으로 처리할 수 있지만 Strict는 기준 실행과의 z거리로 거른다. 이 해석은 저자들의 주장과 일치하지만, 리뷰어 관점에서는 Strict 실패의 원인을 방법 선택 오류로만 단정할 수 없다는 점도 중요하다. 같은 방법이라도 결측 처리, 변수 코딩, 기본 옵션이 달라 p값이 바뀔 수 있고, 반대로 다른 방법이 과학적으로 방어 가능할 수도 있다. 따라서 Strict는 ‘통계적 진리’의 완전한 판정이라기보다 감사된 기준 분석에 얼마나 충실히 도달했는지를 재는 보수적 지표다.

pass@1과 pass@3의 차이도 안정성 문제를 드러낸다. DeepSeek V4 Pro의 P-Hard Strict는 pass@1 26.3이지만 pass@3 42.5이고, Fisher-R1-7B는 30.6에서 44.1로 높아진다. 여러 번 생성하면 성공 범위가 넓어지지만 실제 연구 자동화에서는 어느 롤아웃을 채택할지 모르는 선택 문제가 남는다. 정답 키를 모르는 배치 환경에서 세 결과 중 좋은 것을 사후 선택할 수 없기 때문이다. 그러므로 높은 pass@3는 탐색 잠재력을 뜻하고, 무감독 운영의 단일 결과 신뢰성은 pass@1에 더 가깝게 읽는 편이 안전하다.

5.3 같은 Qwen2.5-Coder 백본에서의 개선량

Fisher-R1 훈련의 효과를 가장 직접적으로 확인하려면 외부 대형 모델보다 동일한 Qwen2.5-Coder 백본과 비교해야 한다. 다음 표는 원문 주 결과의 시작값과 종료값을 조건별로 나란히 놓고, 그 차이를 퍼센트포인트로 계산했다. 상대 퍼센트 대신 점수의 절대 차이이므로 ‘25.6% 향상’이 아닌 ‘25.6%p 상승’으로 읽어야 한다.

표 5. 백본 대비 Fisher-R1 개선량: 시작값 → 종료값 (퍼센트포인트 변화)

모델 쌍	집계	P-Easy Raw	P-Easy Strict	P-Hard Raw	P-Hard Strict
Qwen2.5-Coder-7B → Fisher-R1-7B	pass@1	61.4 → 87.0 (+25.6)	36.3 → 65.7 (+29.4)	37.5 → 63.4 (+25.9)	13.2 → 30.6 (+17.4)
	pass@3	83.7 → 96.6 (+12.9)	54.7 → 74.9 (+20.2)	63.1 → 82.4 (+19.3)	25.2 → 44.1 (+18.9)
Qwen2.5-Coder-14B → Fisher-R1-14B	pass@1	78.5 → 87.4 (+8.9)	41.4 → 64.2 (+22.8)	51.5 → 65.8 (+14.3)	23.7 → 33.0 (+9.3)
	pass@3	88.2 → 94.1 (+5.9)	49.8 → 75.9 (+26.1)	66.7 → 81.1 (+14.4)	33.3 → 45.5 (+12.2)

7B에서는 네 pass@1 조건이 모두 17.4%p 이상 오른다. 가장 큰 증가는 P-Easy Strict pass@1의 29.4%p이며, P-Hard Raw도 25.9%p 상승한다. 14B는 이미 백본 점수가 더 높아 Raw 개선 폭은 상대적으로 작지만, P-Easy Strict pass@1이 22.8%p, Strict pass@3가 26.1%p 오른다. 두 규모에서 공통적으로 Strict가 크게 개선된다는 점은 Fisher 보상이 단순히 최종 결론 문구를 맞추는 패턴만 강화하는 데 그치지 않고 p값 근접도에도 영향을 주었다는 저자들의 해석을 뒷받침한다.

안정성도 함께 봐야 한다. 7B의 P-Easy Raw pass@1 표준편차는 백본의 ±8.5에서 Fisher-R1의 ±1.6으로 줄어든다. P-Easy Strict도 ±5.5에서 ±1.2로 감소한다. 다만 모든 조건에서 분산 감소가 보장된 것은 아니다. 예를 들어 7B P-Hard Raw pass@1 표준편차는 백본 ±2.8과 Fisher-R1 ±2.5로 차이가 작다. 그러므로 ‘전반적으로 더 안정적’이라는 설명은 가능하지만, 모든 하위 지표의 변동성이 같은 폭으로 감소했다고 일반화해서는 안 된다.

5.4 GPT-5.4와 대형 오픈소스 모델을 넘어선다는 의미

원문은 Fisher-R1-14B가 GPT-5.4의 Strict 네 지표 중 세 개를 앞선다고 강조한다. 정확히는 P-Easy Strict pass@3에서 75.9 대 73.4, P-Hard Strict pass@1에서 33.0 대 30.5, P-Hard Strict pass@3에서 45.5 대 39.2다. 반면 P-Easy Strict pass@1은 GPT-5.4 64.7이 Fisher-R1-14B 64.2보다 0.5%p 높다. 이 예외를 빼면 주장을 과장하게 된다. Fisher-R1-7B도 모든 Strict 조건에서 DeepSeek V4 Pro를 앞서며, P-Hard Strict pass@1에서는 30.6 대 26.3, pass@3에서는 44.1 대 42.5다.

규모가 큰 범용·코딩 모델보다 7B와 14B의 특화 모델이 Strict에서 강하다는 결과는 도메인 보상 설계의 가치를 보여 준다. 하지만 이것을 ‘작은 모델이 전반적으로 더 똑똑하다’고 해석하면 안 된다. 평가 범위는 단일 가설검정 과제이고, 보상과 벤치마크가 모두 p값과 결론을 중심으로 구성돼 있다. 비용, 지연시간, 다른 데이터 분석 능력, 설명의 질은 이 표에 포함되지 않았다. 가장 타당한 결론은 검증 가능한 합성 과제와 결과 기반 보상이 이 특정 통계 추론 병목에서 범용 모델 규모보다 큰 효과를 낼 수 있다는 것이다.

6. 추가 분석 및 Ablation Study: SFT와 DAPO가 함께 만드는 개선

6.1 SFT만으로도, DAPO만으로도 충분하지 않다

7B 백본의 ablation은 네 학습 상태를 비교한다. 첫 행은 원래 Qwen2.5-Coder-7B, 둘째는 백본에 DAPO를 바로 적용한 모델, 셋째는 SFT만 적용한 모델, 넷째는 SFT로 시작한 뒤 DAPO까지 수행한 Fisher-R1-7B다. 이 설계는 SFT와 DAPO의 개별 효과 및 순차 결합 효과를 같은 백본에서 확인한다. 아래 표 역시 P-Easy/P-Hard, Raw/Strict, pass@1/pass@3를 분리해 원문 수치를 그대로 유지했다.

표 6. 7B 백본의 SFT·DAPO ablation: 주 Strict 기준 \(|\Delta z|<0.5\)

학습 구성	P-Easy				P-Hard
	Raw		Strict		Raw		Strict
	pass@1	pass@3	pass@1	pass@3	pass@1	pass@3	pass@1	pass@3
백본	61.4 ± 8.5	83.7	36.3 ± 5.5	54.7	37.5 ± 2.8	63.1	13.2 ± 0.5	25.2
DAPO만	81.6 ± 2.8	86.9	44.4 ± 0.9	48.2	52.3 ± 3.6	62.6	25.2 ± 0.8	30.3
SFT만	51.6 ± 6.1	84.2	30.2 ± 4.6	59.6	33.5 ± 3.9	68.0	14.3 ± 1.1	30.2
SFT + DAPO	87.0 ± 1.6	96.6	65.7 ± 1.2	74.9	63.4 ± 2.5	82.4	30.6 ± 1.2	44.1

DAPO를 백본에 바로 적용하면 pass@1은 뚜렷하게 오른다. P-Easy Raw가 61.4에서 81.6, Strict가 36.3에서 44.4로 증가하고, P-Hard Strict는 13.2에서 25.2가 된다. 그러나 pass@3는 일관되게 좋아지지 않는다. P-Easy Strict pass@3는 54.7에서 48.2로 낮아지고 P-Hard Raw pass@3도 63.1에서 62.6으로 소폭 하락한다. 이는 DAPO가 보상 높은 경로의 단일 시행 확률을 높였지만, 좋은 해법의 분포 전체를 충분히 넓히지는 못했음을 시사한다.

SFT만 적용한 경우에는 반대 양상이 나타난다. P-Easy Raw pass@1은 61.4에서 51.6, Strict pass@1은 36.3에서 30.2로 떨어진다. P-Hard Raw pass@1도 37.5에서 33.5로 낮다. 하지만 네 pass@3는 모두 백본보다 높다. P-Easy Raw 84.2, Strict 59.6, P-Hard Raw 68.0, Strict 30.2다. 저자들은 이를 SFT가 해법 분포를 넓히지만 단일 시행 정확도를 안정적으로 높이지 못한 결과로 해석한다. 이 해석은 표와 잘 맞지만, 궤적 다양성을 직접 측정한 지표 없이 pass@1과 pass@3 패턴에서 유도한 설명이라는 점은 구분해야 한다.

두 단계를 결합하면 모든 지표가 네 구성 중 최고다. P-Easy Strict pass@1 65.7과 pass@3 74.9, P-Hard Strict pass@1 30.6과 pass@3 44.1은 SFT만 또는 DAPO만 적용한 결과를 크게 앞선다. SFT가 EDA, 가정 점검, 방법 선택, 결론으로 이어지는 교사 궤적의 형식을 제공하고, DAPO가 실행 결과와 p값 보상에 맞춰 그 궤적을 재배치한다는 상보성 설명이 가능한 이유다.

6.2 왜 SFT warm-start가 DAPO의 출발점을 바꾸는가

SFT 데이터는 Claude-Sonnet-4.6이 생성한 4,611개 분석 궤적에서 품질 필터를 통과한 3,851개, 약 83.5%로 구성된다. 각 교사 궤적은 기본 EDA, 상세 EDA, 후보 방법에 맞춘 가정 점검, 방법 선택과 분석, 결론의 다섯 단계를 따른다. 유효한 다중 턴 추적과 파싱 가능한 결론을 가져야 하며, 정답의 기각 방향과 일치해야 한다. p값이 보고된 경우 \(\alpha=0.05\)에서 유의성 방향이 같고 한 자릿수 규모 이내여야 한다. 정답 키 누출과 교사 전용 메타데이터는 제거한다.

DAPO는 이 SFT 정책에서 시작해 프롬프트마다 \(G=8\)개의 다중 턴 롤아웃을 뽑고 Fisher reward로 평가한다. 보상은 형식 유효성 게이트를 통과한 출력에 대해 p값 근접도 0.9와 결론 일치 0.1을 가중 결합한다. p값 보상은 \(z(p)=\Phi^{-1}(1-p/2)\)에서 정답과의 절대 거리에 지수 감쇠를 적용하며, z값은 최대 5에서 자른다. 방법명 자체를 맞히는 별도 보상은 없다. 여러 방법이 방어 가능할 수 있다는 이유로 결과를 통해 간접 평가하는 선택이다.

DAPO의 비대칭 clipping은 \((\epsilon_{low},\epsilon_{high})=(0.20,0.28)\)이다. 양의 advantage를 가진 토큰에 더 큰 증가 여지를 주되 과도한 확률 감소를 제어한다. 같은 프롬프트의 그룹 보상 분산이 0이면 해당 그룹을 버리고 다시 샘플링하는 dynamic sampling도 사용한다. 이 구조에서 SFT는 실행 가능한 분석 문법과 작업 순서를 제공하고, DAPO는 서로 다른 결과를 내는 궤적 중 p값과 결론이 좋은 쪽을 강화한다. 다만 ablation은 ‘SFT 후 DAPO’의 우월성을 보여 줄 뿐, 데이터 수·학습 연산·최적화 스텝까지 완전히 맞춘 모든 가능한 순서 비교는 아니다.

6.3 완화된 Strict 기준에서도 유지되는 패턴

주 기준 \(|\Delta z|<0.5\)가 지나치게 엄격해서 Fisher-R1에 유리한 결과를 만들었는지 확인하기 위해, 저자들은 임계값을 \(|\Delta z|<1.0\)으로 완화한 부록 실험을 제시한다. Raw 정의와 값은 바뀌지 않으므로 아래 표에는 변화가 생기는 Strict 네 조건만 담았다. 핵심 비교 모델을 동일하게 유지해 P-Easy와 P-Hard, pass@1과 pass@3를 분리했다.

표 7. 완화된 Strict 기준 \(|\Delta z|<1.0\)의 핵심 모델 결과

모델	P-Easy Strict pass@1	P-Easy Strict pass@3	P-Hard Strict pass@1	P-Hard Strict pass@3
GPT-5.4	72.6 ± 2.5	79.3	38.4 ± 0.7	46.0
DeepSeek V4 Pro	59.1 ± 0.9	78.8	32.2 ± 1.1	49.3
Qwen3-Coder-30B	53.2 ± 1.7	65.0	35.4 ± 1.0	42.3
Fisher-R1-7B	71.8 ± 0.8	80.8	40.1 ± 2.5	56.8
Fisher-R1-14B	70.6 ± 1.4	79.8	42.0 ± 2.2	56.8

임계값을 완화하면 모든 모델의 Strict 점수가 오르지만, 결론 정확도와 p값 근접도의 간극은 사라지지 않는다. GPT-5.4의 P-Hard Raw pass@1은 여전히 58.3인데 완화 Strict pass@1은 38.4이고, Fisher-R1-14B도 Raw 65.8 대 완화 Strict 42.0이다. 주 기준에서 관찰한 ‘결론만 맞히는 평가가 신뢰성을 과대평가한다’는 정성적 결론이 임계값 하나에만 의존하지 않는다는 뜻이다.

순위의 세부는 조건에 따라 바뀐다. P-Easy 완화 Strict pass@1에서는 GPT-5.4가 72.6으로 Fisher-R1-7B의 71.8과 14B의 70.6보다 높다. 반면 P-Hard pass@1은 Fisher-R1-14B 42.0과 7B 40.1이 GPT-5.4 38.4를 앞선다. P-Hard pass@3에서는 Fisher 두 모델이 모두 56.8이며 DeepSeek V4 Pro 49.3, GPT-5.4 46.0보다 높다. 이 결과는 Fisher-R1의 장점이 쉬운 과제의 느슨한 수치 일치보다 복잡한 과제에서 더 강하게 나타남을 시사한다.

6.4 합성 훈련 과제의 암기 가능성 점검

Fisher-R1은 실제 P-Bench 425개로 학습하지 않고, 실행 가능한 데이터 생성 과정과 정답 키를 가진 합성 과제 8,642개로 훈련된다. 합성 분류 체계는 통계 방법, 도메인 시나리오, 표본 크기, 효과 크기, 프롬프트 스타일, 난수 시드의 곱으로 구성된다. 통계 방법은 27개이고, 방법마다 5~7개 시나리오를 두며, 효과 크기는 null·borderline·medium 세 수준, 프롬프트는 hint·non-hint 두 종류, 시드는 셀마다 세 개다. 여기에 regression 계열 셀에서 결측 또는 이상치를 넣은 교란 변형 60개도 추가한다.

합성 과제와 실제 평가 과제가 표면적으로 다르더라도, 템플릿이 비슷하면 평가 향상이 사실상 근접 프롬프트 검색에서 나왔을 가능성이 있다. 저자들은 이를 확인하기 위해 각 입력에서 연구 질문과 연구 설명, 즉 사용자 프롬프트를 뽑아 OpenAI text-embedding-3-small로 임베딩한다. 각 표본마다 훈련 풀에서 가장 가까운 이웃 다섯 개와의 평균 코사인 유사도를 계산하고, 훈련 대 훈련과 평가 대 훈련 분포를 비교한다.

Figure 6: 훈련-훈련 및 평가-훈련 프롬프트 유사도 분포(원문 Figure 5)

Figure 6에서 파란색 train↔train KDE는 코사인 유사도 1에 가까운 구간에 매우 날카롭게 몰리지만, 빨간색 eval↔train 분포는 그보다 낮고 넓은 범위에 놓인다. 저자들은 이 분리를 근거로 425개 평가 과제에 RL 훈련 프롬프트의 근접 복제본이 없다고 주장한다. 축은 코사인 유사도와 KDE 밀도이며, 비교값은 상위 5개 이웃 유사도의 평균이다. 이 결과는 문장 수준 근접 복제 가능성을 낮추지만 데이터 스키마나 분석 코드의 구조적 중복까지 직접 배제하는 검사는 아니라는 범위에서 해석해야 한다.

그림은 훈련 데이터 내부의 템플릿 반복성과 평가 데이터의 상대적 거리를 분명히 보여 준다. 훈련 대 훈련의 높은 유사도 띠는 합성 RL 프롬프트가 공통 템플릿 구조를 가진다는 사실과 맞고, 평가 대 훈련 분포가 아래쪽으로 떨어진 것은 실제 과제 문장이 그 템플릿의 근접 복사본과 거리가 있다는 저자들의 설명을 지지한다. 또한 훈련 과제는 합성 시뮬레이션이고 P-Bench는 실제 논문·교육 자료에서 구성됐으므로 데이터 생성 경로도 다르다.

그러나 이 분석이 모든 형태의 암기를 배제하지는 않는다. 하나의 임베딩 모델로 사용자 프롬프트만 비교했기 때문에 통계 방법의 구조, 데이터 열 패턴, 코드 템플릿의 중복까지 직접 측정하지는 않는다. ‘문장 수준 근접 복제본이 보이지 않는다’는 근거로는 설득력이 있지만, 더 강한 누출 검증에는 n-gram 중복, 데이터 스키마, 생성 템플릿 ID, 코드 유사도를 함께 보는 분석이 필요하다. 이 부분은 논문의 결론을 부정하는 것과 구분해 Figure 6(원문 Figure 5)이 실제로 뒷받침하는 범위를 명확히 한 리뷰어 해석이다.

6.5 결과가 보여 주는 것과 아직 보여 주지 못한 것

Ablation과 완화 임계값 실험을 함께 보면 세 가지 결론이 남는다. 첫째, SFT는 형식과 분석 절차를 제공하지만 단독으로 pass@1을 높이지 못한다. 둘째, 백본에서 바로 시작한 DAPO는 단일 시행 성능을 개선하지만 결합 모델보다 낮은 수준에서 머문다. 셋째, SFT 뒤의 DAPO는 모든 ablation 지표를 최고로 만들고, \(|\Delta z|<1.0\)에서도 P-Hard의 우위를 유지한다. 이 계보는 Fisher-R1의 성능 향상을 단순한 모델 규모 효과를 넘어 학습 단계와 보상 설계의 결합 효과로 해석하게 한다.

동시에 P-Hard Strict pass@1의 최고값이 Fisher-R1-14B에서도 33.0이라는 사실은 아직 해결되지 않은 부분을 선명하게 보여 준다. 세 번 시도한 pass@3도 45.5다. 이는 가장 강한 모델조차 복잡한 실제 가설검정 과제의 절반 이상에서 기준 분석과 가까운 p값을 안정적으로 내지 못한다는 뜻이다. 논문도 현재 P-Bench가 과제당 단일 가설검정만 평가하며, 다중 검정과 다중비교 보정이 들어간 파이프라인은 향후 과제로 남긴다고 밝힌다.

따라서 Fisher-R1은 인간 통계 검토자를 대체하는 완성형 자동 과학자라기보다, 검증 가능한 보상이 통계 추론 에이전트의 신뢰성을 어디까지 끌어올릴 수 있는지 보여 주는 강한 기준선으로 보는 편이 적절하다. 실제 연구 배치에서는 분석 가정의 명시적 정당화, 방법 선택 불확실성, 여러 타당한 분석 사이의 민감도, ‘단일 검정으로 답할 수 없음’을 인식하는 중단 기준이 추가로 필요하다. 저자들도 모델과 P-Bench를 평가·감독 도구로 공개하며 인간 통계 검토의 대체물이 아님을 분명히 한다. 특히 실제 분석 보고서에는 모델이 선택한 방법에 더해 대안 방법을 배제한 근거, 결측과 이상치 처리 전후의 민감도, 반복 롤아웃 간 결론 불일치까지 남겨야 한다. 그래야 높은 벤치마크 점수가 감사 가능한 연구 절차로 이어진다.

7. 한계점 및 향후 연구 방향: 단일 검정에서 분석 파이프라인으로

P-Bench와 Fisher-R1의 강점은 평가 대상을 막연한 “좋은 분석”보다 실행된 검정의 p-값과 결론으로 좁힌 데 있다. 덕분에 보상을 자동 계산하고, 결론만 우연히 맞힌 궤적과 기준 분석에 가까운 수치를 산출한 궤적을 구분할 수 있다. 그러나 이 선명한 인터페이스는 동시에 적용 범위를 정한다. 현재 시스템이 검증하는 것은 주어진 질문과 데이터에서 하나의 가설검정을 완결하는 능력이지, 탐색에서 보고까지 이어지는 전체 통계 분석 파이프라인의 타당성은 아니다. 이하의 한계는 성능표를 부정하기보다, 그 표가 보장하는 범위를 정확히 긋기 위한 것이다.

7.1 단일 hypothesis test와 multiple comparison의 공백

논문이 Discussion에서 직접 인정하듯 P-Bench의 각 과제는 단일 hypothesis test를 평가한다. 에이전트는 하나의 연구 질문과 CSV 데이터, 데이터 설명을 받고 방법을 선택해 p-값 하나와 유의수준 0.05에서의 기각 또는 기각 실패 결론을 반환한다. 이 형식은 검정 선택, 실행, 수치 보고, 결론 연결을 정밀하게 검사하기에는 좋다. 반면 실제 연구에서는 결과변수 여러 개, 하위집단, 시점, 모형 사양, 상호작용을 연속적으로 검토하며 하나의 주장에 도달하는 경우가 많다. 개별 검정이 모두 올바르게 실행되어도 분석군 전체의 제1종 오류가 통제되지 않으면 최종 주장은 과도하게 낙관적일 수 있다.

따라서 현재 점수는 다중 비교 보정, family 정의, 사전 지정과 사후 탐색의 구분, 선택적 보고, 반복적 데이터 관찰에 따른 오류율 팽창을 포함하지 않는다. 예를 들어 20개 하위집단을 검색한 뒤 가장 작은 p-값만 보고하는 에이전트는 마지막 단일 검정의 계산만 놓고 보면 정확할 수 있지만, 연구 파이프라인으로서는 잘못된 발견을 만들 수 있다. Bonferroni나 Holm처럼 family-wise error rate를 통제할지, Benjamini–Hochberg처럼 false discovery rate를 통제할지조차 연구 목적과 검정 의존성에 따라 달라진다. “정답 p-값 하나”의 채점 규칙만으로는 이 상위 의사결정을 표현하기 어렵다.

후속 P-Bench가 다뤄야 할 최소 단위는 서로 독립된 단일 문항의 묶음에서 벗어나 상태를 공유하는 다단계 분석으로 확장돼야 한다. 에이전트가 가설군을 선언하고, 어떤 분석이 탐색적이며 어떤 분석이 확증적인지 표시하고, 중간 결과를 본 뒤 추가 검정을 선택한 이력을 로그로 남겨야 한다. 최종 평가는 각 p-값의 정확성에 더해 보정된 q-값, family 구성, 중단 규칙, 보고된 주장과 실제로 시도한 검정 목록의 정합성을 함께 봐야 한다. 저자들이 multi-test pipeline과 multiple-comparison correction을 자연스러운 다음 단계로 제시한 이유가 바로 여기에 있다.

7.2 reference analysis 하나를 기준으로 삼는 평가의 경계

P-Bench의 answer key는 논문 본문의 숫자를 옮겨 적은 것이 아니다. 경제학은 공개된 replication script, 생물학은 공개 표에 대한 방법 절 재구현, 생물통계는 교재 분석을 깨끗한 환경에서 다시 실행하고, 그 로그에서 p-값·검정통계량·결론을 읽는다. 공개된 425개 과제는 출판 주장과 교차 확인되고 통계·생물통계 훈련을 받은 검토자의 감사를 거쳤다. 이 절차는 임의의 LLM judge보다 훨씬 강한 provenance를 제공한다. 다만 “재현된 기준 분석”은 신뢰할 만한 비교점이지, 모든 합리적 분석 선택을 포괄하는 유일한 통계적 진실은 아니다.

논문 자체도 동일한 가설에 여러 통계 절차가 방어 가능할 수 있다는 이유로 reward에 명시적인 method-correctness 항을 넣지 않는다. 대신 잘못된 방법은 대체로 기준 분석과 다른 p-값을 만들 것이라는 가정 아래 결과로 간접 평가한다. 여기에는 긴장이 있다. 강건 표준오차, 순위 기반 검정, 변환, 결측치 처리, 공변량 조정처럼 합리적 선택 두 개가 서로 다른 p-값을 낼 수 있다. 반대로 기준값에 가까운 수치가 나왔다고 해서 전처리와 가정 확인까지 올바르게 수행했다는 보장도 없다. 단일 reference analysis에 대한 근접성은 재현성을 잘 측정하지만, 분석 선택의 동등성이나 강건성을 완전히 측정하지는 못한다.

이 경계는 Strict 지표와 Fisher reward에서 더 선명하다. Strict는 결론이 맞고 두 양측 정규 z-척도 값의 차이가 0.5보다 작아야 성공으로 본다. 학습 reward는 유효한 reasoning·실행 코드·파싱 가능한 최종 답 형식을 hard gate로 요구한 뒤, p-값 근접도에 0.9, 결론 일치에 0.1을 둔다. p-값은 z-척도로 단조 변환하고 z는 5에서 잘라 극단적으로 작은 값의 차이를 제한한다. 이 규칙은 계산 가능하고 일관되지만, 허용 가능한 분석들의 집합을 직접 표현하지는 않는다. 특히 기준 분석과 다른 가정을 채택한 답을 “틀림”과 “대안”으로 분리하는 장치가 없다.

향후에는 과제마다 기준 분석 하나만 저장하기보다, 전문가가 승인한 분석 사양들의 동등성 집합을 구성할 필요가 있다. 각 사양에 데이터 필터, 결측치 규칙, 분산 추정, 공변량, 검정 방향, 허용되는 수치 오차를 함께 기록하면 결과가 다른 이유를 추적할 수 있다. 단일 숫자와의 거리를 최소화하는 대신 승인된 사양 중 하나와 전체 궤적이 일치하는지, 여러 사양에서 결론이 얼마나 안정적인지, 사양 선택의 불확실성을 보고했는지를 평가해야 한다. 이렇게 해야 “정답 복제”와 “타당한 분석”의 간극을 줄일 수 있다.

7.3 synthetic-to-real gap은 줄었지만 닫히지 않았다

Fisher-R1은 P-Bench를 학습에 사용하지 않는다. 학습 말뭉치는 실행 가능한 생성 과정, 알려진 목표 분석, 프로그램으로 확인할 수 있는 answer key를 갖춘 합성 과제 8,642개다. 합성 taxonomy는 27개 통계 방법에 대해 방법, 도메인 시나리오, 표본 크기, 효과 크기, prompt style, seed를 조합한다. 효과 크기는 null·borderline·medium 세 구간이고, prompt는 방법론적 단서를 주는 hint와 연구 질문만 주는 non-hint로 나뉜다. 이 구조는 보상 라벨을 대량으로 만들고 실제 P-Bench 425개를 온전히 분포 밖 평가로 남긴다는 점에서 설계상 설득력이 있다.

저자들은 단순 암기를 배제하기 위해 연구 질문과 연구 설명을 text-embedding-3-small로 임베딩하고, 각 평가 과제에서 학습 풀의 상위 5개 최근접 이웃 평균 cosine similarity를 계산한다. 평가-학습 유사도는 합성 RL prompt 사이의 높은 “memorization band”보다 낮았고, 425개 평가 과제에 near-duplicate가 없다고 보고한다. 이는 문장 템플릿을 그대로 회수했다는 설명을 약화한다. 그러나 prompt 임베딩 거리는 데이터 생성 과정, 변수 간 의존 구조, 결측 발생 메커니즘, 모형 오지정, 방법 선택의 실질적 난도를 측정하지 않는다. “중복이 아니다”는 증거와 “실제 연구의 모든 복잡성으로 일반화한다”는 증거는 구분해야 한다.

합성 데이터는 정답을 자동 계산하기 위해 어떤 canonical method가 맞는지 생성 단계에서 알고 있다. 실제 관찰 연구에서는 측정 오류, 숨은 교란, 표본 선택, informative missingness, 시간에 따라 변하는 노출, 사후적으로 바뀐 endpoint처럼 한 번의 진단으로 해결되지 않는 문제가 얽힌다. 합성 corpus에 missing과 extreme·invalid observation perturbation이 추가되지만, 부록이 구체적으로 밝힌 변형은 regression-method cell에서 뽑은 60개 missing/outlier 과제다. P-Bench에는 outlier, heteroskedasticity, clustered observation 같은 함정이 포함되지만, 현실의 데이터 계보와 분석자 선택 전체를 그대로 복제한다고 보기는 어렵다.

후속 연구는 semantic similarity 외에 구조적 분포 이동을 분해해야 한다. 학습에 없던 방법군, 새로운 package, 표본 선택 편향, 복합 결측, 다른 도메인 용어, 단위 오류, 검정 불가능한 질문을 각각 홀드아웃한 challenge split이 필요하다. 또한 실제 과제에서 Fisher-R1이 맞고 기준 모델이 틀린 사례와 함께, 합성 규칙에 익숙한 행동 때문에 실패한 사례를 공개해야 한다. 오류를 method selection, assumption diagnosis, code execution, 수치 추출, 결론 해석으로 나누면 synthetic training이 어느 단계까지 전이되고 어디서 끊기는지 알 수 있다.

7.4 human review가 여전히 필요한 이유

저자들은 P-Bench와 Fisher-R1을 인간 통계 검토의 대체재가 아닌 evaluation and oversight tool로 공개한다고 명시한다. 이 안전선은 부수적인 면책 문구가 아니다. 통계 에이전트가 매끄러운 코드, 정확해 보이는 숫자, 전문적인 해석을 함께 출력하면 약한 주장에 오히려 거짓 정당성을 부여할 수 있기 때문이다. P-Bench에서 성능이 높다는 사실은 새로운 연구 질문의 과학적 가치, 변수 정의의 타당성, 인과적 식별 가정, 데이터 수집 편향, 임상적 중요성을 자동으로 보증하지 않는다.

여기서 benchmark 제작 과정의 expert audit와 배포 후 분석 결과의 human review를 혼동하면 안 된다. 전자는 과제의 요청·공개 데이터 부분집합·answer key가 출처와 맞는지 보장한다. 후자는 사용자의 실제 데이터에서 가정이 성립하는지, 에이전트가 보지 못한 연구 맥락이 있는지, 결과를 외부 의사결정에 써도 되는지 판단한다. Fisher reward가 최종 결론의 일관성은 확인해도 효과량의 실질적 의미, 신뢰구간 해석, 사전 분석 계획 위반, 데이터 누출, 윤리적 제한을 모두 채점하는 것은 아니다.

운영에서는 모든 출력을 사람이 처음부터 다시 분석하는 방식보다 위험 기반 escalation이 현실적이다. 기준 사양 사이 결론이 갈리거나, p-값이 임계값 근처이거나, 에이전트가 여러 차례 방법을 바꾸거나, 가정 진단이 불완전하거나, 관찰 연구에서 인과 표현을 사용할 때 human review를 강제할 수 있다. 에이전트에는 “한 검정으로 답할 수 없음”과 “판단 보류”를 정상적인 출력으로 허용해야 한다. 저자들이 향후 과제로 가정의 명시적 정당화, 방법 선택 불확실성 정량화, 단일 검정이 부적절한 질문의 인식을 든 것도 자동화의 목표가 무조건 답을 내는 것이 아님을 보여 준다.

7.5 비용과 실행 환경이 만드는 재현성 한계

Fisher-R1의 신뢰성은 언어 모델만의 속성을 넘어 실행 환경을 포함한 시스템 속성이다. 실험은 통계 패키지의 canonical implementation이 성숙했다는 이유로 고정된 R 환경을 사용한다. 생존분석, 혼합효과모형, 도구변수 추정, 강건·순위 기반 검정에서 survival, lme4, rms, AER를 중심으로 표준화한 선택은 전문가 검증을 쉽게 한다. 반대로 Python, Stata, SAS나 다른 R package·version에서는 자유도 보정, link parameterization, robust variance 기본값이 달라질 수 있다. 따라서 성능을 다른 분석 생태계에 그대로 이식하려면 backend별 정합성 검증이 필요하다.

학습 비용도 가볍지 않다. SFT는 최대 8,192 token으로 3 epoch를 수행하고, RL은 prompt 최대 2,048 token, response 최대 4,096 token, rollout group size 8로 1 epoch를 수행한다. 모든 학습과 평가는 141GB HBM을 가진 NVIDIA H200 GPU들로 구성된 단일 node에서 실행됐으며, 14B 모델의 전체 RL run은 약 36시간이 걸렸다. 다만 논문은 그 node의 GPU 개수, 총 GPU-hour, 전력 사용량, 금액 비용을 보고하지 않는다. 이 정보가 없으면 소규모 연구실이 동일 학습을 재현할 수 있는지, 성능 향상 대비 계산 효율이 어떤지 정확히 비교하기 어렵다.

데이터와 평가 생성에도 외부 모델 의존성이 남는다. 4,611개 SFT teacher trajectory는 Claude Sonnet 4.6으로 생성됐고, 품질 필터 뒤 3,851개, 약 83.5%가 유지됐다. 합성 simulation template 초안도 같은 모델이 작성했으며 저자들이 구문과 parameter slot을 점검했다. 일반화 분석에는 OpenAI의 임베딩 모델을 사용했다. Fisher-R1 자체가 open-weight라는 사실과 학습 자산 전체가 특정 폐쇄형 서비스 없이 재생성 가능하다는 주장은 같지 않다. 장기 재현성을 위해서는 teacher 호출 기록, template version, package lockfile, sandbox image, 실패한 생성물과 필터 사유까지 버전으로 묶어야 한다.

평가 비용 역시 최종 점수만 보면 가려진다. 각 P-Bench 과제는 3개의 독립 rollout을 실행하고 pass@1과 pass@3를 계산한다. pass@3는 세 번 중 한 번 성공하면 해결로 세므로, 대화형 서비스에서 한 번만 실행할 때 체감하는 신뢰성과 다를 수 있다. 코드 실행 시간, package 설치·로딩, 오류 수정 turn까지 포함하면 토큰 비용만으로 latency를 설명할 수도 없다. 실제 배포 비교에서는 task당 성공률과 함께 wall-clock time, 실행 실패율, R process 격리 비용, 최대 turn 도달률, GPU 및 CPU 사용량을 보고해야 한다.

7.6 향후 연구: 정답 수치에서 의사결정 계보로

가장 중요한 확장은 과제의 출력 schema를 넓히는 일이다. 단일 p-값과 이진 결론에 더해 estimand, 효과량, 신뢰구간, 가정 목록, 진단 결과, 대안 사양, 다중 비교 family, 보정 규칙, 선택 이유를 구조화해야 한다. 그러면 reward도 기준값 근접도 하나에 머물지 않고 사양 일치, 가정-진단 정합성, 강건성, 불확실성 보고, 적절한 abstention을 조합할 수 있다. 핵심은 자유 서술 LLM judge로 되돌아가기보다, 가능한 부분은 실행 로그와 규칙으로 계속 검증하면서 정답 공간을 넓히는 것이다.

평가 설계도 단일 성공률에서 위험 프로파일로 이동해야 한다. false discovery와 false non-discovery의 비용이 다른 과제, 임계값 근처 과제, 방법 선택이 갈리는 과제, 어떤 단일 검정도 부적절한 과제를 별도로 측정할 필요가 있다. Fisher-R1이 언제 자신 있게 틀리는지, 추가 rollout이 오류를 줄이는지 아니면 같은 편향을 반복하는지, 다른 backend에서도 결론이 유지되는지까지 보여 줘야 한다. 이 수준의 검증이 갖춰져야 통계 에이전트는 답안을 만드는 도구를 넘어 분석 파이프라인을 감시하는 구성요소가 될 수 있다.

8. 내 해석: 기준 분석 하나로 보상하는 설계의 경계

8.1 운영자가 보는 두 종류의 검증

나는 연구 분석 서비스를 운영하는 입장에서 Fisher-R1을 이전에 다룬 LLM-as-a-Verifier와 같은 “검증 모델”로 묶지 않는다. 이전 논문은 score granularity·repeated evaluation·criteria decomposition의 예산을 늘리는 verifier scaling으로 후보 궤적을 평가했다. 반면 Fisher-R1은 실행된 기준 분석의 p-값과 결론에 대조하는 rule-based outcome reward를 쓴다. 전자는 판정기의 해상도를 키우고, 후자는 기계적으로 확인 가능한 통계 결과를 정책 학습 신호로 만든다.

8.2 약점 하나

내가 보는 핵심 약점은 타당한 분석이 여러 개인 상황에서도 보상의 중심이 기준 분석 하나라는 점이다. 방법 정답 항을 빼 다양성을 인정했지만, 실제 reward는 기준 p-값과 가까울수록 높다. 나는 이 구조를 재현성 훈련에는 강하지만 방법 불확실성을 다루는 장치로는 불완전하다고 본다. 운영 중 대안 사양이 더 강건해도 숫자가 멀다는 이유로 낮게 평가될 수 있기 때문이다.

8.3 후속 제안 하나

내가 제안할 후속은 다중 기준 분석 집합과 불일치 기반 보류를 하나의 평가 프로토콜로 만드는 것이다. 전문가가 승인한 사양 여러 개를 실행해 허용 결과 구간을 만들고, 에이전트 궤적이 어느 사양과 일치하는지 채점한다. 사양별 결론이 갈리면 보상을 억지로 하나로 압축하지 않고 사람 검토로 넘긴다. 이렇게 하면 Fisher-R1의 규칙 기반 검증 가능성을 유지하면서, 이전 verifier scaling의 반복 판정과 다른 종류의 통계적 불확실성을 운영 정책에 반영할 수 있다.

9. 결론: 검증 가능한 통계 보상이 바꾼 에이전트 신뢰성

9.1 논문이 입증한 범위

이 연구의 직접적인 결론은 현재의 강한 coding agent도 open-ended hypothesis testing에서 안정적으로 타당한 수치를 내지 못하며, 실행 가능한 answer key를 이용한 목적형 훈련이 그 약점을 상당 부분 줄일 수 있다는 것이다. P-Bench는 실제 과학 자료에서 만든 425개 과제를 Easy 203개와 Hard 222개로 나누고, 17개 방법 범주를 포함한다. 결론 방향만 보는 Raw와 기준 p-값에 가까워야 하는 Strict를 분리함으로써 “기각 여부는 맞았지만 계산 근거는 다르다”는 실패를 드러낸다.

가장 중요한 결과는 모델 크기만으로 설명하기 어려운 개선이다. 7B backbone에서 P-Easy Raw pass@1은 61.4에서 87.0으로, Strict pass@1은 36.3에서 65.7로 상승했다. P-Hard에서는 Raw pass@1이 37.5에서 63.4로, Strict pass@1이 13.2에서 30.6으로 높아졌다. Fisher-R1-14B는 P-Hard Strict에서 pass@1 33.0, pass@3 45.5를 기록했다. GPT-5.4의 같은 수치 30.5와 39.2보다 높지만, P-Easy Raw pass@1에서는 GPT-5.4가 92.9로 Fisher-R1-14B의 87.4보다 높다. 따라서 “모든 통계 과제에서 frontier model을 이겼다”로 요약하기보다, 지정된 P-Bench Strict 지표 다수에서 목적형 학습이 강한 비교 모델을 앞섰다고 읽어야 한다.

9.2 실제 의미는 모델보다 보상 인터페이스에 있다

Fisher-R1의 핵심은 통계 지식을 prompt에 더 많이 적은 것이 아니다. 합성 데이터 생성 단계에서 canonical analysis를 실제로 실행해 answer key를 만들고, 정책 rollout도 R 환경에서 코드를 실행하며, 최종 보상은 보고된 p-값과 결론을 그 실행 결과에 대조한다. fluent explanation이나 judge의 호감도 대신 외부 계산으로 확인되는 outcome이 학습 신호가 된다. SFT만으로는 pass@1이 일관되게 개선되지 않았고, backbone에 DAPO만 적용한 결과도 SFT와 DAPO를 결합한 전체 모델보다 낮았다는 ablation은 좋은 궤적의 초기 분포와 결과 기반 최적화가 함께 필요함을 보여 준다.

이 설계가 실무에 주는 의미는 자동 통계가 곧 자율 과학이라는 주장이 아니다. 오히려 자동화할 수 있는 검증 경계를 더 정확히 찾았다는 데 있다. 실행 로그에서 수치를 회수하고, 사전에 정의된 기준과 비교하고, 결론과 수치의 정합성을 검사하는 부분은 규칙 기반 reward로 강하게 만들 수 있다. 반면 어떤 질문을 물어야 하는지, 기준 분석이 적절한지, 여러 사양 중 무엇을 채택할지, 효과가 과학적으로 중요한지는 여전히 더 넓은 판단을 요구한다.

9.3 신뢰성 향상과 신뢰 위임은 다르다

P-Hard에서 모든 모델의 Strict 점수가 Raw보다 크게 낮다는 사실은 결론 문장만 채점하는 관행의 위험을 보여 준다. GPT-5.4의 P-Hard pass@1은 Raw 58.3이지만 Strict 30.5다. Fisher-R1이 이 간극을 줄인 것은 분명한 진전이지만, Fisher-R1-14B의 P-Hard Strict pass@1 33.0은 한 번의 rollout을 무검토로 신뢰할 수준이라는 뜻이 아니다. pass@3 45.5 역시 세 번 시도 중 하나의 성공률이며, 실제 운영자가 성공한 시도를 answer key 없이 자동 식별할 수 있는지는 별도 문제다.

그러므로 이 연구의 적절한 결론은 “에이전트가 통계가를 대체한다”보다 “검증 가능한 결과 보상이 통계 reasoning의 특정 병목을 개선한다”에 가깝다. P-Bench는 그 병목을 재현 가능한 형태로 측정했고, Fisher-R1은 합성 과제의 rule-based outcome reward가 실제 과제로 전이될 수 있음을 보였다. 다음 진전은 더 큰 단일 점수보다 다중 검정, 대안 사양, 불확실성, abstention, human escalation까지 같은 실행 계보 안에 넣는 일이다. 그때 에이전트 신뢰성은 평균 정확도만으로는 부족하며, 무엇을 검증했고 무엇은 아직 사람이 판단해야 하는지 명확히 말할 수 있는 능력으로 평가될 것이다.

10. 요약 정리: P-Bench와 Fisher-R1의 핵심 포인트

• 평가 대상: P-Bench는 실제 경제학·생물학·의학 자료에 기반한 open-ended hypothesis-testing 과제 425개로 구성되며, Easy 203개와 Hard 222개를 분리한다. 에이전트는 방법을 지정받지 않고 R sandbox에서 분석을 실행한 뒤 p-값과 기각 또는 기각 실패 결론을 보고해야 한다.
• 검증된 answer key: 정답은 논문 문장을 옮긴 값 대신 canonical reference code의 logged run에서 읽은 결과다. 출판 주장과 교차 확인하고 전문가가 요청·데이터 부분집합·정답의 정합성을 감사하지만, 하나의 reference analysis가 모든 방어 가능한 사양을 대표한다는 뜻은 아니다.
• 범위와 구성: P-Bench는 17개 검정 방법 범주를 다루고 어느 한 범주도 19%를 넘지 않는다. outlier, heteroskedasticity, clustered observation 같은 함정을 포함하지만, 현재 각 과제는 단일 검정이므로 multiple comparison과 선택적 분석을 포함한 전체 파이프라인은 평가하지 않는다.
• 학습 데이터: Fisher-R1은 P-Bench와 구분되는 8,642개의 합성 실행 과제로 학습한다. 합성 taxonomy는 27개 방법과 도메인 시나리오·표본 크기·효과 크기·prompt style·seed를 조합하며, Claude Sonnet 4.6이 만든 4,611개 teacher trajectory 중 3,851개, 약 83.5%가 필터를 통과해 SFT에 사용됐다.
• 보상 방식: 유효한 reasoning, 실행 코드, 파싱 가능한 최종 답을 hard format gate로 요구하고, p-값의 양측 z-척도 근접도에 0.9, 유의수준 0.05에서의 결론 일치에 0.1을 둔다. 이는 LLM judge를 확장하는 verifier scaling과 구분되는, 정답 실행에 대조하는 rule-based outcome reward다.
• 평가 지표: Raw는 결론 방향 일치만 보고, Strict는 여기에 |z(p_hat)-z(p*)| < 0.5를 추가한다. 과제마다 3개 독립 rollout을 실행해 평균 단일 시도 성공률 pass@1과 세 번 중 하나라도 성공한 pass@3를 보고하므로 두 지표의 운영 의미를 구분해야 한다.
• 주요 성능: Fisher-R1-14B는 P-Hard Strict에서 pass@1 33.0, pass@3 45.5로 GPT-5.4의 30.5와 39.2를 앞선다. 다만 P-Easy Raw pass@1은 GPT-5.4가 92.9, Fisher-R1-14B가 87.4이므로 결과는 P-Bench의 세부 지표별 우위로 해석해야지 전면적 대체로 과장하면 안 된다.
• 남은 과제: 단일 검정을 multi-test pipeline으로 확장하고, multiple-comparison correction, 승인된 대안 분석 집합, 가정의 명시적 정당화, 방법 선택 불확실성, “단일 검정으로 답할 수 없음”이라는 abstention, 위험 기반 human review를 실행 로그와 함께 평가하는 것이 다음 단계다.