[arXiv 2607.21552] MIRROR: 다른 관점에서 배우는 멀티모달 추론

MIRROR: Learning from the Other View for Multi-Modal Reasoning

https://arxiv.org/abs/2607.21552

Wen Ye, Yuxiao Qu, Aviral Kumar, Xuezhe Ma | University of Southern California, Carnegie Mellon University | arXiv:2607.21552v1 | 2026년 7월 23일

---

1. 서론: 같은 기하 문제도 표현 관점에 따라 달라지는 추론

1.1 문제는 같지만 추론 경로는 같지 않다

arXiv 2607.21552의 제목은 MIRROR: Learning from the Other View for Multi-Modal Reasoning이며, 저자들은 비전-언어 모델의 기하 추론을 입력 표현의 관점에서 다시 묻는다. 여기서 중요한 전제는 수학 문제가 바뀌지 않았고, 같은 관계를 텍스트로 읽는지 도형에서 복원하는지에 따라 모델의 행동이 바뀐다는 사실이다. 따라서 이 연구가 다루는 실패는 단순히 “어려운 문제를 틀렸다”는 현상보다 구체적인 view-dependent grounding and reasoning failure다. 또한 이 글에서 논문은 2026년 공개된 arXiv 프리프린트로만 다루며, 원문의 NeurIPS 2026 양식 사용을 학회 채택 사실로 해석하지 않는다.

저자들의 출발점은 VLM이 멀티모달 추론에서 발전했어도 정보가 제시되는 방식에 매우 민감하다는 관찰이다. 관계와 수치가 문장에 명시되면 풀 수 있던 모델이 같은 관계를 그림에서 읽어야 할 때 실패할 수 있고, 반대로 텍스트에서는 놓치던 공간 구조를 도형에서는 즉시 활용할 수 있다. 첫 경우의 병목은 시각 객체와 관계를 복원하는 grounding에 가깝고, 두 번째 경우의 이점은 도형이 구조를 지각적으로 두드러지게 만든다는 데 있다. 결국 텍스트와 이미지 사이에 일률적인 우열이 있기보다, 문제별 병목이 어느 표현에 놓이는가가 성공 여부를 가른다.

기하는 이 현상을 통제해 관찰하기에 적합한 시험대다. 동일한 수학적 구조를 관계가 언어로 열거된 입력, 필수 관계가 그림에 담긴 입력, 그리고 두 정보가 함께 주어진 입력으로 표현할 수 있기 때문이다. 시각 입력이 언어에는 존재하지 않는 완전히 새로운 장면 정보를 제공하는 일반적 VQA와 달리, 이 설정은 가능한 한 동일한 잠재 문제의 여러 view를 비교하려 한다. 그 덕분에 난도나 정답은 고정한 채 표현 변화가 추론 궤적과 정답률에 미치는 영향을 분리해 볼 수 있다.

이 관찰의 흥미로운 점은 inconsistency를 오직 결함으로만 보지 않는 데 있다. 같은 모델이 한 관점에서는 실패하고 다른 관점에서는 올바른 풀이를 드러낸다면, 성공한 관점에는 약한 관점을 가르칠 수 있는 정보가 이미 모델 내부에 존재한다. 저자들은 이 비대칭을 추가 정답 풀이가 필요 없는 자기지도 신호로 전환한다. MIRROR의 질문은 결국 “외부의 더 큰 teacher를 어디서 구할 것인가”보다, 같은 모델의 다른 조건부 분포 가운데 어느 것을 이 문제의 teacher로 삼을 것인가다.

1.2 세 가지 view와 상보적인 추론 병목

논문은 한 문제의 표현을 세 범주로 구분한다. text-dominant view에서는 수치와 관계가 언어로 열거되고, image-dominant view에서는 도형이 핵심 기하 정보를 운반하며 동반 텍스트는 주로 질문을 지정한다. combined view는 text-dominant prompt와 image-dominant view의 이미지를 함께 조건으로 제공한다. 세 입력은 서로 다른 문제 세 개가 아닌 동일한 pair identifier와 정답을 공유하는 한 문제의 대안적 표현이다.

text-dominant 조건의 장점은 관계를 시각적으로 다시 읽는 단계를 줄인다는 것이다. 길이, 수직 관계, 점 사이의 조건이 문장에 직접 나타나면 모델은 그 명시적 관계를 따라 전개할 수 있고, 도형의 눈금이나 배치를 오독하는 오류를 피할 수 있다. 그러나 언어가 관계를 순차적으로 나열한다고 해서 전체 구조가 자동으로 두드러지는 것은 아니므로, 모델이 유용한 교차선이나 대칭 구조를 놓치고 수치 탐색으로 후퇴할 수 있다. 즉 텍스트는 지각 병목을 낮추지만 구조적 통찰까지 보장하지는 않는다.

image-dominant 조건에서는 먼저 점, 선, 각, 교차, 길이 표시 같은 시각 요소를 식별하고 관계를 grounding해야 한다. 이 단계가 잘못되면 이후의 대수 전개가 논리적으로 그럴듯해도 출발 조건 자체가 틀리며, 논문의 사례에서는 반원의 지름이나 등길이 표시를 잘못 읽는 오류가 나타난다. 반면 배치가 핵심인 문제에서는 그림이 네 점의 연결 구조처럼 텍스트에서 흩어진 정보를 한눈에 드러내어 더 짧고 타당한 풀이를 유도한다. 따라서 이미지는 추가 오류원을 만들면서 동시에 텍스트에 없는 시각적 salience를 제공한다.

combined view는 단순히 “정보가 많으니 항상 최고”인 oracle로 정의되지 않는다. 이 관점은 시각 구조와 명시적 문장 관계를 함께 조건으로 삼아, 한 restricted view에서 빠진 단서를 다른 view로 확인할 가능성을 제공한다. 실제 pilot에서도 combined 입력의 평균 pass@1은 text-dominant보다 낮았고, 문제별 최고 view가 되는 비율도 세 후보 중 가장 작았다. 그럼에도 일부 문제에서만큼은 두 restricted view의 병목을 함께 완화하므로, 항상 쓰는 학생 입력보다는 필요할 때 선택할 수 있는 teacher 후보로 가치가 있다.

Figure 1: MIRROR 전체 학습 구조

Figure 1이 요약하는 핵심 흐름은 세 view를 모두 학생에게 넣어 중복 정보에 의존하게 만드는 방식과 다르다. 현재 모델이 각 문제에서 어느 view로 가장 잘 성공하는지 평가하고, 그 view의 조건부 분포를 더 약한 restricted student view에 대한 지침으로 사용한다. 학생의 실제 rollout은 여전히 text-dominant 또는 image-dominant 입력에서 나오며, teacher는 동일한 학생 토큰을 다른 관점에서 재평가한다. 이 분리는 teacher의 더 풍부한 조건과 학생이 실제로 사용할 수 있는 제한된 조건을 혼동하지 않게 한다.

1.3 cross-view inconsistency를 자기지도로 바꾸는 설계

MIRROR는 Modality-Informed Reciprocal Reasoning Optimization의 약자다. “Reciprocal”이라는 이름처럼 지식 전달 방향은 text에서 image로 고정되지 않고, image에서 text로 갈 수도 있으며 combined에서 restricted view로 갈 수도 있다. 각 문제에서 현재 정책이 보이는 성공률을 이용해 teacher 방향을 온라인으로 다시 정하기 때문에, 전역적으로 가장 강한 modality 하나를 미리 지정하지 않는다. 이 문제별 선택이 평균 성능만 보고 text를 늘 teacher로 삼을 때 사라지는 비텍스트 강점을 보존한다.

학습 목적은 두 신호를 결합한다. 첫째, restricted-view 학생이 최종 정답을 맞히도록 하는 GRPO 방식의 outcome-reward RL이 있고, 둘째, 학생이 직접 방문한 토큰 prefix에서 선택된 teacher view의 선호를 전달하는 cross-modal reverse-KL이 있다. 전자는 정답 여부라는 희소하지만 직접적인 목표를 제공하고, 후자는 각 토큰에서 더 조밀한 안내를 제공한다. MIRROR는 이 둘을 더함으로써 정답 최적화와 관점 간 reasoning preference 전달을 역할별로 분리한다.

중요하게도 MIRROR의 teacher는 별도의 거대 모델이나 외부 풀이 코퍼스가 아니다. teacher view를 고르는 데 사용하는 rollout도 현재 정책에서 생성되며, 선택된 view의 토큰 확률을 계산하는 네트워크는 같은 정책의 EMA 사본이다. 그러므로 자기지도라는 표현은 정답 판별 자체가 사라졌다는 뜻과 다르며, 어느 관점의 reasoning distribution을 가르침으로 쓸지에 외부 teacher가 필요하지 않다는 뜻이다. 최종 답의 correctness를 평가하는 이진 reward는 표준 outcome-reward RL과 마찬가지로 계속 필요하다.

이 설계를 실제로 연구하기 위해 저자들은 ODA-Data를 구축한다. 데이터는 같은 기하 문제에 정렬된 text-dominant와 image-dominant view를 제공하고, combined 입력은 두 자료를 결합해 구성한다. 동일 문제의 정체성을 view 사이에서 보존하므로 단순 정확도와 더불어 한 모델이 두 restricted view에서 일관되게 푸는지도 측정할 수 있다. 이처럼 MIRROR의 기여는 새 modality를 추가하는 데 있지 않고, paired representation의 불일치를 학습 방향으로 바꾸는 목적함수와 업데이트 절차에 있다.

2. 배경 및 관련 연구: 멀티모달 비대칭과 on-policy distillation

2.1 문제, view, rollout, reward의 기본 정의

논문의 표기에서 post-training 대상 멀티모달 언어 모델은 기본 정책 $\pi_{\mathrm{base}}$와 파라미터 $\theta$로 나타낸다. 문제 x는 분포 $\rho$에서 오며, M(x)는 같은 문제 내용을 표현하는 이용 가능한 view의 집합이다. 중심이 되는 restricted view는 $x^{\mathrm{text}}$와 $x^{\mathrm{img}}$이고, combined view는 $x^{\mathrm{comb}}$ := ($x^{\mathrm{text}}$, $x^{\mathrm{img}}$)로 구성된다. 이 정의는 세 view가 독립 샘플이 아닌 공통된 문제 x에 조건을 달리한 입력임을 명시한다.

어떤 입력 view $\tilde{x}$가 주어지면 모델은 $y\sim\pi(\cdot\mid\tilde{x})$로 풀이 rollout을 생성한다. reward는 중간 논증의 문체보다 최종 답의 correctness로 평가되며, $r(x,y)\in\{0,1\}$인 이진 값이다. 논문은 modality별 성능을 pass@k로 측정하여, 특정 view만 제공되었을 때 k개의 시도 중 문제를 풀 가능성을 본다. 따라서 view 간 비교의 기본 단위는 “같은 정답을 가진 문제에서 어느 조건부 정책이 성공 rollout을 내는가”다.

여기서 pass@1과 teacher 선택용 성공률 추정은 구별해야 한다. pilot의 pass@1은 각 modality가 한 번의 생성 기회에서 보이는 집계 성능을 설명하는 지표인 반면, MIRROR의 온라인 teacher 선택은 각 후보 view마다 K=16개의 rollout을 생성해 그 reward들로 view별 성공률을 추정한다. 즉 평균 pass@1이 가장 높은 modality를 모든 문제에 고정하는 절차가 아니다. teacher 결정은 동일 문제 안의 세 후보를 K개 샘플로 비교하는 문제별 온라인 선택이다.

student view와 candidate teacher view의 범위도 서로 다르다. 학생 RL은 정보 중복이 없는 restricted 입력인 text-dominant 또는 image-dominant에서 수행되지만, teacher 후보 집합은 text, image, combined 세 개다. combined를 학생의 기본 학습 조건으로 삼지 않는 이유는 restricted 입력에서 실제로 풀 수 있어야 한다는 목표를 유지하기 위해서다. 반대로 combined를 후보에서 빼지 않는 이유는 두 제한 관점이 모두 불안정한 문제에서 공동 조건이 더 나은 reasoning preference를 제공할 수 있기 때문이다.

2.2 ODA pilot이 드러낸 평균 성능과 문제별 teacher의 차이

저자들은 먼저 Qwen3-VL-4B-Instruct의 base behavior를 ODA-Data에서 분석한다. ODA-Data는 OpenDataArena/ODA-Math-460k의 기하 문제에서 출발해 쉬운 문제를 거르고, TikZ 도형을 생성·검증하며, 이미지에 이미 나타난 정보를 image-dominant prompt의 텍스트에서 제거하는 과정을 거친다. 이후 base model이 두 restricted view 모두에서 안정적으로 푸는 항목을 제외하고 한 관점에서는 풀지만 다른 관점에서는 풀지 못하는 사례를 남긴다. 최종적으로 약 2K개의 정렬된 사례가 만들어지고, ODA-Train과 ODA-Val은 85:15로 나뉜다.

이 필터링 때문에 ODA-Val은 일반적인 전체 기하 분포의 무편향 대표 표본보다, cross-view asymmetry와 transfer를 진단하도록 설계된 benchmark다. 데이터 구축 중 도형 생성과 판정에는 원문이 밝힌 Gemini-3-Pro-Preview가 사용되며, 최종 paired example은 원문 문제, 생성 도형, 두 dominant prompt, 정답 annotation과 modality별 rollout metadata를 갖는다. combined view는 분석과 학습에서 text-dominant prompt에 image-dominant 이미지를 결합해 제공된다. 그러므로 아래 pilot 수치는 이 선별된 ODA-Train의 base-model 분석이라는 범위를 벗어나 일반화해서는 안 된다.

Table 1: ODA-Train pilot: modality별 pass@1과 문제별 최고 성능 view 비율

후보 view	Qwen3-VL-4B-Instruct pass@1	문제별 최고 성능 view가 된 비율
text-dominant	29.58%	51.14%
image-dominant	10.54%	37.98%
combined image+text	26.84%	10.88%

표의 두 번째 열만 보면 text-dominant가 29.58%로 가장 강하고 image-dominant는 10.54%로 크게 낮다. 그러나 세 번째 열에서는 image-dominant가 37.98%의 문제에서 최고 view이며, combined도 10.88%의 문제에서 최고가 된다. 두 비텍스트 후보를 합치면 거의 절반의 문제에서 text-dominant가 아닌 관점이 더 나은 supervision source라는 뜻이다. 평균 최강 modality와 문제별 최강 modality가 다르다는 이 간극이 adaptive teacher selection의 직접적인 근거다.

질적 사례도 같은 결론을 뒷받침한다. 네 고정점과 이동점 사이 거리 합을 최소화하는 사례에서는 도형이 교차 구조를 두드러지게 보여 image-conditioned model이 구조적 정답을 찾지만, text-conditioned model은 그 구조를 깨닫지 못하고 수치 탐색으로 간다. 13-14-15 삼각형과 반원 문제에서는 반대로 텍스트가 변 길이를 명시해 지각 병목을 제거하고, 이미지 조건 모델은 반원의 지름을 오독한다. 원 안의 등길이 조건 사례에서는 image-dominant가 AP=AD 표시를 놓치지만 combined가 텍스트 관계로 이를 확인하므로, image에서 text로, text에서 image로, combined에서 image로라는 세 전달 방향이 모두 관찰된다.

이 사례에서 배워야 할 것은 정답 문자열만의 이동이 아니다. image가 더 나은 경우에는 도형이 드러낸 구조적 풀이가 text student에 전달되고, text가 더 나은 경우에는 명시된 관계가 image student의 grounding error를 교정한다. combined가 더 나은 경우에는 시각 배치와 언어 조건을 동시에 참조한 분포가 restricted student의 빠진 단서를 지적한다. 저자들이 원하는 것은 결국 한 view의 출력 문장을 복사하는 대신, 다른 조건부 분포가 학생 자신의 trajectory에 부여하는 token-level preference를 이용하는 것이다.

2.3 멀티모달 RL과 cross-modal transfer의 기존 접근

관련 연구에는 멀티모달 수학 데이터를 확대하거나 전용 benchmark를 구축하는 흐름이 있다. 원문은 Math-LLaVA와 MultiMath-7B 같은 데이터 중심 모델, MATH-Vision과 MathVerse 같은 시각 수학 benchmark, LeanGeo-Bench·GeoInt·GeoGoal 같은 기하 중심 평가를 배경으로 든다. 또한 CROSSMATH는 합성 puzzle의 text-dominant, image-dominant, combined 버전을 맞춰 modality gap을 연구한다. MIRROR는 이 흐름과 달리 데이터 규모 자체보다 paired views를 RL에서 어떤 전달 목적함수로 사용할지에 초점을 둔다.

멀티모달 추론을 위한 RL과 teacher transfer 역시 이미 여러 형태로 연구되어 왔다. 원문은 합성 chain-of-thought와 progressive RL을 쓰는 Vision-R1, 이미지를 텍스트 설명으로 변환한 뒤 SFT와 RL을 수행하는 R1-OneVision, difficulty-aware reward와 KL-regularized GRPO를 쓰는 FAST를 언급한다. 가장 가까운 설정으로 제시된 VOLD는 더 강한 text-only LLM teacher에서 VLM student로 on-policy distillation과 GRPO를 수행한다. 이에 비해 MIRROR의 차별점은 외부의 강한 teacher 대신 동일 모델의 문제별 최강 view에서 supervision을 얻는다는 데 있다.

또 다른 계열은 시각 추론에 명시적 중간 구조를 삽입한다. Act2See는 유용한 시각 관측을 적응적으로 고르고, MathCoder-VL은 image-to-code supervision을 사용하며, 기하 전용 vision encoder나 평면기하 formalization은 시각 primitive와 구조 표현을 강화한다. 이런 방법은 active perception, 코드, symbolic description, formal proof 또는 geometry prior라는 inductive bias를 제공한다. MIRROR는 별도의 중간 표현을 만들기보다 원래의 입력 view를 유지한 채, cross-modal regularization으로 transferable reasoning structure를 내부화하려 한다.

가장 단순한 대안은 같은 문제의 text와 image prompt를 한데 섞어 표준 GRPO를 돌리는 것이다. 이 방식은 각 view를 독립 RL prompt처럼 취급하고, 공유 파라미터 업데이트가 성공 행동을 다른 modality로 자연스럽게 옮겨 주기를 기대한다. 그러나 논문의 single-problem pilot에서는 naive mixed-modality GRPO가 text-dominant와 image-dominant 학생 모두에서 가장 낮은 training reward를 보였고, 각 modality만 학습한 GRPO가 그보다 높았다. 저자들의 해석은 방향이 없는 희소 reward가 이질적인 problem-view pair 사이에서 희석될 수 있으므로, 같이 보여 주는 것만으로는 안정적인 transfer가 생기지 않는다는 것이다.

여기서 mixed-modality GRPO와 MIRROR의 차이는 데이터에 두 view가 함께 존재하느냐가 아니다. 둘 다 같은 underlying problem의 restricted views를 볼 수 있지만, 전자는 성공한 view를 다른 view의 teacher로 연결하는 명시적 항이 없다. MIRROR는 세 후보를 비교해 transfer direction을 정하고, selected view로 student trajectory를 rescore한다. 즉 paired data의 대응관계를 그저 batch에 섞는 방식에서 문제별 조건부 분포를 잇는 학습 신호로 바꾼다.

2.4 on-policy distillation을 MIRROR가 변형하는 방식

표준 behavioral cloning식 distillation은 대개 teacher가 생성한 trace를 student가 모방하게 한다. 이때 student가 실제로 방문하는 상태와 teacher trace의 상태가 달라질 수 있고, 특히 restricted student가 teacher의 더 풍부한 입력에 접근할 수 없다면 teacher trajectory가 의존한 정보를 재현하기 어렵다. On-policy distillation은 student가 자신의 rollout을 생성하게 하고, teacher는 그 student-visited state에서 token-level guidance를 제공함으로써 이 분포 불일치를 줄인다. MIRROR는 바로 이 원리를 서로 다른 modality condition 사이에 적용한다.

MIRROR에서 “on-policy”는 teacher view로 rollout을 샘플링해 student 데이터로 삼는다는 뜻이 아니다. 학습 trajectory y는 restricted input $x^{(m)}$에서 $y\sim\pi_{\theta}(\cdot\mid x^{(m)})$로 나오고, teacher는 같은 y와 같은 prefix $y_{1:t}$를 자신의 selected view 조건에서 채점한다. 따라서 방문 상태의 뼈대는 학생이 정하며, teacher가 학생을 자신의 생성 분포로 끌고 가기 위해 별도의 trace를 주입하지 않는다. 이것이 논문이 강조하는 restricted-view student rollout과 teacher-only rescoring의 조합이다.

기존 on-policy distillation 연구가 외부 teacher, 고정된 teacher pool, privileged context, 여러 전문 모델을 사용할 수 있는 것과 달리 MIRROR는 teacher의 출처와 구조를 바꾼다. 동일한 정책이 한 문제를 서로 다른 표현으로 보았을 때 생기는 성공률 차이를 이용하고, 세 view 중 현재 가장 성공적인 조건을 그 문제의 teacher condition으로 택한다. teacher view는 base model 분석에서 미리 고정되지 않고 학습 중 계속 바뀔 수 있다. 따라서 이 방법은 model-specific하고 problem-specific하며 training-time adaptive한 self-teacher를 만든다.

다만 “동일 모델”이라는 말은 update 순간의 student 파라미터와 teacher 파라미터가 완전히 같다는 뜻은 아니다. 어떤 view를 선택할지는 현재 정책의 rollout reward가 결정하지만, selected view에서 학생 토큰의 log-probability를 계산하는 것은 느리게 움직이는 EMA teacher $\pi_{\bar{\theta}}$다. 이 분리는 self-distillation target이 매 step 학생과 동시에 흔들리는 현상을 줄이기 위해 도입된다. 결국 MIRROR는 view 선택은 current policy, token rescoring은 EMA copy, gradient는 student log-probability에 맡기는 세 역할을 구분한다.

이 배경을 바탕으로 보면 MIRROR의 핵심은 “강한 답을 골라 imitation한다”보다 더 세밀하다. 성공률은 teacher의 조건을 고르는 outcome-level routing signal이고, reverse-KL은 학생이 만든 token sequence 위에 적용되는 dense guidance이며, GRPO는 restricted condition에서 최종 정답을 직접 최적화한다. 세 요소 중 하나만 남기면 문제별 방향 선택, on-policy state coverage, 정답 지향성 가운데 일부가 사라진다. 다음 방법론에서는 teacher selection, restricted rollout, GRPO와 reverse-KL, EMA update가 Algorithm 1에서 어떻게 한 loop로 이어지는지 살펴본다.

3. 방법론: 다른 관점을 teacher로 선택하는 MIRROR

3.1 문제별 best-modality teacher view 선택

각 문제 x에 대한 candidate set은 $\mathcal{M}=\{\mathrm{text},\mathrm{img},\mathrm{comb}\}$이다. 세 입력은 $x^{\mathrm{text}}$, $x^{\mathrm{img}}$, $x^{\mathrm{comb}}$ = ($x^{\mathrm{text}}$, $x^{\mathrm{img}}$)로 쓰며, current policy는 각 후보 j에서 K=16개의 rollout을 생성한다. 각 rollout의 최종 답을 이진 reward로 채점하고, 그 결과로 view-specific success rate를 추정한다. 가장 높은 성공률을 낸 $j^{\star}$(x)를 선택하며, 동률은 균등 무작위로 해소한다.

$$\pi_{\mathrm{teach}}(\cdot\mid x)=\pi_{\bar{\theta}}(\cdot\mid x^{(j^\star(x))})$$

위 정의에서 자주 혼동되는 부분은 selection model과 teacher scoring model의 구별이다. $j^{\star}$(x)를 고르는 성공률은 current policy의 온라인 rollout으로 계산하지만, 선택 뒤의 teacher distribution은 selected input에 조건화된 EMA model $\pi_{\bar{\theta}}$다. 다시 말해 text가 이 문제에서 이겼다는 판단은 현재 정책의 reward가 내리고, text 조건에서 학생 토큰을 얼마나 선호하는지는 EMA 파라미터가 평가한다. 이 때문에 teacher는 고정된 base model도 아니고, 매 step 즉시 같은 폭으로 움직이는 current student도 아니다.

teacher direction은 문제마다 독립적으로 선택되고 학습 내내 적응할 수 있다. 어떤 문제에서는 text가 image student를 가르치고, 다른 문제에서는 image가 text student를 가르치며, 두 제한 관점이 모두 약하면 combined가 둘 중 하나를 가르칠 수 있다. 평균적으로 text가 강하다는 pilot 결과를 global routing rule로 바꾸지 않는 것이 중요하다. MIRROR가 이용하는 신호는 modality의 고정 서열보다 동일 모델 안에서 관측되는 problem-view heterogeneity다.

Algorithm 1은 paired row가 같은 minibatch와 같은 data-parallel rank에 놓이도록 sampler를 구성한다. 각 row x에는 같은 문제의 paired restricted view $x^{\mathrm{pair}}$가 있고, fixed combined input $x^{\mathrm{comb}}$도 함께 연결된다. minibatch 시작 시 $\pi_{\mathrm{old}}\leftarrow\pi_{\theta}$로 snapshot을 만든 뒤 current row, paired row, combined view의 rollout reward를 비교한다. 이 배치 정렬은 같은 문제의 세 후보를 동일 update에서 비교하기 위한 실행 조건이다.

계산 측면에서 text-dominant와 image-dominant candidate rollout은 별도의 teacher 검색만을 위해 새로 만들지 않는다. 두 restricted view의 K개 생성은 이미 standard online GRPO rollout으로 필요하므로 teacher selection에도 재사용된다. 추가 생성은 combined view의 K개 rollout이며, 이 rollout은 candidate scoring에는 쓰이지만 restricted student의 표준 GRPO trajectory로 바뀌지는 않는다. 따라서 candidate generation과 student policy update에 쓰이는 rollout 집합을 구분해야 한다.

Algorithm 1에는 main-text 요약에서 놓치기 쉬운 예외도 명시되어 있다. 특정 row의 최고 후보가 바로 그 row의 현재 student view와 동일하면 해당 x를 reverse-KL loss에서 제외한다. 이 경우에는 “다른 관점”에서 가져올 cross-modal guidance가 없으므로 같은 condition을 teacher와 student 양쪽에 놓은 self-regularization을 추가하지 않는다. 그러나 그 row의 standard rollout과 reward는 여전히 GRPO outcome loss 계산에 참여하므로, 제외되는 것은 reverse-KL 항뿐이다.

3.2 restricted-view student rollout과 GRPO outcome loss

학생이 학습할 restricted view는 $m\in\{\mathrm{text},\mathrm{img}\}$로 한정된다. 학생은 $x^{(m)}$만 입력받아 $y\sim\pi_{\theta}(\cdot\mid x^{(m)})$를 생성하며, selected teacher가 combined view를 사용하더라도 학생 입력에 combined 정보를 복사하지 않는다. 이 제약은 test-time에 한 restricted view만 주어져도 문제를 풀 수 있는 능력을 직접 학습하게 한다. 따라서 teacher의 privileged condition은 student prompt가 아닌 loss를 계산하는 비교 조건으로만 존재한다.

이론적 목적함수는 outcome-reward RL과 reverse-KL의 가중합으로 정의된다. $\lambda_{\mathrm{KL}}\ge0$은 teacher guidance의 세기를 조절하고, 본문의 기본 구현 설정은 $\lambda_{\mathrm{KL}}$=0.01이다. 첫 항은 restricted student view에서 final-answer correctness를 높이며, 두 번째 항은 selected teacher view가 같은 학생 토큰에 주는 선호를 전달한다. 논문 원문의 식 (1)은 다음과 같다.

$$\mathcal{L}(\theta;m)=\mathcal{L}_{\mathrm{RL}}(\theta;m)+\lambda_{\mathrm{KL}}\mathcal{L}_{\mathrm{rKL}}(\theta;m)$$

$\mathcal{L}_{\mathrm{RL}}$은 GRPO-style on-policy objective다. Algorithm 1에서 각 minibatch마다 $\pi_{\mathrm{old}}$를 current policy로 설정하고, text 또는 image의 standard row에서 prompt당 K개 rollout을 샘플링한 뒤 $r_i=R(x,y_i)$를 계산한다. 이 standard rollout reward 집합 $\{r_i\}$로 GRPO advantage를 만들고, $\pi_{\theta}$, $\pi_{\mathrm{old}}$, frozen reference policy $\pi_{\mathrm{ref}}$와 해당 rollout을 사용해 $\mathcal{L}_{\mathrm{GRPO}}$를 구한다. 즉 outcome signal의 근거는 restricted view에서 생성된 학생의 최종 답 correctness이며, teacher rollout reward가 학생 advantage로 대체되는 것이 아니다.

원문의 방법 절은 GRPO 항을 별도의 clipping 수식으로 재정의하지 않고, final-answer correctness를 최적화하는 standard GRPO-style term으로 둔다. Algorithm 1도 구체적인 새 GRPO 변형을 제안하지 않으며, $\pi_{\mathrm{old}}$와 $\pi_{\mathrm{ref}}$를 포함한 standard rollout update라고 명시한다. 그러므로 MIRROR의 새로움은 outcome objective의 공식을 바꾸는 데 있지 않고, 그 옆에 문제별 selected teacher의 reverse-KL을 결합하는 데 있다. 논문에 없는 별도 advantage 정규화식이나 clipping 식을 MIRROR 고유 정의처럼 덧붙이면 방법을 과도하게 재구성하게 된다.

GRPO와 reverse-KL은 같은 student trajectory를 보지만 질문이 다르다. GRPO는 전체 rollout의 마지막 답이 맞았는지에서 group-relative 학습 신호를 만들고, reverse-KL은 그 rollout의 각 prefix에서 teacher condition이 다음 sampled token을 얼마나 지지하는지 묻는다. 전자가 희소한 outcome-level 방향을 제공한다면 후자는 token-level로 더 조밀한 조건부 차이를 제공한다. 이 상보성 때문에 MIRROR는 정답 보상만으로 transfer가 자동 발생할 것이라고 기대하지 않으면서도, teacher preference만 좇아 최종 correctness를 잃지 않는다.

restricted rollout 원칙은 off-policy teacher imitation을 피하는 핵심 장치다. combined teacher가 학생에게 보이지 않는 관계를 활용해 완성한 별도 풀이를 그대로 학습시키면, image-only 또는 text-only 학생이 재현할 수 없는 상태를 따라가야 할 수 있다. MIRROR는 그런 teacher-generated trajectory를 student batch로 넣지 않고, 학생이 자기 입력에서 실제로 생성한 prefix만 teacher에게 보여 준다. 따라서 guidance가 평가되는 위치는 항상 student-visited states이며, 다른 view는 그 위치에서의 호환성을 알려 줄 뿐이다.

3.3 cross-modal reverse-KL의 정확한 계산

reverse-KL을 계산할 때 먼저 restricted student view에서 rollout y를 하나 얻는다. 그다음 이 student-generated token sequence를 고정하고, 각 prefix $y_{1:t}$에서 실제로 샘플된 다음 토큰 $y_{t+1}$의 log-probability를 두 condition으로 계산한다. 학생 항은 $x^{(m)}$에 조건화된 $\pi_{\theta}$이고, teacher 항은 selected view $x^{(j^\star(x))}$에 조건화된 $\pi_{\bar{\theta}}$다. 비교 대상 토큰과 prefix는 같고 입력 view와 model parameter의 역할만 다르다.

$$\mathcal{L}_{\mathrm{rKL}}(\theta;m)=\mathbb{E}_{x,\,y\sim\pi_{\theta}(\cdot\mid x^{(m)})}\left[\sum_{t=1}^{|y|-1}\left(\log\pi_{\theta}(y_{t+1}\mid x^{(m)},y_{1:t})-\log\pi_{\bar{\theta}}(y_{t+1}\mid x^{(j^\star(x))},y_{1:t})\right)\right]$$

식 (2)의 방향은 restricted-view student에서 selected-view teacher로 가는 reverse-KL style objective다. 기대값의 y가 student policy $\pi_{\theta}(\cdot\mid x^{(m)})$에서 샘플되므로, 위 log-ratio 합은 student distribution 아래에서 평가되는 Monte Carlo 추정이다. 최적화에서는 학생이 자신의 sampled token에 부여한 log-probability와 teacher가 같은 token에 부여한 log-probability의 차이를 줄인다. teacher의 별도 sequence에 cross-entropy를 거는 방식과 다르다는 점이 방향을 이해하는 핵심이다.

“cross-modal”이라는 말은 token vocabulary가 modality마다 다르다는 뜻이 아니다. 생성 sequence는 공통 언어 토큰 y이지만, 그 토큰의 타당성을 판단하는 context가 student의 restricted view와 teacher의 selected view로 다르다. 예를 들어 image teacher와 text student를 비교할 때 prefix는 text student가 만든 그대로 유지되고, teacher는 이미지 조건과 같은 prefix 아래에서 다음 토큰을 rescore한다. 따라서 transfer는 같은 reasoning token에 대한 두 conditional policy의 선호 차이를 통해 일어난다.

이 방식은 teacher가 생성한 “완벽한 풀이”를 반드시 확보해야 한다는 요구를 피한다. teacher view는 K개 rollout의 outcome success rate를 바탕으로 선택되지만, 실제 reverse-KL 평가에서는 선택 때 생성된 teacher 문장을 student target sequence로 재사용하지 않는다. 대신 EMA teacher에 student prefix를 teacher forcing 방식으로 넣어 같은 sampled token의 log-probability를 forward-only로 얻는다. 즉 selection용 rollout과 distillation용 token rescoring은 목적과 계산이 서로 다르다.

Algorithm 1은 reverse-KL을 추상적으로 E[$D_{\mathrm{KL}}$($\pi_{\theta}$(·|x) ‖ $\pi_{\mathrm{T}}$(·|x))]로 적고, 본문 식 (2)은 이를 student rollout의 sampled-token log-ratio 합으로 구체화한다. 두 표기는 teacher에서 student로 KL을 계산하는 방식과 달리 student가 방문한 분포에서 teacher와의 차이를 줄인다는 점에서 일치한다. selected teacher가 현재 row와 같은 view이면 그 row를 이 항에서 제외한다는 조건까지 적용되어야 실제 update loop와 맞는다. 그러므로 MIRROR의 reverse-KL은 항상 모든 row에 걸리는 일반 self-KL과 구분되는, 다른 최고 view가 존재하는 row에 대한 cross-view regularizer다.

gradient의 흐름 역시 비대칭이다. student-view log-probability $\pi_{\theta}$에는 gradient가 적용되지만, teacher-view log-probability $\pi_{\bar{\theta}}$는 stop-gradient target으로 취급된다. teacher forward pass는 같은 학생 토큰을 scoring할 뿐 optimizer state나 backward pass를 요구하지 않는다. 이 구조가 없다면 한 loss 안에서 student와 teacher가 동시에 서로를 움직여, 어떤 분포를 안정된 지침으로 따라야 하는지 모호해질 수 있다.

reverse-KL만으로 outcome objective를 대체하지 않는 이유도 여기서 분명해진다. selected teacher는 동일 모델 계열의 느린 사본이고 view-specific success를 근거로 골랐지만, 각 sampled token의 teacher likelihood가 최종 답 correctness 그 자체는 아니다. 그래서 $\mathcal{L}_{\mathrm{rKL}}$은 transferable preference를 제공하는 보조 항이고, $\mathcal{L}_{\mathrm{RL}}$은 정답 보상을 직접 유지하는 주 항이다. MIRROR는 teacher compatibility와 answer correctness를 동일한 신호로 간주하지 않고 합산해 최적화한다.

3.4 EMA teacher와 Algorithm 1의 전체 update loop

current parameter $\theta$를 teacher scoring에도 즉시 사용하면 student update가 distillation target까지 매 step 움직인다. 원문은 이런 자기참조 결합이 policy entropy와 reference-policy KL을 서서히 부풀리고, 긴 학습에서 불안정을 일으킨다고 보고한다. 이를 완화하기 위해 teacher parameter $\bar{\theta}$를 정책 파라미터의 exponential moving average, 즉 Polyak average로 유지한다. $\bar{\theta}$는 시작할 때 $\theta$로 초기화되고 각 policy update 뒤에 갱신된다.

$$\bar{\theta}\leftarrow\alpha\bar{\theta}+(1-\alpha)\theta$$

식 (3)에서 $\alpha$가 클수록 teacher가 current policy를 더 느리게 따라간다. 본문의 기본 학습 설정은 $\alpha=0.99$이며, EMA copy는 fp32로 유지되고 forward-only로 사용된다. teacher는 개선되는 student를 장기 평균처럼 추적하되, 한 번의 actor update에 즉시 동일하게 반응하지 않는다. 그 결과 selected teacher view의 token target은 계속 개선될 수 있으면서도 더 느린 시간척도의 안정된 표적이 된다.

EMA가 teacher selection까지 대신하는 것은 아니다. 각 candidate view의 성공률은 $\pi_{\mathrm{old}}$, 즉 minibatch 시작에서 current $\pi_{\theta}$를 복사한 정책의 rollout reward로 계산되고, $\bar{\theta}$는 selected view가 정해진 뒤 student token의 target log-probability를 산출하는 데만 쓰인다. 이 구분 덕분에 routing은 현재 능력 변화에 빠르게 적응하고, distillation target은 급격히 흔들리지 않는다. 요약하면 빠른 selector와 느린 scorer를 결합한 구조다.

Algorithm 1의 순서를 처음부터 따라가면 먼저 policy $\pi_{\theta}$, frozen $\pi_{\mathrm{ref}}$, $\alpha$, paired dataset D, K, $\lambda_{\mathrm{KL}}$, learning rate $\eta$를 준비한다. 같은 문제의 text와 image row를 같은 minibatch·rank에 배치하고 $\bar{\theta}\leftarrow\theta$로 초기화한 뒤, 각 minibatch에서 $\pi_{\mathrm{old}}\leftarrow\pi_{\theta}$를 수행한다. 이어 두 restricted student view의 standard rollout과 reward를 만들고, combined view의 추가 K개 rollout과 reward를 생성한다. 이 단계까지는 update에 필요한 student 경험 수집과 teacher 후보 평가 자료 수집이다.

다음으로 current row, paired restricted row, combined row의 reward를 비교해 최고 candidate view $x^{\mathrm{sel}}$을 고른다. 선택된 condition 아래 EMA model을 $\pi_{\mathrm{T}}(\cdot\mid x)\leftarrow\pi_{\bar{\theta}}(\cdot\mid x^{\mathrm{sel}})$로 정의하고, $x^{\mathrm{sel}}$이 current row와 같으면 그 row를 reverse-KL 대상에서 제외한다. 그 뒤 standard restricted rollout reward로 GRPO advantage와 $\mathcal{L}_{\mathrm{GRPO}}$를 계산하고, 유효한 다른-view teacher가 있는 student trajectory에 $\mathcal{L}_{\mathrm{rKL}}$을 계산한다. 따라서 teacher 선택이 loss 계산보다 먼저 이루어지고, 두 loss가 참조하는 rollout의 역할도 명확히 나뉜다.

최종 loss는 $\mathcal{L}_{\mathrm{total}}\leftarrow\mathcal{L}_{\mathrm{GRPO}}+\lambda_{\mathrm{KL}}\mathcal{L}_{\mathrm{rKL}}$이며, $\eta$로 이를 최소화하도록 $\theta$를 갱신한다. actor update가 끝난 후에야 $\bar{\theta}\leftarrow\alpha\bar{\theta}+(1-\alpha)\theta$를 적용하므로, 방금 계산한 teacher target이 같은 step의 student gradient에 끌려 움직이지 않는다. frozen reference $\pi_{\mathrm{ref}}$는 standard GRPO 계산에 남고, EMA $\pi_{\bar{\theta}}$는 cross-modal target scoring을 담당하므로 둘 역시 같은 역할이 아니다. reference policy는 RL update의 기준이고 EMA teacher는 selected other view의 reasoning preference 제공자다.

전체 방법을 한 문장으로 압축하면, MIRROR는 restricted student가 낸 답을 outcome reward로 개선하면서 그 학생이 실제로 쓴 각 토큰을 동일 문제의 더 성공적인 다른 view로 다시 읽어 주는 방식이다. teacher가 더 많은 정보를 보더라도 학생은 그 입력이나 teacher-generated trace를 받지 않고, 자기 상태에서 teacher와 호환되는 방향으로만 regularization된다. 문제별 online routing은 어느 관점에서 배울지 정하고, reverse-KL은 무엇을 token 수준에서 배울지 정하며, EMA는 그 표적이 얼마나 빠르게 움직일지 제어한다. 이 결합이 teacher view 선택, on-policy restricted rollout, GRPO correctness, dense cross-modal guidance, stable self-teacher를 하나의 update loop로 묶는 MIRROR의 방법론적 핵심이다.

4. 실험 설정: ODA-Data와 세 관점 평가 프로토콜

4.1 ODA-Data 구축: 97K에서 약 2K까지의 데이터 funnel

MIRROR의 실험을 이해하려면 먼저 성능표보다 데이터가 어떤 기준으로 줄어들었는지를 봐야 한다. 출발점은 OpenDataArena의 ODA-Math-460k 가운데 기하 유형으로 분류된 97K 문제이며, 쉬운 문제를 제거한 뒤 도식 생성과 검증을 거쳐 표현 방식에 따라 난도가 달라지는 쌍만 남긴다. 중요한 점은 이 데이터가 일반적인 기하 문제의 무작위 표본과 달리, 동일 문제를 텍스트와 이미지로 제시했을 때 Qwen3-VL-4B-Instruct의 성공 여부가 달라지는 사례를 의도적으로 농축한 진단용 집합이라는 사실이다.

첫 필터는 주석된 pass@5가 1인 쉬운 문제를 제거하여 97K를 16K 후보로 줄인다. 이어 Gemini-3-Pro-Preview가 각 문제의 TikZ 도식을 만들고, 실제 컴파일에 성공한 코드만 보존하며, 별도의 LLM judge가 도식과 원문 문제의 의미적 정합성을 확인한다. image-dominant 프롬프트는 그림에 이미 표시된 정보를 텍스트에서 제거하여 그림과 잔여 문장이 상보적이게 만들고, 마지막으로 base model이 text-dominant와 image-dominant 양쪽에서 안정적으로 푸는 문제를 제외한다. 그 결과가 약 2K의 paired multimodal example이며, 초기 97K의 약 2.1%만 남는 강한 선택 과정이다.

아래 표는 데이터 수와 함께 각 단계가 실험에서 어떤 역할을 맡는지 함께 압축한다. 97K와 16K는 논문이 보고한 반올림 규모이고 최종 집합 역시 “약 2K”이므로, 이를 정밀한 샘플 수처럼 역산해서는 안 된다. 다만 ODA-Val은 Figure 4의 설명에서 309문제로 명시되며, 85:15 분할의 15% hold-out이라는 사실과 일치한다. 평가 프로토콜은 이 paired identity를 이용하는 ODA-Val과 외부 일반화를 보는 GeoInt·MathVerse를 분리한다.

Table 2: ODA-Data funnel과 평가 프로토콜 요약

구분	보고 규모·설정	선별 또는 평가 기준	실험상 의미
원천 데이터	97K 기하 문제	OpenDataArena/ODA-Math-460k의 geometry-style subset	순수 텍스트 원문에서 출발
난도 필터	16K 후보	annotated pass@5=1인 쉬운 문제 제거	초기 97K의 약 16.5% 수준
도식 생성·검증	16K 후보에 적용	Gemini-3-Pro-Preview로 TikZ 생성, 컴파일 성공 및 의미 정합성 판정	신뢰할 수 있는 이미지 관점 구성
표현 비대칭 필터	약 2K paired examples	base model이 두 restricted view에서 모두 안정적으로 푸는 문제 제거	한 관점의 성공이 다른 관점의 자기지도 신호가 되도록 농축
학습·검증 분할	85:15	ODA-Train은 post-training, ODA-Val은 hold-out	문제 identity를 보존한 분할
ODA-Val	309문제	image/text 각각 pass@1·pass@16	관점별 정확도와 동일 문제의 cross-view behavior 진단
GeoInt	answer-based questions만 사용	32 rollouts로 pass@1·pass@16 추정	외부 멀티모달 기하 일반화
MathVerse	mean judge score	LMMs-Eval, gpt-4o-2024-11-20 judge	더 넓은 시각 수학 추론 일반화

이 표에서 가장 주의할 해석은 “약 2K로 학습했다”가 곧 97K 전체를 대표한다는 의미는 성립하지 않는다는 점이다. ODA-Val은 modality asymmetry를 남기도록 선별되었으므로 절대 점수는 일반 기하 분포의 난도보다 관점 간 병목에 민감하다. 반대로 GeoInt와 MathVerse는 같은 선별 규칙을 공유하지 않기 때문에, 이 두 외부 벤치마크의 개선은 ODA 특화 패턴을 넘어선 전이의 근거가 된다. 따라서 논문의 실험 설계는 ODA-Val에서 메커니즘을 진단하고 외부 세트에서 일반화를 확인하는 이중 구조로 읽어야 한다.

4.2 세 관점과 paired identity가 만드는 비교 단위

각 문제에는 원래 조건을 문장으로 유지한 text-dominant view와, 그림에서 읽을 수 있는 조건을 문장으로부터 제거한 image-dominant view가 정렬되어 있다. 세 번째 combined image+text view는 text-dominant prompt에 image-dominant view의 이미지를 연결해 학습 시점에 즉석에서 만든다. 이 세 관점은 단순한 데이터 증강이 아니다. 텍스트는 명시적 관계를 쉽게 보존하지만 공간 구조를 덜 두드러지게 할 수 있고, 이미지는 구조를 한눈에 드러내지만 객체·눈금·길이의 시각 grounding 오류를 추가하며, combined view는 양쪽 단서를 함께 제공한다.

base model의 ODA-Train pass@1은 text-dominant 29.58%, image-dominant 10.54%, combined 26.84%로 텍스트가 평균적으로 강하다. 그러나 문제별 최고 관점의 비중은 text 51.14%, image 37.98%, combined 10.88%다. 즉 평균 1위인 텍스트를 전역 teacher로 고정하면 거의 절반의 문제에서 더 나은 비텍스트 관점을 놓친다. 이 분포가 MIRROR가 “항상 이미지가 텍스트를 가르친다”거나 그 반대라고 가정하지 않고, 문제마다 teacher를 다시 고르는 근거다.

paired identity는 정확도 이상의 측정을 가능하게 한다. 서로 다른 두 샘플의 성공을 비교하는 대신, 동일한 수학 문제를 text-dominant와 image-dominant로 바꾸었을 때 둘 다 푸는지, 한쪽만 푸는지, 둘 다 실패하는지를 추적할 수 있기 때문이다. 논문에서 consistency는 문자열 수준의 동일 풀이 생성을 뜻하지 않고, 같은 underlying problem의 restricted views에서 성공 상태가 일치하는지를 뜻한다. 따라서 pass@k의 주변적 개선과 both-view solvability의 개선은 관련되어 있지만 서로 대체할 수 없는 지표다.

4.3 학습 대상, online teacher selection, rollout K=16

모든 핵심 실험의 출발 모델은 Qwen3-VL-4B-Instruct이고, 구현은 verl의 GRPO 파이프라인과 vLLM rollout engine을 사용한다. 각 문제와 각 후보 관점에 대해 성공률을 추정하기 위한 rollout 수는 K=16이다. 현재 policy로 text, image, combined의 view-specific success rate를 계산한 뒤 가장 높은 관점을 그 문제의 teacher로 선택하고, 동률이면 균등 무작위로 결정한다. 선택은 base model에서 한 번 미리 고정되지 않고 학습 중 온라인으로 반복되므로, policy가 변하면 teacher 방향도 바뀔 수 있다.

여기서 teacher를 고르는 모델과 token target을 제공하는 모델을 구분해야 한다. 어느 view가 가장 강한지는 현재 policy의 rollout 성공률로 정하지만, student trajectory의 token log-probability를 다시 매기는 teacher는 decay $\alpha=0.99$인 EMA parameter copy다. student는 언제나 text 또는 image라는 자신의 restricted input에서 trajectory를 샘플링하며, teacher가 생성한 off-policy trajectory를 모방하지 않는다. 같은 student token sequence를 선택된 teacher view 아래에서 teacher-forcing으로 평가하고 stop-gradient target으로 쓰기 때문에, 결과 보상만 주는 GRPO에 더 조밀한 cross-view 신호를 더하면서도 방문 상태는 student policy에 묶어 둔다.

목적함수는 restricted-view GRPO loss와 $\lambda_{\mathrm{KL}}$를 곱한 reverse-KL regularizer의 합이며 기본 $\lambda_{\mathrm{KL}}$은 0.01이다. reference policy에서 멀어지는 정도를 제어하는 기존 KL coefficient 0.001과 cross-modal teacher를 향한 reverse-KL coefficient 0.01은 역할이 다르므로 혼동하면 안 된다. 전자는 low-variance KL estimator를 쓰는 policy anchoring 항이고, 후자는 선택된 다른 관점에서 같은 student token을 얼마나 그럴듯하게 보는지 전달하는 distillation 항이다. 이 구분은 뒤의 $\lambda$ sweep에서 0.1처럼 지나치게 큰 cross-view 정렬이 RL 신호를 압도해 collapse를 일으킨다는 결과를 해석할 때 중요하다.

4.4 공통 학습 설정과 평가 산출 방식

학습 프롬프트의 최대 길이는 4,096 tokens, 응답 최대 길이는 16,384 tokens이며 sampling temperature는 0.8이다. prompt당 rollout은 16개, train batch size는 256, PPO mini-batch는 128, GPU당 micro-batch는 1이다. learning rate는 $1\times10^{-6}$, GRPO clipping 범위는 $\epsilon_{\mathrm{low}}$=0.2와 $\epsilon_{\mathrm{high}}$=0.26, entropy coefficient와 reference-policy KL coefficient는 각각 0.001이다. MIRROR와 GRPO baseline은 이 공통 설정을 공유하고, 핵심 차이는 cross-modal reverse-KL 및 EMA teacher의 유무다.

ODA-Val과 GeoInt는 최종 정답의 정확성을 pass@1과 pass@16으로 보고하며, 평가는 문제당 32 rollouts로 이를 추정한다. 여기서 학습 때의 K=16은 teacher 선택 및 GRPO sample group의 크기이고, 평가 때의 32 rollouts는 pass@k estimator를 위한 별도 설정이다. GeoInt에서는 answer-based question만 남겼으므로 모든 GeoInt task 유형을 포괄한 결과로 확대 해석하면 안 된다. MathVerse는 LMMs-Eval을 통해 gpt-4o-2024-11-20을 judge로 사용하고 mean judge score를 제시하므로, ODA-Val·GeoInt의 exact final-answer pass@k와 측정 단위가 다르다.

4.5 비교 baseline과 단일 문제의 reward 진단

비교군은 세 층으로 구성된다. 첫째, untouched Qwen3-VL-4B-Instruct와 외부 reasoning VLM인 Vision-R1-7B, PAPO-7B, Vero-8B를 둔다. 둘째, ODA-Train의 text-dominant만 또는 image-dominant만으로 학습한 single-view GRPO를 둔다. 셋째, 두 restricted view를 한 mixture에 넣되 명시적 teacher 방향이나 cross-view KL은 두지 않은 mixed-modality GRPO를 두어, 단순한 공동 노출만으로 transfer가 발생하는지 시험한다.

외부 모델은 parameter scale과 post-training data가 동일하지 않다. Vision-R1-7B는 Qwen2.5-VL-7B-Instruct에서 시작해 200K multimodal CoT cold-start와 10K multimodal math RL, 합계 210K의 두 단계를 사용한다. PAPO-7B도 Qwen2.5-VL-7B 계열이며 약 38.9K, 주 결과 표의 반올림 표기로 39K 샘플을 사용하고, Vero-8B는 Qwen3-VL-8B에서 시작해 약 600K를 사용한다. 따라서 이 비교는 완전히 통제된 동형 실험이라기보다, 4B MIRROR가 2K 수준의 post-training data로 어느 정도 경쟁력을 갖는지 보는 효율성 비교다.

Figure 2: 단일 문제에서의 관점별 학습 보상

Figure 2는 하나의 underlying problem만 두고 text-dominant와 image-dominant 학습 reward를 비교한 통제 실험이다. 두 관점 모두에서 MIRROR가 가장 높고, 해당 관점만 직접 학습한 single-view GRPO가 그다음이며, 두 관점을 단순 혼합한 GRPO가 가장 낮다. 즉 paired view를 함께 보여 주는 것만으로는 성공한 관점의 추론이 약한 관점으로 전달되지 않으며, 문제별 teacher 방향과 token-level 정렬이 있어야 sparse reward의 희석을 막을 수 있음을 보여 준다.

이 단일 문제 결과는 mixed training의 실패를 “데이터가 부족해서”라고만 설명하기 어렵게 만든다. 같은 문제와 같은 두 표현을 보아도, 독립 prompt의 outcome reward만 합치면 서로 다른 grounding 요구가 gradient interference를 낳을 수 있다. 논문은 이를 heterogeneous on-policy mixture의 ray interference와 연결하지만, Figure 2 자체가 증명하는 것은 원인 전체보다 방법 간 reward ordering이다. 뒤의 전체 데이터 Figure 3이 같은 ordering을 재현하는지가 그래서 중요한 외적 확인이 된다.

5. 주요 실험 결과: 정확도와 cross-view consistency의 동시 개선

5.1 주 결과 표: ODA-Val, GeoInt, MathVerse의 공동 비교

주 결과는 ODA-Val의 image와 text 각각에 대해 pass@1·pass@16, GeoInt의 pass@1·pass@16, MathVerse mean score를 나란히 놓는다. 한 열에서 최고라는 사실과 base model 대비 향상은 구분해서 읽어야 한다. MIRROR는 ODA-Val의 네 열을 모두 이기지만 GeoInt pass@16과 MathVerse에서는 다른 모델이 더 높다. 아래 수치는 주석 처리된 draft와 구분되는 활성 main results table의 값이다.

Table 3: MIRROR와 baseline의 주 결과

접근법	post-train data	ODA-Val Image		ODA-Val Text		GeoInt		MathVerse
		pass@1	pass@16	pass@1	pass@16	pass@1	pass@16	mean
Vision-R1-7B (Qwen2.5-VL)	210K	7.41	19.48	9.67	29.35	23.30	52.80	47.21
PAPO-7B (Qwen2.5-VL)	39K	11.38	25.77	16.88	39.57	29.90	60.30	48.50
Vero-8B (Qwen3-VL)	600K	16.16	39.74	35.48	71.73	67.30	77.42	69.33
Qwen3-VL-4B-Instruct	—	12.30	42.57	32.91	80.22	58.62	70.79	41.31
text-dominant GRPO	2K	17.32	43.29	39.92	81.06	63.02	78.95	45.22
image-dominant GRPO	2K	20.38	48.78	41.06	83.16	62.30	79.69	39.47
mixed-modality GRPO	2K	17.99	45.68	39.18	81.66	61.68	75.21	44.25
MIRROR	2K	23.57	57.06	45.67	86.10	66.15	78.38	46.53

MIRROR의 가장 깨끗한 승리는 ODA-Val 네 지표로, image 23.57·57.06과 text 45.67·86.10을 기록한다. GeoInt에서는 pass@1 66.15가 Vero-8B의 67.30보다 1.15 낮고, pass@16 78.38도 image-dominant GRPO의 79.69보다 1.31 낮다. MathVerse 46.53은 base보다 높지만 Vero-8B 69.33, PAPO-7B 48.50, Vision-R1-7B 47.21에는 못 미친다. 따라서 논문의 강한 주장은 모든 benchmark의 절대 SOTA보다, 동일 4B base와 2K budget에서 두 restricted view를 함께 개선하고 외부 세트에도 이득을 전이했다는 것이다.

5.2 ODA-Val: 단일 관점 성능을 희생하지 않는 양방향 개선

base model 대비 MIRROR의 절대 향상은 image pass@1에서 12.30에서 23.57,로 즉 +11.27 points이고 pass@16에서 42.57에서 57.06,로 즉 +14.49 points다. text에서는 pass@1이 32.91에서 45.67로로 +12.76 points, pass@16이 80.22에서 86.10로으로 +5.88 points다. 이미지 관점의 pass@16 증가가 특히 큰 것은 image-dominant view가 더 강한 perceptual bottleneck을 갖고 있었음을 반영한다. 반면 text pass@16은 base가 이미 80.22로 높아 개선 여지가 작지만, pass@1의 +12.76은 첫 시도의 신뢰도가 크게 개선되었음을 보여 준다.

가장 강한 single-view GRPO와 비교해도 image pass@16은 image-only의 48.78에서 57.06으로 +8.28 points, text pass@16은 image-only가 기록한 83.16에서 86.10으로 +2.94 points 높다. 이 비교에서 text evaluation의 최강 single-view baseline은 text-only가 아닌 image-dominant GRPO라는 점도 흥미롭다. shared parameters를 통한 일부 cross-view effect는 standard GRPO에도 존재하지만, 고정된 training view 이름만으로 평가 view의 최적점을 예측할 수 없다는 뜻이다. MIRROR는 어느 한쪽을 개선하는 대신 다른 쪽을 희생하지 않고 ODA-Val 네 열 모두에서 최고를 기록해 이 trade-off를 줄였다.

5.3 mixed-modality GRPO 대비 이득과 외부 일반화

mixed-modality GRPO 대비 MIRROR의 향상은 ODA-Val image에서 pass@1 +5.58, pass@16 +11.38 points이고 text에서 pass@1 +6.49, pass@16 +4.44 points다. 두 방법 모두 text와 image student view를 사용하므로 이 차이는 단순한 modality exposure로 설명되지 않는다. 핵심 추가 요소는 세 candidate 중 문제별 teacher 선택, selected view의 EMA rescoring, 그리고 $\lambda_{\mathrm{KL}}$=0.01 reverse-KL이다. 특히 +11.38의 image pass@16 차이는 성공한 다른 관점의 정보를 방향성 있게 전달하는 설계가 perceptual bottleneck이 큰 관점에서 더 효과적임을 시사한다.

GeoInt에서 base 58.62·70.79는 MIRROR 66.15·78.38로 올라 각각 +7.53·+7.59 points가 된다. mixed GRPO와 비교하면 +4.47·+3.17 points이고, text-only GRPO의 pass@1 63.02보다 +3.13 높지만 pass@16 78.95보다는 0.57 낮다. MathVerse는 base 41.31에서 46.53으로 +5.22 points, mixed GRPO 44.25보다 +2.28 points다. 즉 외부 일반화는 일관된 base 대비 향상으로 나타나지만 모든 열의 최고값을 독점하지는 않으며, 특히 폭넓은 600K post-training을 받은 8B Vero의 MathVerse 우위를 뒤집지는 못한다.

데이터 효율 관점에서는 대조가 선명하다. MIRROR의 표기된 post-training data는 2K로 Vision-R1의 210K, PAPO의 약 39K, Vero의 약 600K보다 훨씬 적다. 그럼에도 ODA-Val 네 열에서 세 외부 모델을 모두 앞서고, GeoInt에서도 Vision-R1과 PAPO를 두 pass 지표 모두에서 앞선다. 다만 ODA-Data 자체가 Qwen3-VL-4B-Instruct의 modality asymmetry로 선별되었다는 점 때문에, ODA-Val 우위를 곧바로 일반 분포의 sample efficiency 비율로 환산하는 것은 피해야 한다.

5.4 전체 데이터 reward와 compute-matched 비교

Figure 3: 전체 ODA-Train 학습 보상

Figure 3은 단일 문제를 넘어 전체 ODA-Train에서 image와 text training reward의 추이를 비교한다. mixed-modality GRPO는 두 관점을 모두 학습해도 해당 restricted view를 직접 학습한 GRPO보다 낮고, MIRROR가 두 곡선에서 가장 높은 reward를 얻는다. 누적 FLOPs를 맞춘 MIRROR 150 step 대 GRPO 200 step에서도 image reward는 0.2625 대 0.2368, text reward는 0.4581 대 0.4387이므로, 우위가 단순히 update당 계산량이 37.5% 더 큰 탓으로만 설명하기 어렵다는 통제를 제공한다.

Figure 3의 compute matching은 정확히 같은 wall-clock이나 token count를 재현한 실험과 달리 부록의 coarse FLOPs model에 따른 근사 비교다. 그럼에도 MIRROR 150 steps의 비용은 GRPO 200 steps와 대략 같고, 두 관점 reward 모두 전자가 높다. 따라서 추가 combined rollout과 teacher forward가 주는 이득을 단순히 “더 많은 forward pass”로 축소하기는 어렵다. 동시에 reward curve가 최종 benchmark accuracy와 완전히 동일한 양은 아니므로, 이 그림은 표 2의 결과를 설명하는 optimization evidence로 보는 것이 적절하다.

5.5 solvability shift와 cross-view consistency

pass@1과 pass@16은 집합 평균이므로 어떤 문제가 새로 풀리게 되었고 어떤 문제가 잊혔는지를 직접 보여 주지 않는다. 저자들은 ODA-Train에서 한 번이라도 성공한 rollout이 있는 문제를 “solvable”로 정의하고, training 전후 solvable problem 비율의 차이를 net solvability gain으로 측정한다. Figure 4의 각 seed는 validation set과 동일한 309문제를 표본화하며 총 3개 random seeds를 사용한다. error bar는 표준편차나 신뢰구간과 달리 세 seed의 최소값과 최대값이다.

Figure 4: 학습 전후 solvability 변화

Figure 4는 base model 대비 학습 후 solvable example 비율의 순증가를 세 seed에서 비교한다. 모든 GRPO variant가 양의 이동을 보이지만 MIRROR가 +8.95%로 가장 크며, 각 seed는 ODA-Val과 같은 크기인 309문제를 ODA-Train에서 뽑는다. 막대는 세 표본의 변화량, error bar는 min–max 범위이므로 평균 정확도에 더해 새로 해결 가능해진 문제 집합의 확대가 seed에 걸쳐 유지되는지를 보여 주는 진단이다.

MIRROR의 net solvability gain은 +8.95%로 모든 GRPO variant 중 가장 크다. 더 직접적인 consistency 수치는 양쪽 restricted view에서 모두 solvable한 문제의 비율이다. base model은 text와 image 양쪽에서 풀 수 있는 문제가 42.5%뿐이고 standard GRPO는 이를 53.6%로, MIRROR는 60.7%로 높인다. MIRROR의 값은 base 대비 +18.2 points, standard GRPO 대비 +7.1 points이므로 한 관점의 평균만 높인 데 그치지 않고 동일 문제를 두 표현에서 함께 해결할 가능성을 늘렸다는 뜻이다.

이 결과가 “모든 답변이 관점과 무관하게 동일하다”는 강한 불변성 보장은 아니다. solvable은 여러 rollout 중 적어도 하나의 성공을 허용하고, both-view rate도 두 분포의 성공 가능성을 이진화한 문제 수준 지표다. 그럼에도 paired identity가 없으면 측정할 수 없는 양이며, marginal pass@k 상승과 함께 움직였다는 점이 중요하다. 정확도와 consistency의 동시 개선이라는 논문의 제목 수준 주장은 바로 표 2의 네 ODA-Val 열과 42.5에서 53.6을 거쳐 60.7로의 문제 수준 분석을 결합해 뒷받침된다.

6. 추가 분석 및 Ablation Study: teacher 선택과 EMA 안정성

6.1 fixed teacher와 adaptive teacher의 정량 비교

teacher ablation은 text, image, combined 중 하나를 모든 문제에 고정하는 세 변형과 문제마다 최고 성공률 view를 고르는 adaptive MIRROR를 비교한다. fixed teacher도 cross-view reverse-KL을 제공하므로 단순 GRPO와의 비교를 넘어 선택 규칙 자체의 효과를 분리한다. 어떤 fixed view도 일곱 평가 열에서 일관되게 최고가 아니며, 각 view의 강점이 상보적으로 나타난다. 아래 표 역시 활성 teacher-choice table의 수치다.

Table 4: teacher 선택 방식에 따른 성능

Teacher choice	ODA-Val Image		ODA-Val Text		GeoInt		MathVerse
	pass@1	pass@16	pass@1	pass@16	pass@1	pass@16	mean
text-dominant teacher	19.12	51.03	39.78	83.59	64.41	79.59	45.56
image-dominant teacher	18.95	49.10	43.43	83.77	63.80	79.50	43.13
combined image+text teacher	20.99	52.28	43.35	82.33	64.56	78.77	47.19
Adaptive teacher (MIRROR)	23.57	57.06	45.67	86.10	66.15	78.38	46.53

adaptive teacher는 ODA-Val 네 열과 GeoInt pass@1, 합계 일곱 열 중 다섯 열에서 최고다. 예외는 GeoInt pass@16의 text teacher 79.59와 MathVerse의 combined teacher 47.19이며, MIRROR는 각각 78.38과 46.53이다. image evaluation에서는 text teacher가 image teacher보다 19.12 대 18.95, 51.03 대 49.10으로 높고, text pass@1에서는 image teacher가 text teacher보다 43.43 대 39.78로 높다. 이 교차 패턴은 자신의 관점을 자기강화하기보다 다른 관점이 병목을 보완할 때 teacher signal이 더 유용할 수 있음을 보여 준다.

adaptive의 장점은 평균적으로 강한 text view를 고르는 데 있지 않다. ODA-Train에서 최고 view 비중이 text 51.14%, image 37.98%, combined 10.88%였듯, 상당수 문제에서 visual structure나 양쪽 단서가 더 나은 target을 제공한다. combined fixed teacher가 MathVerse 최고인 것은 풍부한 입력이 외부 시각 수학에서 유리할 수 있음을 시사하지만, ODA-Val text pass@16에서는 82.33으로 네 선택 중 가장 낮다. 결국 문제별 asymmetry를 관측해 transfer direction을 바꾸는 설계가 global teacher의 편향을 줄인다.

6.2 reverse-KL 계수: RL과 cross-view 정렬의 균형

reverse-KL ablation은 다른 구성요소를 고정하고 100 steps 동안 $\lambda_{\mathrm{KL}}$을 0.001, 0.005, 0.01, 0.05로 바꾼다. 이 표의 100-step checkpoint는 더 길게 계속 학습한 주 결과와 직접 같은 숫자로 비교하기보다 coefficient ranking을 위한 조기 ablation으로 읽어야 한다. 한 coefficient가 모든 열을 이기지는 않지만 0.01이 가장 많은 핵심 열과 overall rank에서 우세하다. 논문은 이 결과를 바탕으로 $\lambda_{\mathrm{KL}}$=0.01을 기본값으로 선택해 학습을 이어 간다.

Table 5: cross-modal reverse-KL coefficient ablation, 100 steps

$\lambda_{\mathrm{KL}}$	ODA-Val Image		ODA-Val Text		GeoInt		MathVerse
	pass@1	pass@16	pass@1	pass@16	pass@1	pass@16	mean
0.001	18.26	49.98	42.03	85.21	62.30	77.24	44.50
0.005	17.74	49.45	40.83	86.70	62.13	76.71	45.41
0.01	21.74	52.36	44.44	85.25	64.58	79.70	46.57
0.05	18.75	54.73	39.67	85.07	61.46	77.17	46.62

$\lambda=0.01$은 image pass@1 21.74, text pass@1 44.44, GeoInt pass@1 64.58과 pass@16 79.70으로 네 열의 최고를 차지한다. $\lambda=0.005$는 text pass@16 86.70, $\lambda=0.05$는 image pass@16 54.73과 MathVerse 46.62에서 가장 높다. 그러나 0.05의 text pass@1은 39.67로 0.01의 44.44보다 4.77 points 낮아, 강한 정렬이 모든 restricted view에 균등하게 이롭지 않다. 표 밖에서 $\lambda=0.1$은 training collapse를 일으켰다고 보고되어, teacher imitation이 outcome RL을 압도하지 않는 중간 세기가 필요함을 확인한다.

reverse-KL의 방향도 해석에 중요하다. rollout은 student의 restricted view에서 생성되고, 그 token을 selected teacher view가 얼마나 지지하는지를 평가하므로 student가 실제로 방문한 prefix에 대해서만 정렬한다. $\lambda$가 너무 작으면 dense teacher guidance가 약하고, 너무 크면 현재 관점에서 얻을 수 없는 신호까지 쫓거나 RL의 정답 보상을 덮을 수 있다. 0.01은 보편적 이론 최적값이라기보다 이 base model, rollout recipe, 100-step sweep에서 얻은 실증적 균형점이다.

6.3 modality-asymmetric pair 자체가 필요한가

저자들은 같은 수의 올바르게 paired 되었지만 뚜렷한 modality asymmetry가 없는 예제로 control model을 학습한다. hyperparameter를 동일하게 맞췄을 때 asymmetric examples는 paired-control보다 text-dominant validation pass@1이 4.43% 더 높고, control은 image-dominant validation에서 22.15% 더 나쁘다. 논문의 표현은 첫 차이를 상대 향상으로, 두 번째를 control의 상대 열세로 제시하므로 주 결과 표의 absolute point 차이와 동일하게 취급해서는 안 된다. 그럼에도 단지 같은 문제의 텍스트·이미지 쌍을 만들었다는 사실만으로 충분하지 않고, 한 view가 성공하고 다른 view가 실패하는 directional signal이 핵심이라는 가설을 지지한다.

이 ablation은 ODA-Data funnel의 마지막 필터를 정당화한다. 양쪽에서 모두 쉽게 풀리는 paired sample은 데이터 정합성은 높아도 어느 관점이 다른 관점을 교정해야 하는지에 관한 정보량이 작다. 반대로 asymmetry가 큰 sample은 teacher selection의 성공률 차이를 선명하게 해 reverse-KL target의 방향을 결정하기 쉽다. 다만 선별이 base model 의존적이므로 다른 VLM을 시작점으로 쓸 때 동일한 2K가 같은 비대칭을 유지하는지는 별도의 검증이 필요하다.

6.4 EMA teacher ablation: moving target과 장기 collapse

EMA ablation은 $\lambda_{\mathrm{KL}}$=0.01과 나머지 설정을 고정하고, selected teacher token을 현재 policy $\theta$로 채점하는 경우와 decay $\alpha=0.99$인 EMA policy로 채점하는 경우를 비교한다. 두 run은 처음 약 50 steps 동안 비슷하지만, no-EMA는 teacher와 student가 같은 update에 서로를 밀어내는 self-referential moving target을 형성한다. teacher selection 자체는 여전히 current-policy rollout을 사용하되 target log-probability만 느리게 움직이는 $\bar{\theta}$에서 얻는다는 분리가 안정성의 핵심이다.

Figure 5: EMA teacher의 장기 안정성

Figure 5는 왼쪽 entropy, 가운데 reference-policy KL, 오른쪽 image·text 평균 training reward를 no-EMA와 $\alpha=0.99$ EMA로 비교한다. current-policy teacher는 약 90 step 뒤 불안정해져 약 170 step에 붕괴하며, entropy 0.3에서 3.9,로 KL 0.33, 응답 길이 약 9,000에서 3,700로 tokens, reward 0.34에서 0.21로을 보인다. EMA는 entropy 약 0.29와 KL 약 0.02를 유지하면서 290 step에 reward 0.48까지 올라 장기 target 안정화 효과를 분명히 보여 준다.

수치로 보면 current-policy teacher는 약 165 steps까지 reward가 0.34에서 0.21로 떨어지고, entropy는 약 0.3에서 3.9로 폭증하며 reference KL은 0.33에 도달한다. 동시에 평균 response length가 약 9,000에서 3,700 tokens로 줄어드는 것은 단순한 탐색 증가보다 심각하게 생성 동역학 전체가 무너졌음을 보여 준다. EMA run은 entropy 약 0.29, reference KL 약 0.02를 유지하고 step 290에서 reward 0.48에 이른다. 따라서 EMA는 단기 점수용 weight averaging을 넘어 long-horizon collapse를 막는 target network 역할을 한다.

$\alpha=0.99$이면 매 actor step 뒤 $\bar{\theta}\leftarrow0.99\bar{\theta}+0.01\theta$로 업데이트하고 시작 시 $\bar{\theta}=\theta$로 초기화한다. teacher는 forward-only이며 gradient가 흐르지 않고, fp32 copy에는 optimizer state가 없으며 checkpoint마다 함께 저장되어 resume 시 평균 상태를 정확히 복구한다. 이러한 구현은 teacher target을 느리게 하면서도 selection이 학습 진전에 적응하도록 한다. no-EMA가 약 90 steps 이후 흔들리기 시작했다는 사실은 짧은 50-step 전후 ablation만으로는 이 구성요소의 필요성을 놓칠 수 있음을 경고한다.

6.5 text-view 정성 예시가 보여 주는 추론 경로의 전이

Figure 6: image에서 text로 전이된 정성 사례

Figure 6의 text-view 정성 예시는 네 점 A(−3,0), B(1,−1), C(0,3), D(−1,3)에서 움직이는 P까지 거리 합을 최소화하는 문제다. 학습 전 text-dominant 응답은 여러 좌표를 대입해 약 8.74를 추측하지만, image view는 P를 AC와 BD의 교점에 두는 구조를 포착해 $3\sqrt{2}+2\sqrt{5}$를 맞힌다. MIRROR 학습 뒤 text-only 입력도 같은 구조적 해법과 정답을 회복하므로, teacher의 답을 복사한 결과보다 약한 관점의 탐색 경로가 교정된 사례로 읽힌다.

이 예시의 가치는 최종 정답 변화보다 reasoning mode의 변화에 있다. 학습 전 text view는 P=(0,3), (0,2), (−1,2), (−0.5,2.34) 같은 후보를 수치적으로 소진하고 8.74 근방을 추측한다. image view에서는 선분의 교차 구조가 시각적으로 두드러져 |PA|+|PC|와 |PB|+|PD|를 각각 직선 경로로 묶는 아이디어에 도달하고 정확한 $3\sqrt{2}+2\sqrt{5}$를 얻는다. 학습 후 text view가 이 구조를 되찾는 것은 image-conditioned teacher의 token preference가 restricted text rollout에 유용한 inductive bias를 전달했음을 보여 준다.

다른 정성 사례는 반대 방향도 보여 준다. 13-14-15 triangle의 세 semicircle 문제에서 image view는 각 diameter를 변 길이 자체로 잘못 읽어 3249를 내지만 text view는 873을 맞히며, 학습 후 image view도 grounding error를 피한다. 또 원 안의 AP=AD 조건을 그림에서 놓친 image response는 B를 고르지만 combined view는 A를 고르고, 학습 뒤 image response가 tick mark를 읽어 A를 회복한다. 따라서 Figure 6을 포함한 사례군은 image에서 text로, text에서 image로, combined에서 image로의 세 supervision direction이 모두 필요함을 질적으로 보완한다.

6.6 재현성을 위한 전체 하이퍼파라미터

핵심 hyperparameter를 한곳에 모으면 baseline 간 공정성과 ablation의 범위가 더 분명해진다. 공통 GRPO 설정은 base model, rollout engine, 길이 제한, batch와 clipping, learning rate, entropy 및 reference KL을 포함한다. MIRROR에만 추가되는 값은 cross-modal reverse-KL 0.01과 EMA decay 0.99, 그리고 fp32 forward-only teacher copy다. 활성 부록 표는 “Total epochs=200”이라고 적지만 설명 문장은 각 job을 적어도 200 training steps 수행했다고 명시하므로, 아래에는 이 표기 차이도 함께 남긴다.

Table 6: main training hyperparameters와 실행 자원

범주	설정	적용 범위·비고
Base model	Qwen/Qwen3-VL-4B-Instruct	모든 핵심 통제 실험
Framework / algorithm	verl / GRPO	rollout engine은 vLLM
Maximum prompt length	4,096 tokens	공통
Maximum response length	16,384 tokens	공통
Rollouts per prompt	16	teacher selection의 K=16
Sampling temperature	0.8	공통
Train batch size	256	공통
PPO mini-batch / micro-batch	128 / GPU당 1	공통
Learning rate	$1\times10^{-6}$	공통
GRPO clip	$\epsilon_{\mathrm{low}}$=0.2, $\epsilon_{\mathrm{high}}$=0.26	공통
Entropy coefficient	0.001	공통
Reference-policy KL	coefficient 0.001, low-variance KL	활성화, 공통
Cross-modal reverse-KL	$\lambda_{\mathrm{KL}}$=0.01	MIRROR only
EMA teacher	$\alpha=0.99$, fp32, forward-only	optimizer state 없음, 매 actor step 뒤 update
학습 길이	적어도 200 steps	활성 부록 표의 행 표기는 Total epochs=200
Hardware	8 nodes, node당 8 H200, 총 64 H200	RL job 하나 기준
실행 시간	step당 약 20분, 200 steps≈67시간	model당 약 4,267 H200 GPU-hours

이 설정에서 평가의 32 rollouts와 학습의 16 rollouts를 구분해야 재현 시 sample count가 맞는다. 64 H200을 약 67시간 쓰면 논문이 보고한 model당 약 4,267 GPU-hours와 일치하고, 여러 baseline과 ablation을 모두 합친 총 프로젝트 비용은 별도로 제시되지 않는다. EMA copy는 fp32라 추가 parameter memory가 필요하지만 CPU로 offload되며, Polyak update 자체는 step당 1초 미만으로 전체 약 20분에 비해 작다. 결과적으로 MIRROR의 주된 추가 비용은 EMA 산술보다 combined-view rollout과 teacher-logit forward pass다.

6.7 계산 비용: 16KND 대 22KND와 37.5% overhead

부록의 FLOPs 근사는 N을 parameter 수, D를 평균 rollout length로 두고 forward-only pass를 2ND, forward+backward training pass를 6ND로 센다. mixed-modality GRPO는 문제당 text와 image에서 각각 K개, 합계 2K student rollouts를 생성하므로 generation 4KND와 update 12KND, 총 16KND가 든다. MIRROR는 기존 2K rollouts를 재사용하면서 combined view의 K rollouts를 더해 generation 6KND를 쓰고, 2K student trajectory에 대한 EMA teacher rescoring 4KND와 동일한 backward 12KND를 합쳐 총 22KND가 된다. 비율은 22/16=1.375, 즉 update당 약 37.5% overhead다.

K=16을 대입하면 공통 인자를 제외한 mixed 비용은 256ND, MIRROR는 352ND이며 차이 96ND는 모두 forward-only 항에서 나온다. trainable student model과 backward update 수는 같고, 추가되는 것은 combined-view 16 rollouts와 selected teacher 아래의 logit evaluation이다. EMA Polyak update는 O(N) elementwise operation이라 위 FLOPs accounting을 바꾸지 않으며 실제 run에서 1초 미만, 전체 step은 약 20분이다. 다만 fp32 policy copy를 CPU에 보관하고 teacher evaluation 때 사용하는 memory·transfer cost는 이 단순 FLOPs 식에 완전히 표현되지 않는다.

계산량 통제를 위해 논문은 MIRROR step 150과 GRPO step 200의 running-average reward를 비교한다. 1.375배 비율을 고려하면 두 지점의 누적 FLOPs가 대략 맞고, 이때 image reward는 0.2625 대 0.2368, text reward는 0.4581 대 0.4387로 MIRROR가 모두 높다. 따라서 성능 향상은 추가 연산만의 산물로 설명되지 않고 directionally selected cross-view supervision의 효율에도 기인한다고 볼 근거가 있다. 그러나 실제 wall-clock, 통신, CPU offload, 평균 응답 길이 변화까지 완전히 맞춘 비교는 아니므로 “동일 비용에서의 엄밀한 우위”보다는 coarse compute-matched evidence로 해석하는 편이 정확하다.

7. 한계점 및 향후 연구 방향: 기하 문제 바깥의 일반화가 남긴 질문

7.1 기하가 제공한 통제성과 그 밖으로 나갈 때의 난점

MIRROR의 가장 중요한 실험 조건은 같은 기하 문제를 text-dominant, image-dominant, combined image+text라는 세 개의 view로 표현할 수 있다는 점이다. 좌표, 길이, 평행·수직 관계를 문장과 도형에 나누어 담아도 정답을 결정하는 잠재 구조가 대체로 유지되므로, view만 바뀌었을 때 생기는 추론 차이를 비교하기 좋다. 그러나 이 장점은 동시에 적용 범위를 좁힌다. 차트의 색과 범례, 현미경 사진의 질감, 로봇 카메라의 가림 현상처럼 시각 채널에만 존재하는 정보는 손실 없이 텍스트로 옮기기 어렵다. 반대로 장문의 과학 설명을 이미지 한 장에 등가로 압축하기도 어렵다. 따라서 이 논문의 결과가 직접 뒷받침하는 범위는 ‘서로 충분한 정보를 가진 복수 표현을 만들 수 있는 기하 문제’이며, 임의의 멀티모달 과제로 곧바로 확대 해석하기에는 증거가 부족하다.

후속 연구에서는 도메인 이름만 바꾸기보다 view 등가성의 정도를 먼저 조작해야 한다. 예를 들어 표·차트에서는 원시 수치표, 렌더링된 차트, 캡션을 한 묶음으로 만들고 각 view가 보존한 사실을 구조화된 fact graph로 표시할 수 있다. 과학 그림에서는 패널, 축, 단위, 캡션을 단계적으로 가린 view를 만들어 정보 손실량을 계측할 수 있다. 로봇에서는 동일 상태의 RGB, depth, proprioception을 시간 동기화한 뒤 센서별 관측 가능성을 명시해야 한다. 이렇게 완전 등가, 부분 중첩, 상보 정보라는 세 조건을 분리해 평가하면 MIRROR가 표현 불변 추론을 배우는지, privileged view에 든 추가 정보를 간접적으로 외우는지 구별할 수 있다. 기하 밖 일반화의 핵심은 새로운 벤치마크 수보다 ‘학생 view만으로 정답이 식별 가능한가’를 검증하는 절차에 있다.

7.2 Gemini 합성 파이프라인이 만든 상관된 오류 가능성

ODA-Data는 ODA-Math-460k의 기하형 문제 97K개에서 시작해, annotated pass@5=1인 쉬운 문제를 제외한 16K 후보에 TikZ 도형을 생성하고 약 2K 쌍을 남긴다. 이 과정에서 Gemini-3-Pro-Preview가 TikZ 생성, 렌더링 결과와 원문 사이의 의미 일치 판정, 이미지에 보이는 정보를 문장에서 제거하는 image-dominant prompt 재작성까지 담당한다. 컴파일 성공 여부는 기계적으로 확인할 수 있지만, 점의 배치가 조건을 암시하거나 틱 마크가 잘못 붙는 의미 오류는 더 어렵다. 생성자와 검증자가 같은 모델이면 동일한 해석 편향을 공유할 수 있고, 검증 단계가 생성 단계의 누락을 놓쳐도 파이프라인 내부에서는 일관된 샘플로 통과할 수 있다. Preview 모델의 버전 변화까지 고려하면 나중에 같은 프롬프트로 같은 데이터가 재생성된다는 보장도 약하다.

논문은 상세 프롬프트를 공개해 절차를 설명하지만, 사람 검수 비율, 독립 평가자 간 일치도, 오류 유형별 탈락률을 보고하지 않는다. 특히 ‘이미지에 명시적으로 표시된 조건만 문장에서 제거한다’는 규칙은 도형의 가독성에 민감하다. 삭제가 과하면 image view의 식별 가능성이 깨지고, 삭제가 부족하면 이미지 없이도 풀리는 샘플이 생긴다. 현실적인 보완책은 무작위 층화 표본에 대해 기하 전문가 두 명이 entity·relation 단위로 감사하고, 생성에 쓰지 않은 별도 VLM과 규칙 기반 TikZ 파서를 함께 검증자로 두는 것이다. 최종 데이터에는 원문, 생성 TikZ, 렌더러 버전, 세 Gemini 응답, 수정 이력, 사람 판정과 실패 사유를 보존해야 한다. 추가로 실제 교재나 시험에서 사람이 제작한 도형만으로 구성한 작은 natural-diagram test를 두면 합성 스타일을 학습한 효과를 분리할 수 있다.

7.3 ODA-Val의 선별 편향과 지표 해석

ODA-Data는 base model인 Qwen3-VL-4B-Instruct가 한 view에서는 풀고 다른 view에서는 풀지 못하는 사례를 의도적으로 남긴다. 그 뒤 약 2K 샘플을 85:15로 나누므로 ODA-Val은 약 309문제 규모의 held-out split이지만, 데이터 풀 자체가 같은 base model의 modality-dependent failure로 조건화되어 있다. 저자도 이를 진단용 벤치마크라고 명시한다. 이 선별은 MIRROR의 가설을 정밀하게 시험하는 데 적합한 대신, 자연 분포에서의 평균 정확도를 추정하지 못한다. 쉬운 문제와 양쪽 view에서 안정적으로 풀리는 문제는 앞에서 제거되며, base model 특유의 약점이 과대표집된다. 그 base model 위에 후학습한 방법이 ODA-Val에서 크게 개선되는 현상에는 목표한 비대칭 학습 효과와 함께, 선별 기준에 대한 모델 계열 특화 효과가 섞일 수 있다.

또한 pass@1과 pass@16은 각각 다른 운영 의미를 가진다. ODA-Val image에서 base의 12.30/42.57이 MIRROR의 23.57/57.06으로 오르고 text에서 32.91/80.22가 45.67/86.10으로 오른 결과는 분명 유용하지만, 최대 16회 시도 중 한 번 성공할 확률이 단일 응답 신뢰성과 같지는 않다. 평가는 32 rollout으로 pass@k를 추정하므로 309개 문제, sampling temperature 0.8, 샘플링 변동을 함께 고려한 신뢰구간이 필요하다. ODA-Train의 both-view solvability가 42.5%에서 60.7%로 올랐다는 분석은 훈련 집합 위 측정이어서 기억 효과에서도 자유롭지 않다. 후속 평가는 선별하지 않은 원분포 test, 다른 VLM으로 선별한 cross-model asymmetric test, 사람이 만든 자연 도형 test를 병렬로 두고, 문제 bootstrap과 rollout seed를 모두 반영한 구간 추정치를 보고하는 편이 타당하다.

7.4 MathVerse 상대 성능이 보여 주는 외부 일반화의 경계

외부 벤치마크에서는 절대 개선과 경쟁 모델 대비 순위를 구분해 읽어야 한다. MathVerse mean judge score는 Qwen3-VL-4B-Instruct의 41.31에서 MIRROR의 46.53으로 5.22점 개선된다. 하지만 Vero-8B는 69.33, PAPO-7B는 48.50, Vision-R1-7B는 47.21을 기록하며, 같은 표의 fixed combined image+text teacher도 47.19로 adaptive MIRROR보다 높다. 모델 크기와 학습 데이터량이 달라 정면 비교에 제약이 있지만, 이 결과는 2K 기하 비대칭 데이터의 효율성과 광범위한 시각 수학 능력을 같은 주장으로 묶어서는 안 된다는 신호다. MIRROR가 ODA-Val의 모든 열에서 가장 높았고 MathVerse에서는 전체 최고에 이르지 못했다는 두 사실을 함께 서술해야 한다.

GeoInt에서도 MIRROR는 pass@1 66.15로 base 58.62를 앞서지만 pass@16 78.38은 image-dominant GRPO 79.69와 fixed text teacher 79.59보다 낮다. 즉 adaptive selection은 다수 지표에서 안정적인 선택이었으나 모든 외부 지표의 최적점은 아니었다. MathVerse 평가는 gpt-4o-2024-11-20 judge에 의존하므로 정답 기반 채점과 다른 오차도 포함한다. 후속 연구는 MathVerse의 하위 유형별로 geometry, chart, diagram understanding, textual reasoning을 분해하고, judge score와 exact-answer score 및 사람 감사 표본을 함께 공개해야 한다. 최소 두 종류의 base VLM과 4B·8B급 규모에서 동일한 2K 데이터·동일 compute 예산으로 재현하면 방법의 기여와 Qwen3-VL 계열의 사전 능력을 더 명확히 분리할 수 있다.

7.5 성공률 기반 teacher 선택의 통계적·의미적 한계

MIRROR는 매 문제마다 세 view에서 K=16 rollout의 성공률을 추정하고 최고 view를 teacher로 고르며 동률은 무작위로 푼다. 이 선택은 명료하지만 성공 확률이 비슷하거나 모두 낮은 문제에서 winner’s curse를 일으킬 수 있다. 16회 중 우연히 한두 번 더 맞힌 view가 실제로 더 좋은 추론 분포를 가졌다고 단정하기 어렵고, 최종 정답의 이진 reward는 잘못된 중간 추론으로 맞힌 경우를 걸러내지 못한다. 세 view가 모두 실패하면 ‘가장 덜 실패한’ view의 token 분포도 지도 신호가 될 수 있다. 반대로 combined view가 추가 조건 덕분에 맞혔더라도 restricted student view에서 그 조건을 관측할 수 없다면, 같은 prefix token을 높은 확률로 만들라는 reverse-KL은 해결 불가능한 요구를 전달할 위험이 있다.

논문의 coefficient ablation은 이 위험을 간접적으로 드러낸다. 기본값인 $\lambda_{\mathrm{KL}}$=0.01은 전체 순위가 좋았지만 0.1에서는 학습 collapse가 발생했고, $\lambda=0.05$는 ODA-Val image pass@16과 MathVerse에서 강한 대신 다른 열이 약해졌다. 후속 방법은 teacher를 한 개로 hard-select하기 전에 각 view의 beta-binomial posterior나 confidence bound를 계산하고, 불확실성이 큰 경우 distillation을 건너뛰거나 soft mixture로 바꿀 수 있다. 정답 일치만 보지 말고 도형의 entity grounding, 식 전개 검증, answer confidence를 분리한 process score를 추가하는 것도 현실적이다. 학생 view의 정보 충분성 판정이 실패하면 RL outcome 항만 남기고 cross-view KL을 차단하는 abstention rule이 필요하다. 이런 장치는 teacher 선택 오류를 곧바로 수천 token의 dense gradient로 증폭시키는 경로를 줄인다.

7.6 계산비와 운영 가능성

본문은 text와 image rollout을 GRPO에서 재사용하므로 combined view의 추가 rollout 부담이 작다고 설명하지만, 부록의 총계는 더 신중한 판단을 요구한다. 혼합 GRPO의 추정 비용이 업데이트당 16KND라면 MIRROR는 combined-view K개 생성과 2K개 student trajectory에 대한 EMA teacher forward를 더해 22KND, 약 37.5% 높은 FLOPs를 쓴다. 실험 설정은 prompt당 16 rollout, 최대 응답 길이 16,384 token, 64대 H200을 사용하며 한 step이 약 20분이다. 적어도 200 step인 한 모델 학습에 약 67시간, 4,267 H200 GPU-hours가 든다. 여기에 baseline, fixed teacher, $\lambda$ sweep, EMA ablation을 포함하면 독립 연구팀이 전체 결과를 재현하기 위한 자원은 크게 늘어난다.

저자들은 MIRROR 150 step과 GRPO 200 step의 누적 compute를 맞춰 image reward 0.2625 대 0.2368, text reward 0.4581 대 0.4387을 제시한다. 추가 계산만으로 이득을 전부 설명하기 어렵다는 근거는 되지만, 한 시점의 training reward 비교만으로 wall-clock 효율, 최종 벤치마크 품질, seed 변동까지 확정되지는 않는다. EMA fp32 사본은 CPU offload를 하더라도 파라미터 메모리와 전송 비용을 더한다. 후속 연구는 quality-per-FLOP 곡선, GPU-hours, peak GPU/CPU memory, 실제 token 수, view 선택 캐시 적중률을 공개해야 한다. 알고리즘 측면에서는 순차적 bandit으로 유망한 view에만 추가 rollout을 배정하고, 성공률 차이가 충분히 벌어지면 조기 종료하며, teacher logit을 top-k 또는 선택 token에만 조회하는 절감형 변형을 비교할 가치가 있다.

7.7 v1 preprint와 공개 코드 부재가 남기는 재현성 문제

현재 원문은 2026년 7월 23일 제출된 arXiv v1이며 NeurIPS 2026 preprint 양식을 사용한다. v1이라는 상태에서는 표의 수치, 데이터 필터, pseudocode 사이의 작은 불일치가 후속 개정에서 바뀔 가능성을 열어 두어야 한다. 실제로 pseudocode에는 selected teacher가 현재 student view이면 reverse-KL에서 제외한다는 구현 세부가 들어가지만, 본문의 수식만 읽으면 모든 selected view에 KL이 적용되는 것으로 이해하기 쉽다. paired row를 같은 minibatch와 data-parallel rank에 배치하는 sampler, EMA fp32 checkpoint와 CPU offload, combined input의 구성 시점도 재현 결과에 영향을 준다. 따라서 핵심 아이디어의 설득력과 구현이 완전히 검증되었다는 판단 사이에는 거리를 둘 필요가 있다.

확인한 v1 원문과 arXiv 초록 페이지에는 공식 공개 코드 저장소나 ODA-Data 다운로드 경로가 제시되어 있지 않다. 상세 hyperparameter와 프롬프트는 도움이 되지만, verl 수정분, reward parser, TikZ 렌더링 환경, 데이터의 pair ID, seed, 정확한 checkpoint가 없으면 37.5% FLOPs 산정과 성능을 독립적으로 재현하기 어렵다. 현실적인 공개 단위는 학습 코드만이 아니다. 데이터 생성 manifest와 라이선스, 합성·검증 응답, train/val pair ID, 최종 모델 및 EMA checkpoint, evaluation command, judge prompt와 raw judge output까지 버전 고정해 제공해야 한다. 공개 전까지는 MIRROR를 재현된 표준 recipe보다 유망한 v1 설계로 다루는 것이 안전하며, 후속 버전에서는 최소 3개 seed의 최종 지표와 실패 run까지 포함한 model card가 필요하다.

7.8 단계적으로 검증할 현실적인 후속 연구

가장 먼저 할 일은 규모 확대보다 원인 분해다. 첫 단계에서는 기존 ODA 문제를 그대로 두고 teacher selection의 posterior confidence, student-view 정보 충분성 gate, token-level alignment gate를 각각 하나씩 추가해 동일 compute에서 비교한다. 두 번째 단계에서는 선별되지 않은 ODA 원분포와 human-authored diagram set을 사용해 accuracy, both-view consistency, calibration, regression rate를 함께 잰다. 세 번째 단계에서 표·차트처럼 fact graph를 만들기 쉬운 도메인으로 옮기고, 완전 등가 view와 부분 중첩 view를 별도 split으로 유지한다. 이 순서라면 성능 변화가 선택기, 데이터 선별, 도메인 전이 중 어디에서 발생했는지 추적할 수 있다.

장기적으로는 view를 텍스트·이미지라는 고정 범주로 취급하지 않고 해상도, crop, OCR, depth, caption, tool output처럼 비용과 관측 가능성이 다른 채널 집합으로 확장할 수 있다. 다만 매 step 모든 view를 16번 평가하는 방식은 view 수에 따라 빠르게 비싸진다. 학습 초기에 수집한 통계를 prior로 사용하고, 정책 변화가 큰 문제에서만 재평가하며, confidence interval이 겹치지 않는 view는 일찍 제거하는 계층형 선택기가 현실적이다. 보고 지표도 최고 정확도에 머물지 말고 teacher query당 개선량, 추론 latency, energy, view가 손상됐을 때의 worst-group 성능을 포함해야 한다. MIRROR의 일반화 여부는 새로운 view가 추가될 때 성능이 오르는지와 함께, 그 view가 없어진 배포 환경에서도 restricted-view 학생이 독립적으로 문제를 풀 수 있는지를 통해 판정해야 한다.

8. 내 해석: view 선택을 비용·불확실성 로그로 확장하기

8.1 운영 로그에서 드러나는 한 가지 약점

30대 AI 개발자이자 연구자인 내가 MIRROR에서 가장 아쉽게 본 약점은 teacher 선택이 K=16의 이진 성공률만 남기고, 그 결정을 내리는 데 든 비용과 통계적 불확실성을 학습 상태로 보존하지 않는다는 점이다. 이전 OPD 리뷰에서 강조한 thinking-pattern consistency와 high-probability token overlap은 teacher가 강하다는 사실보다 student-visited state에서 실제로 읽을 수 있는 신호인지가 중요함을 보여 줬다. 그런데 성공 횟수가 6 대 5인 view를 12 대 1인 view와 같은 hard teacher로 취급하면 이 조건을 관찰할 방법이 없다. SDAR 리뷰의 token-level sigmoid gate가 noisy privileged guidance를 완만하게 제한했던 것과 비교하면, MIRROR의 view 단계에는 아직 그 완충층이 비어 있다.

8.2 비용·불확실성 로그를 이용한 새 후속 제안

내가 제안하는 후속 실험은 문제별 view ledger를 유지하는 것이다. ledger에는 view별 rollout 수, 성공 posterior, token당 비용, teacher-student top-k overlap, prefix별 entropy gap, 최근 선택 전환을 기록한다. 먼저 소수 rollout으로 후보를 훑고 credible interval이 겹치는 view에만 예산을 추가하며, 기대 정보이득을 GPU 비용으로 나눈 값이 낮으면 distillation을 생략한다. 선택 뒤에도 SDAR식 bounded token gate를 적용하되 gate 입력에 log-probability gap과 OPD식 overlap을 함께 넣는다. 이 설계는 MIRROR를 요약해 되풀이하기보다, ‘어느 view가 맞았는가’라는 일회성 판정을 ‘얼마나 확실하고 얼마를 써서, 어느 prefix에서 신뢰했는가’라는 감사 가능한 운영 기록으로 확장한다.

9. 결론: 모달리티 비대칭을 학습 신호로 바꾼 설계

9.1 MIRROR가 확인한 핵심 결과

MIRROR의 중심 성과는 같은 잠재 문제를 표현한 view 사이의 실패 불일치를 명시적인 전이 방향으로 바꾼 데 있다. Qwen3-VL-4B-Instruct는 ODA-Train에서 text-dominant pass@1 29.58%, image-dominant 10.54%, combined 26.84%를 보였지만, 문제별 최고 view의 비율은 text 51.14%, image 37.98%, combined 10.88%였다. 평균적으로 text가 강해도 거의 절반의 문제에서는 다른 view가 더 나았다는 뜻이다. MIRROR는 이 이질성을 지우지 않고 세 view의 온라인 성공률로 teacher를 정한 뒤, restricted student가 생성한 trajectory를 EMA teacher가 다른 view 조건에서 재채점하도록 구성했다.

결과적으로 ODA-Val에서 base 대비 image pass@16은 42.57%에서 57.06%, text pass@16은 80.22%에서 86.10%로 올랐다. 가장 강한 single-view GRPO와 비교해도 각각 8.28점과 2.94점 높았고, mixed-modality GRPO 대비 차이는 11.38점과 4.44점이었다. ODA-Train의 양쪽 view solvability는 base 42.5%, 표준 GRPO 53.6%, MIRROR 60.7%로 증가했으며 net solvability gain은 +8.95%였다. GeoInt에서도 base 대비 pass@1과 pass@16이 각각 7.53점, 7.59점 개선됐다. 이 수치들은 paired prompt를 섞는 것만으로는 생기지 않던 방향성 있는 cross-view supervision이 실제 최적화 신호가 될 수 있음을 지지한다.

9.2 설계에서 중요한 세 개의 안전장치

성능표만큼 중요한 부분은 전이의 제약 방식이다. 첫째, teacher trajectory를 학생에게 그대로 모사시키지 않고 학생 자신의 restricted-view rollout만 학습 상태로 사용해 off-policy mismatch를 줄였다. 둘째, 최종 정답 reward를 쓰는 GRPO 항을 유지하고 reverse-KL을 $\lambda_{\mathrm{KL}}$=0.01의 보조항으로 두어 dense guidance와 task correctness를 결합했다. 셋째, teacher log-probability는 현재 policy 대신 $\alpha=0.99$의 EMA 사본에서 얻었다. 현재 policy teacher는 약 90 step 이후 불안정해져 약 165 step에서 entropy 3.9, reference KL 0.33, reward 0.21로 악화된 반면 EMA는 entropy 약 0.29, reference KL 약 0.02를 유지하며 290 step reward 0.48에 도달했다. self-distillation에서 목표 분포의 시간축을 분리해야 한다는 실증적 근거다.

9.3 적용할 수 있는 조건과 멈춰야 하는 경계

이 방법이 잘 맞는 환경에는 세 조건이 있다. 동일한 문제 ID 아래 여러 view를 정확히 정렬할 수 있어야 하고, restricted student view만으로도 원칙상 정답을 결정할 수 있어야 하며, rollout 결과를 자동으로 비교할 신뢰도 높은 verifier가 있어야 한다. 기하, 원시 표와 차트, 코드와 실행 trace, 구조화 상태와 렌더링 화면처럼 대응 관계를 보존할 수 있는 과제가 후보가 된다. 또한 한 view가 다른 view보다 자주 실패하는 비대칭 사례가 충분해야 한다. 논문의 paired-control ablation에서 명확한 비대칭이 없는 쌍은 text validation pass@1이 4.43% 낮고 image validation은 비대칭 데이터 대비 22.15% 나빴다는 점이 이 조건을 뒷받침한다.

반면 카메라에만 보이는 장애물, 텍스트에만 주어진 안전 규칙처럼 정보가 본질적으로 상보적인 과제에서는 restricted view 간 직접 증류를 조심해야 한다. teacher의 정답이 학생 관측으로 식별되지 않으면 reverse-KL은 지식 전이보다 환각 압력을 만들 수 있다. verifier가 취약한 open-ended 생성, 매 step 세 view를 평가할 수 없는 저비용 배포, paired identity가 불명확한 웹 데이터도 현재 형태의 적용 경계다. 외부 성능 역시 MathVerse 46.53이 Vero-8B 69.33보다 낮고 fixed combined teacher 47.19에도 못 미쳤으며, GeoInt pass@16에서는 일부 baseline이 더 높았다. 따라서 MIRROR는 일반 멀티모달 추론을 완결한 recipe라기보다 정보 등가성이 높은 기하 환경에서 검증된 방향성 있는 자기증류 설계로 위치시키는 편이 정확하다.

9.4 최종 평가

이 논문이 남긴 가장 재사용 가능한 아이디어는 성능이 흔들리는 view를 단순한 robustness failure로 집계하지 않고, 어느 표현에서 현재 모델의 추론 경로가 먼저 열리는지를 온라인으로 찾는다는 관점이다. mixed-modality GRPO의 ray interference, $\lambda_{\mathrm{KL}}$ 과대 설정의 collapse, current-policy teacher의 moving-target drift까지 함께 제시해 성공 조건의 일부도 드러냈다. 동시에 synthetic data 품질, base-model-conditioned ODA-Val, 37.5% FLOPs overhead, v1과 코드 부재는 결론의 폭을 제한한다. 후속 연구가 독립 검증 데이터, 비용·불확실성 기반 selector, 관측 가능성 gate, 여러 backbone 재현을 채운다면 MIRROR의 원리는 기하를 넘어 ‘동일한 잠재 상태를 다른 센서와 표현이 비추는’ 학습 문제로 확장될 수 있다.

10. 요약 정리: MIRROR가 보여 준 핵심 포인트

10.1 연구 결과와 적용 조건 체크리스트

• 같은 기하 문제도 text-dominant, image-dominant, combined view에서 서로 다른 추론 경로와 실패를 보이며, ODA-Train에서는 문제별 최고 view가 text 51.14%, image 37.98%, combined 10.88%로 나뉘었다.
• MIRROR는 K=16 온라인 성공률로 문제별 teacher view를 고르고, restricted-view 학생의 on-policy trajectory를 EMA teacher가 재채점한 reverse-KL 신호와 GRPO outcome reward를 결합한다.
• ODA-Val에서 base 대비 image pass@16은 +14.49점, text pass@16은 +5.88점 개선됐고, 양쪽 view solvability도 42.5%에서 60.7%로 증가했다.
• 단순 mixed-modality GRPO는 view 간 전이 방향을 지정하지 못해 single-view GRPO보다 낮은 training reward를 보였으며, paired data의 존재만으로 cross-view 학습이 보장되지는 않았다.
• EMA teacher는 현재 policy를 즉시 teacher로 쓸 때 발생한 entropy·reference-KL 상승과 장기 collapse를 억제했으며, $\lambda_{\mathrm{KL}}$이 지나치게 크면 보조 정렬이 RL을 압도할 수 있다.
• ODA-Data는 Gemini-3-Pro-Preview가 도형 생성·검증·문장 재작성을 모두 맡았으므로 독립 verifier, 사람 감사, 생성 provenance 공개를 통한 합성 오류 검증이 필요하다.
• ODA-Val은 같은 base model의 modality-dependent failure를 선별한 약 309문제 진단 split이어서, 선별하지 않은 원분포와 다른 모델·자연 도형에서의 추가 평가가 필요하다.
• MathVerse 46.53은 base보다 5.22점 높지만 Vero-8B 69.33과 fixed combined teacher 47.19보다 낮아, 외부 일반화와 전체 최고 성능을 구분해 해석해야 한다.
• MIRROR는 mixed GRPO보다 약 37.5% 많은 FLOPs와 한 모델당 약 4,267 H200 GPU-hours를 요구하며, 현재 v1 원문에는 공식 코드·ODA-Data 공개 경로가 없어 효율 검증과 독립 재현이 남아 있다.