[arXiv 2607.14049] Deep Interaction: 추론 사슬을 직접 고치는 인간-AI 상호작용

Deep Interaction: An Efficient Human-AI Interaction Method for Large Reasoning Models

https://arxiv.org/abs/2607.14049

Hefeng Zhou, Jinxuan Zhang, Jiong Lou, Yuxin Liu, Chaochao Lu, Jingjing Qu, Jie Li | Shanghai Artificial Intelligence Laboratory, Shanghai Jiao Tong University | arXiv:2607.14049 | 2026년 7월

---

1. 서론: 대화로 설명하지 않고 추론을 직접 고치는 상호작용

1.1 긴 추론 사슬이 만든 새로운 교정 문제

추론 능력이 강화된 대규모 언어 모델은 복잡한 과제를 여러 단계로 분해하고 순차적으로 해결하는 능력을 크게 넓혔다. DeepSeek, GPT, Qwen 계열과 같은 최근 모델은 Chain-of-Thought(CoT) 추론을 통해 까다로운 벤치마크에서 강한 성능을 보였고, 이제 단계별 추론은 상용 모델에서도 중요한 작동 방식이 되었다. 그러나 높은 벤치마크 성능이 모든 새 문제에서 깊은 이해나 충분한 지식 기반을 보장하는 것은 아니며, 학습 데이터 밖의 지식이나 더 긴 논리 연결이 필요한 상황에서는 여전히 뚜렷한 오류가 발생한다. 논문의 출발점은 매우 어려운 문제를 맞힐 수 있는 모델조차 여러 단계를 요구하는 중학교 수준의 새로운 문제에서 명백히 잘못된 추론이나 질문과 어긋난 답을 만들 수 있다는 관찰이다.

이 연구가 주로 다루는 대상은 대학 입시와 고급 학술 문제처럼 긴 추론 사슬을 요구하는 복합 과제다. 저자들의 관찰에 따르면 현재 모델은 외부 도구 없이 세 단계 안팎의 개념을 연결하는 문제에는 강하지만, 단계 수가 늘어나면 안정성이 떨어지고 후속 상호작용에서 새 지시를 받아도 기존 추론 경로를 충분히 바꾸지 못한다. 따라서 문제는 최초 응답의 정답률을 넘어, 사용자가 어느 단계가 틀렸는지 찾아낸 뒤 모델을 실제로 다른 추론 궤적으로 옮길 수 있는가에 있다. 논문은 이런 실패가 문제 유형을 가리지 않고 나타나며 추론 모델의 견고성과 통제 가능성을 함께 제한한다고 본다.

일반적인 대화 인터페이스에서 사용자는 응답을 읽고 특정 단계의 오류를 발견하면 다음 메시지에서 그 위치와 이유를 설명한다. 하지만 모델은 “맞습니다, 제가 여기서 실수했습니다”라고 인정한 뒤에도 같은 단계에서 유사한 오류를 반복하거나, 이미 잘못된 전제를 토대로 나머지 계산을 이어 갈 수 있다. 이때 사용자는 오류를 찾는 인지 비용에 더해 위치와 수정 방향을 자연어로 다시 서술하는 비용까지 부담하지만, 그 노력이 올바른 경로 전환으로 이어진다는 보장은 없다. 저자들은 이 반복이 모델에 대한 신뢰를 크게 훼손한다고 보고, 후속 대화를 늘리는 대신 최초 응답 자체를 수정 대상으로 삼는다.

Figure 1: 대화 기반 방법과 Deep Interaction의 서로 다른 파이프라인을 보여 주는 간단한 사례. 대화 기반 피드백은 모델을 잘못된 추론 궤적에 남겨 둘 수 있지만, Deep Interaction은 CoT를 더 세밀하게 편집할 수 있게 한다.

그림 1은 같은 오류를 다루더라도 개입 단위가 달라지면 재생성 경로가 어떻게 달라지는지 대비한다. 대화 방식은 사용자의 설명을 기존 문맥 뒤에 덧붙이므로 모델이 오류를 인정하면서도 원래 궤적을 되풀이할 수 있다. 반면 Deep Interaction은 잘못된 추론 구간을 응답 안에서 직접 교체하고, 맞는 앞부분을 보존한 채 수정 지점 이후를 다시 생성하도록 유도한다. 핵심은 답 전체를 다시 쓰기보다 최초 오류가 생긴 국소 구간에 사람의 판단을 주입하는 데 있다.

1.2 반복 오류를 만드는 세 가지 현상

첫 번째 현상은 학습 문제의 기억이다. 생성 모델은 학습된 패턴을 바탕으로 다음 토큰을 예측하며, instruction tuning을 거치면 대화형 조수처럼 보이지만 학습 세트와 유사한 질문에서는 원래 답안을 암기해 재생할 수 있다. 이 때문에 숫자나 조건을 조금 바꾼 문제에서도 이전 답을 그대로 내거나, 최종 답은 우연히 맞지만 중간 단계는 틀리는 일이 발생한다. 새로운 조건보다 익숙한 표면 패턴이 강하게 작용하면 후속 대화에서 수정 지시를 추가해도 기존 완성 패턴이 다시 나타날 수 있다.

두 번째는 논문이 인용한 performative reasoning과 overthinking 문제다. 모델은 실제로 문제 구조를 이해해 도출하기보다 흔한 풀이 템플릿을 이어 붙이면서도 단계별로 사고하는 것처럼 보일 수 있고, 필요 이상으로 복잡하거나 무관한 단계를 생성해 해결을 방해하기도 한다. 세 번째는 초기 입력 또는 출력 토큰이 특정 추론 경로를 고정하는 sticky thinking이다. 이런 조건에서는 오류가 난 중간 단계만 알려 주는 대화가 모델의 자동회귀적 관성을 충분히 깨지 못하므로, 입력의 구조와 표면 형태까지 바꾸는 교정 장치가 필요해진다.

저자들은 웹 인터페이스에서 질문의 수치나 의미를 크게 바꾸고 새 대화를 시작해도 이전 응답과 거의 같은 문장이 재현되는 현상도 관찰했다고 밝힌다. 논문은 이를 KV cache와 세션 기반 이력 유지가 영향을 주었을 가능성으로 제시하지만, 확정된 인과관계로 단정하지는 않는다. 중요한 실용적 함의는 사용자가 새 정보를 제공했다는 사실만으로 모델의 다음 토큰 분포가 충분히 바뀐다고 가정할 수 없다는 점이다. 따라서 Deep Interaction은 수정 내용의 강조, 기존 문장의 가지치기, 수치 마스킹, 의미 보존 재작성으로 새 입력을 의도적으로 재구성한다.

1.3 논문의 제안과 기여 범위

논문이 제안하는 Deep Interaction은 사용자가 모델의 추론 단계를 문서의 변경 내용 추적 모드처럼 직접 편집하게 하는 인간 개입 패러다임이다. 시스템은 원문과 편집문 사이의 차이를 감지해 삭제, 삽입, 유지 또는 교체된 구간을 구분하고, 구간별 처리를 거친 편집 CoT를 원 질문과 다시 결합한다. 선택적으로 CoT Reprompter가 이를 간결하고 구조화된 Feedback-CoT로 바꾸며, 문제 해결 모델은 수정된 단서를 따라 새 추론과 답을 생성한다. 사용자는 정답 전체를 대신 작성하기보다 명백히 잘못된 단계나 선호에서 벗어난 부분을 고치고, 세부 연산은 계속 모델에 맡긴다.

저자들은 도전적인 STEM 과제에서 기존 대화형 교정보다 correction success rate가 평균 상대 25% 이상 높고 토큰 사용량은 약 40% 적었다고 보고한다. 다만 이 주장은 새로운 추론 모델을 학습해 자체 오류 탐지 능력을 높였다는 뜻은 아니며, 사람이 수정 위치와 내용을 제공한 뒤 추론 시점의 입력을 더 정밀하게 구성했다는 뜻으로 읽어야 한다. 실제 프레임워크는 중간 추론 흔적이 사용자에게 노출되고 편집 가능하다는 조건에 의존하며, 논문도 이 조건과 사용자 교정 품질에 대한 의존성을 한계로 명시한다. 구현된 Human-CoT 응용 모드는 공개 대규모 모델 플랫폼 SafeWork-R1에 배포되어 초대 사용자 대상 시험 단계에 들어갔다.

2. 배경 및 관련 연구: CoT 생성에서 과정 수준 교정으로

2.1 Chain-of-Thought와 탐색 구조의 확장

CoT는 프롬프트 템플릿을 통해 모델이 문제를 단계별로 풀도록 유도하는 접근에서 출발했다. 이후 하나의 선형 사슬만 생성하는 방식을 넘어 여러 생각을 나무 형태로 탐색하는 Tree-of-Thought, 중간 생각 사이의 관계를 그래프로 조직하는 Graph-of-Thought, 자동화된 추론 프레임워크와 Multi-agent CoT가 제안되었다. OpenAI o1 계열의 등장은 CoT 기반 추론 모델이 상용 LLM 서비스의 주류 접근으로 채택되는 중요한 이정표가 되었고, DeepSeek-R1, Qwen 2.5, Gemini 2.5 역시 복합 과제에서 강한 추론 능력을 보였다. 이 흐름은 더 긴 계산과 더 넓은 탐색을 가능하게 했지만, 생성된 중간 단계가 틀렸을 때 사람이 어떻게 적은 비용으로 궤적을 수리할지까지 자동으로 해결하지는 않는다.

기반 모델의 지식과 일반화 능력을 보완하기 위해 RAG, 에이전트, CoT 같은 기법도 발전했다. RAG는 외부 지식을 검색해 입력에 보태고, 에이전트는 행동과 관찰을 반복하며, CoT는 내부 문제를 언어화된 단계로 분해한다. 그러나 Deep Interaction이 겨냥하는 실패는 필요한 정보가 전혀 없는 경우에만 국한되지 않는다. 답변 안에 올바른 초반 단계와 잘못된 중간 단계가 공존하고, 이후 단계가 최초 오류에 오염되는 상황에서 어느 부분을 보존하고 어느 부분을 다시 계산할지가 핵심이다.

이 논문에서 노출된 CoT는 단순한 설명문을 넘어 사용자가 조작하는 제어 표면이 된다. 여러 후보를 생성해 최고 점수의 답을 고르는 방식과 달리, 사용자는 이미 생성된 한 궤적에서 오류 구간을 지정하고 올바른 방향을 직접 써 넣는다. 이 관점에서 Deep Interaction은 새로운 Tree-of-Thought 탐색 규칙이라기보다, 사람이 오류 지점에서 분기를 선택하는 국소적 재시작 방식에 가깝다. 맞는 prefix를 재사용하고 오염된 suffix를 제거한다는 설계가 계산과 문맥을 모두 절약하는 근거가 된다.

2.2 자동 자기 교정과 외부 피드백

LLM 출력의 환각과 사실 오류는 생성 결과를 검증하고 교정하는 연구를 촉진했다. Self-Refine은 같은 모델이 만든 피드백을 이용해 출력을 반복 개선하고, RCoT는 답에서 질문 방향으로 거꾸로 추론해 불일치나 환각을 찾는다. Mind’s Mirror는 자기 평가와 여러 추론 사슬을 결합한 능력을 증류하며, ReAct와 Reflexion 같은 에이전트 계열은 추론을 행동, 관찰 또는 언어적 피드백 기억과 연결한다. 이들은 모델 자체의 비판과 반복을 활용한다는 공통점이 있지만, 모델이 최초 오류를 정확히 찾지 못하면 그럴듯하지만 틀린 경로 안에서 수정이 정체될 수 있다.

관련 연구가 지적하듯 자기 교정은 오류가 쉽게 탐지되는 과제에서 주로 신뢰할 수 있으며, 강한 모델도 자신의 추론 오류 위치를 일관되게 찾아내지 못한다. 그래서 외부 피드백은 현재 모델의 추론을 바로잡는 현실적인 방향으로 남는다. 인간 참여형 CoT는 중간 단계를 사용자에게 보여 주고 검사와 안내를 허용하지만, 일반적인 구현은 잘못된 최종 출력 뒤에 자연어 피드백을 덧붙이는 대화 구조를 사용한다. Deep Interaction의 차별점은 외부 피드백의 존재 여부보다, 사람이 오류 span을 원래 CoT 안에서 직접 교체하고 올바른 단계는 보존한다는 데 있다.

논문 부록은 human feedback과 CoT의 결합을 결과 감독과 과정 감독으로 구분한다. 정답 여부에 기반한 outcome supervision은 수집하기 쉽지만 잘못된 추론 과정을 놓칠 수 있고, 개별 단계를 평가하는 process supervision은 복합 과제에서 더 세밀한 교정을 가능하게 하지만 주석 비용이 크다. ThinkPRM 같은 생성형 과정 보상 모델, 여러 단계의 일관성을 평가하는 계층형 모델, CoT 근거를 생성하는 reward model은 자동 평가 신호를 더 해석 가능하게 만들려는 흐름에 속한다. Deep Interaction은 이런 보상 모델을 학습하는 방법은 아니며, 사람이 발견한 오류와 수정 내용을 추론 시점에 직접 반영하는 국소 과정 교정 장치다.

주석 비용을 낮추기 위해 중요한 샘플에만 사람의 피드백을 집중하거나, 여러 CoT를 생성해 추론 중 정제를 유도하거나, AI가 교사와 판정자 역할을 맡고 사람이 감독하는 방법도 연구되어 왔다. 또 피드백의 목표는 정답성에 더해 추론의 장황함과 인지 난이도처럼 사용 맥락에 맞는 속성으로 확장되고 있다. Deep Interaction 역시 사용자가 명백한 논리 오류와 함께 자신의 기대나 표현 선호에서 벗어난 구간을 수정할 수 있다고 설명한다. 따라서 이 인터페이스는 오류 교정과 선호 정렬을 같은 편집 연산으로 다룰 수 있지만, 입력된 수정이 옳은지 자동으로 보장하지는 않는다.

2.3 단계별 확인 방식과 편집 기반 방식의 차이

이상적인 상호작용은 모델이 단계마다 멈추고 사용자의 확인 또는 교정을 받은 뒤 다음 단계로 넘어가는 형태일 수 있다. 그러나 현재 모델 구조는 이런 중단과 재개를 기본 기능으로 제공하지 않으므로, 실제 구현에서는 매 단계의 출력을 이어 붙여 순차 추론을 흉내 내야 한다. 논문은 단계별 pause-and-confirm 방식이 반복 중단과 피드백 때문에 사용하기 번거롭고 구현 오버헤드도 크다고 본다. Deep Interaction은 모델이 일단 한 번에 답을 생성하게 한 다음 사용자가 최초 응답을 한 차례 편집하도록 하여, 단계마다 승인하는 비용과 긴 사후 대화를 모두 피하려 한다.

복수 답변 중 신뢰도가 높은 결과를 사용자에게 제시하고 최종 출력을 인간 피드백으로 다듬는 선행 접근도 있다. 하지만 다단계 문제를 사후 대화로 검토하면 사용자가 각 단계를 다시 설명해야 하므로 비용이 빠르게 커진다. 편집 기반 방식은 사용자가 이미 읽고 있는 산출물의 해당 문장을 바로 바꾸게 하므로 오류 위치 정보가 diff에 명시적으로 남는다. 그 결과 모델은 “어디가 틀렸는가”라는 자연어 지시를 해석하는 일보다 수정된 논리를 이어 가는 일에 더 집중할 수 있다.

2.4 사람-모델 협업으로서의 정확한 위치

Deep Interaction은 모델의 내재적 추론 능력이나 완전 자동 오류 탐지 시스템을 대체하지 않는다. 사용자가 적어도 오류의 일부를 식별하고 의미 있는 편집을 제공할 수 있어야 하므로, 논문도 일반 사용자보다 과제를 이해하는 전문가 또는 준전문가에게 가정이 더 현실적이라고 밝힌다. 잘못된 인간 교정을 주면 높은 지시 추종성이 오히려 그 오류를 충실히 전파하고 환각을 합리화할 위험도 있다. 따라서 이 방법의 역할은 사람이 제공한 과정 수준 판단을 모델의 재추론으로 연결하는 협업 메커니즘으로 한정된다.

또한 이 방식은 편집 가능한 중간 추론 흔적을 노출하는 모델이나 웹·에이전트 시스템을 전제로 한다. 최종 답만 제공되는 환경에서는 적용이 직접적이지 않으며, 숨겨진 내부 추론을 편집할 수도 없다. 한편 원 CoT, 사람의 diff, Reprompter가 재작성한 Feedback-CoT를 구분해 보면 최종 답의 어느 전환이 사람에게서 왔는지를 기록할 수 있다. 이런 기록은 현재 사례를 고치는 데 머물지 않고, 장차 과정 평가기나 교정 모델을 학습할 데이터로 축적될 가능성이 있다.

3. 방법론: Deep Interaction — 편집, 변경 추적, 의미 보존 재프롬프팅

3.1 전체 프레임워크

Deep Interaction의 전체 흐름은 사용자 질문, 최초 CoT 응답, 사람의 직접 편집, 변경 내용 추적, 구간별 텍스트 처리, 선택적 CoT Reprompter, 교정 응답 생성으로 이어진다. 현재의 대화 교정은 긴 이력이 핵심 정보를 묻게 하고, 오류 위치를 설명하기 위한 반복 대화를 요구한다. 반면 문서 수정과 비슷한 인터페이스에서는 사용자가 출력 안의 문장을 지우거나 삽입하고 교체하므로 오류 위치와 수정 내용이 하나의 구조화된 입력으로 나타난다. 시스템은 이 편집을 원 질문과 함께 재구성해 문제 해결 모델이 수정된 논리에서 추론을 다시 시작하게 한다.

Figure 2: Deep Interaction: 인간과 LLM의 상호작용을 위한 효율적인 인간 개입 프레임워크.

그림 2는 원 질문과 초기 응답에서 출발해 사람이 CoT를 편집하고, 변경 추적 결과를 처리한 뒤 Feedback-CoT를 만들어 재질문하는 전체 경로를 보여 준다. 삭제·삽입·유지 구간은 동일하게 취급되지 않으며, 맞는 앞부분은 압축하고 수정부는 강조하고 오류가 번졌을 뒷부분은 제거한다. Reprompter는 이렇게 정리된 흔적을 의미가 같은 짧은 단서로 바꾸어 원래의 잘못된 문장 배열과 거리를 만든다. 마지막 모델 호출은 전체 대화 이력보다 원 질문과 가공된 수정 CoT에 집중한다.

이 설계의 핵심 원칙은 사람이 답을 주는 대신 추론을 안내한다는 것이다. 사용자는 명백한 오류나 기대와 다른 단계를 바로잡고, 필요하면 뒤이어 수행할 추론 방향을 추가할 수 있지만 모든 세부 계산을 완성할 필요는 없다. 최초 추론의 올바른 부분은 재사용되고, 모델은 수정된 전제 이후의 상세 연산과 최종 답을 새로 생성한다. 따라서 개입은 정답을 대필하기보다 오류가 시작된 지점에서 계산 방향을 교정하는 역할을 맡는다.

3.2 수정형 응답 모드

어려운 질의의 $r$번째 상호작용을 $\mathcal{Q}_r$라고 하고, 모델이 만든 추론 사슬과 최종 답을 각각 $\mathcal{C}_r$, $\mathcal{A}_r$라고 하자. 사용자가 원래 CoT를 편집해 얻은 정제 경로는 $\mathcal{C}_r'$이며, 논문은 이 개입을 $\mathcal{C}_r' \leftarrow \mathrm{HumanEdit}(\mathcal{C}_r)$로 표현한다. 이때 사용자가 수정한 것은 전체 문제의 정답이라기보다 오류가 난 reasoning span과 이후 추론을 위한 지침이다. 모델의 역할은 편집된 경로를 받아 아직 완성되지 않은 세부 추론을 수행하는 것이다.

편집문만 다음 입력으로 넣으면 긴 상호작용에서 모델의 주의가 원 질문 $\mathcal{Q}_r$로부터 멀어질 수 있다. 이를 막기 위해 논문은 해당 질문이 이전 문맥에 약하게 의존하고, 필요한 선행 지식이 $\mathcal{C}_r'$ 안에 있거나 사용자가 편집 과정에서 보충한다는 가정을 둔다. 다음 입력은 $\mathcal{Q}_{r+1} \gets \mathrm{concat}(\mathcal{Q}_r, \mathcal{C}_r')$로 구성되며, 모델은 여기서 새 추론 $\mathcal{C}_{r+1}$과 답 $\mathcal{A}_{r+1}$을 생성한다. 즉 원 질문을 잃지 않으면서도 이전 대화 전체를 그대로 누적하지 않는 것이 입력 설계의 핵심이다.

제품 수준 구현에서는 어느 시점의 CoT를 편집할 수 있는지도 제한해야 한다. 논문 부록의 SafeWork-R1 구현은 현재 라운드에서 바로 이전 응답을 수정하는 것은 허용하지만, 더 오래된 라운드로 돌아가 편집해 이후 결과와 논리적 역전을 만드는 것은 막는다. 한 번 편집을 수행하거나 새 대화 라운드가 시작되면 해당 CoT 영역은 잠겨 다시 수정할 수 없다. 이 정책은 과거 상태가 미래 결과의 영향을 받는 듯한 혼란을 방지하고, 각 편집이 어느 재생성 분기를 만들었는지 명확히 한다.

3.3 변경 내용 추적과 구간별 정제

저자들의 실험에서 오류가 있는 CoT는 대체로 세 구간으로 나타난다. 앞부분에는 맞는 단계가 있고, 중간에는 명백한 오류가 있으며, 뒷부분의 전략은 겉보기에 타당할 수 있지만 앞선 오류의 영향을 받아 오염된다. 사용자는 주로 가운데 오류 구간을 수정하고, 이후 내용은 인지 비용 때문에 모두 지우거나 일부만 고치거나 그대로 둘 수 있다. Deep Interaction은 이 행동을 반영해 편집된 CoT를 pre-edit, edit-section, post-edit으로 나누고 서로 다른 연산을 적용한다.

세밀한 변경 추적의 기본 도구로는 Myers Diff 알고리즘을 변형해 사용한다. 원 CoT $\mathcal{C}_r$와 편집문 $\mathcal{C}_r'$를 토큰화한 뒤, $k$번째 편집 구간을 $\Delta_k=\langle s_k,e_k,o_k,\mathrm{text}_k\rangle$로 기록한다. 여기서 $s_k$와 $e_k$는 시작·끝 토큰 인덱스이고, 연산 $o_k$는 $\{\mathrm{equal},\mathrm{delete},\mathrm{insert},\mathrm{replace}\}$ 중 하나다. 전체 변경 집합은 $\Delta(\mathcal{C}_r,\mathcal{C}_r')=\{\Delta_k\}_{k=1}^{n'}$로 표현되므로, 시스템은 사용자가 어느 span을 유지하고 삭제하거나 교체했는지 명시적으로 알 수 있다.

논문은 편집 규모를 $\mathcal{D}(\mathcal{C}_r,\mathcal{C}_r')=\frac{1}{L}\sum_{k=1}^{n'}(e_k-s_k)\cdot w(o_k)$로 측정한다. $L$은 문장 수이며 연산 가중치 $w$는 삽입과 삭제에 1, 교체에 2를 부여한다. 교체는 기존 구간을 없애고 새 구간을 넣는 복합 변화이므로 더 큰 가중치를 받는다. 다만 이 거리는 변화량을 정규화하는 척도이고, 사람의 편집이 논리적으로 옳다는 사실을 판정하는 검증기는 아니다.

Emphasis는 사용자가 바꾼 edit-section을 모델이 놓치지 않도록 명시적으로 강조하는 연산이다. 가능한 방식으로 Markdown, 대문자화, [IMPORTANT] 같은 접두 태그가 있으며, 논문의 기본 구현은 수정 텍스트 양쪽을 이중 별표로 감싼다. 여기서 강조 표식은 단순한 시각 효과를 넘어 재프롬프트 안에서 사용자 수정의 우선순위를 높이는 입력 신호다. 기존 대화처럼 “앞에서 말한 세 번째 줄을 고쳐라”라고 위치를 다시 설명하지 않아도 diff가 대상 구간을 직접 지정한다.

Pruning은 pre-edit의 올바른 정보를 보존하되 장황함을 줄이는 연산이다. 시스템은 LLM 출력의 Markdown 구조를 활용해 줄바꿈이나 마침표 단위로 텍스트를 나누고, 문장 임베딩으로 의미 유사도를 계산한다. 이어 “이 문제에서”, “이를 풀기 위해”, “다음으로”, “확인”처럼 정보 가치가 낮은 구절 약 20%를 걸러 낸다. 목적은 맞는 앞부분을 버리기보다 원 질문과 수정 논리에 필요한 의미를 유지하면서 일반적이고 중복적인 표현을 제거하는 것이다.

Removing은 post-edit에 전파된 오류가 새 추론을 방해하지 않게 하는 연산이다. 중간 단계의 계산만 틀리고 전체 전략은 맞는 예외도 있지만, 사용자가 뒤 문장을 불완전하게 남기면 모델은 그것을 유효한 계속 지시로 오해할 수 있다. 구조화된 응답이라면 후속 추론의 표지가 될 섹션 제목만 남기고, 별도 구조가 없다면 내용 전체를 제거한다. 이 선택은 기존 suffix를 고쳐 쓰기보다 수정된 지점에서 새 suffix를 생성하도록 만드는 장치다.

Delexicalization은 원 출력이나 학습 데이터와 같은 위치에 나타나는 수치가 암기된 완성을 촉발하는 문제를 완화한다. 구현에서는 숫자를 마스킹해 모델이 고정된 수치 배열보다 문장의 의미와 수정된 관계에 집중하도록 한다. 알고리즘상 pre-edit에는 pruning과 number masking을 적용하고, edit-section에는 emphasis를 적용하며, post-edit에는 removing과 number masking을 적용한다. 이렇게 가공한 문장 조각을 다시 이어 $\mathcal{C}_r'$를 만들고 원 질문과 결합한 뒤 새 모델 응답을 얻는다.

전체 알고리즘은 먼저 대화 이력과 현재 질문으로 최초 $(\mathcal{C}_r,\mathcal{A}_r)$을 생성하고, HumanEdit와 TrackChanges를 차례로 수행한다. 변경 결과를 문장 수준으로 분할한 뒤 각 조각의 구간 유형에 맞춰 정제하고, 처리된 조각을 병합한다. 그다음 $Q_{r+1}=\mathrm{concat}(Q_r,\mathcal{C}_r')$를 문제 해결 모델에 넣어 $(\mathcal{C}_{r+1},\mathcal{A}_{r+1})$을 받는다. 새 응답은 이후 이력에 추가되지만 교정 호출 자체는 원 질문과 정제된 편집 CoT를 중심으로 구성된다.

3.4 의미 보존 변환과 CoT Reprompter

변경 추적과 구간별 처리만으로도 새 입력은 여전히 원래 문장과 지나치게 비슷할 수 있다. 예를 들어 최초 출력이 맞는 $Step_1$, 틀린 $Step_2$, 틀린 $Step_3$, 틀린 답으로 이어졌고 사용자가 $Step_2$를 올바른 $Step_2'$로 고쳤다고 하자. 새 입력이 질문, $Step_1$, $Step_2'$의 배열을 그대로 유지하면 모델은 강한 순차 기억 때문에 예전의 틀린 $Step_3$ 이후를 다시 생성할 수 있다. 따라서 수정 의미는 보존하되 표면 문장과 배열을 바꾸는 semantic-equivalent transformation이 필요하다.

CoT Reprompter는 사람이 편집한 흔적을 간결하고 명료한 Feedback-CoT로 증류하는 LLM 기반 모듈이다. 첫 구현 경로는 매우 큰 모델에 원 질문, 알고리즘으로 얻은 초기 편집 CoT, 정답 생성이 검증된 최적 CoT의 triplet 예시를 few-shot으로 제공하고 새 편집문을 변환하게 한다. 두 번째 경로는 같은 파이프라인으로 triplet 학습 데이터를 자동 구성하고 가벼운 모델을 fine-tuning하는 방식이다. 논문은 경량 모델 경로가 추론을 빠르게 해 사용자가 백엔드 처리 시간을 알아차리기 어렵게 하는 장점이 있다고 설명한다.

fine-tuning 데이터는 사람이 고친 CoT와 완전히 올바른 CoT·최종 답의 누적 기록에서 만든다. 초기 편집 CoT를 단순화 프롬프트로 반복 축약한 다음, 원 질문과 축약 단서를 넣어 얻은 추론과 답이 정답 쌍과 일치하는지 검사한다. 정답성이 유지되면 더 짧은 버전으로 갱신하고 실패 횟수를 초기화하며, 연속 실패가 최대값 $N=3$에 도달하면 마지막으로 유효했던 간결한 단서를 반환한다. 이 절차의 산출물은 사람이 편집한 CoT와 의미가 같으면서도 정답 생성을 유지하는 최소 Feedback-CoT 쌍이다.

이 재작성 단계는 사용자의 수정 의도를 더 잘 전달할 수 있지만 새로운 오류 지점이기도 하다. 논문 부록에서 fine-tuned Qwen2.5 7B VL Reprompter와 GPT-4o 판정자를 사용해 Gaokao-MM의 의미 보존 재작성 617쌍을 평가했을 때 faithfulness rate는 87.2%였다. 엄격한 판정에서 79건이 hallucination 사례로 분류되었고, 이 집단의 correction rate는 69.6%로 정상 538건의 89.0%보다 낮았다. 따라서 Reprompter는 의미 보존이 자동으로 보장되는 무손실 압축기로 볼 수 없고, 원 diff와 함께 검증해야 할 학습·추론 모듈이다.

3.5 사례로 보는 국소 교정

Figure 3: 인과 추론에서 편집 기반 교정을 적용한 사례. 핵심 추론 구간만 수정함으로써 Deep Interaction은 편집된 근거를 더 잘 따르는 응답으로 모델을 유도한다.

그림 3은 인과관계에 관한 응답 전체를 다시 지시하지 않고 잘못된 핵심 의미 구간만 바꾸는 사례를 보여 준다. 사용자의 편집은 모델이 따라야 할 인과 방향을 명시하며, 시스템은 그 수정부를 강조하고 오염된 후속 설명을 새로 생성한다. 이 사례가 보여 주는 것은 모델의 독립적인 오류 탐지를 보여 주기보다 정확한 span에 외부 판단이 주어졌을 때의 경로 전환 능력이다. 따라서 성공 여부는 편집의 위치와 의미가 타당하다는 조건에 의존한다.

Figure 4: 시각적 오해와 안전 추론이 얽힌 상황 교정 사례. 핵심 의미 구간을 편집하면 재생성된 응답이 의도한 장면 이해와 질문의 초점에 더 잘 맞는다.

그림 4는 이미지 해석 오류와 안전 판단의 누락이 함께 있는 상황에서 핵심 의미 span을 수정하는 과정을 담는다. 사용자는 장면을 처음부터 장문으로 재설명하는 대신 잘못 인식된 대상과 안전상 중요한 초점을 응답 내부에서 바로 고친다. 재생성 모델은 수정된 장면 이해를 전제로 나머지 판단을 다시 구성하므로 질문의 의도와 더 잘 정렬된다. 다만 이미지 정보 손실 자체를 복구하는 시각 모델은 아니어서, 사람이 올바른 시각 의미를 제공하지 못하면 같은 장점을 기대하기 어렵다.

4. 실험 설정: 복합 추론의 교정 가능성과 비용을 재는 설계

4.1 Datasets

논문은 정성 사례와 정량 평가를 구분해 여러 난이도와 오류 유형을 포함한다. 일반 안전 정렬 사례, 논리 문제, 단순해 보이지만 자주 틀리는 STEM 문제는 방법의 작동 방식을 보여 주는 사례 연구에 사용된다. 정량 벤치마크로는 주석된 풀이와 정답을 제공하는 ScienceQA, Gaokao-MM, LogicQA를 선택한다. 이미지가 포함된 복합 문제는 언어 추론과 함께 시각 의미의 오해를 교정할 수 있는지까지 구분해 보기 위한 중요한 평가 축이다.

ScienceQA는 이 실험에서 비교적 단순한 데이터로 취급되며, 대체로 두 단계 이내의 추론과 적은 계산을 요구한다. 예비 시험에서 Long Thinking을 쓰지 않은 baseline 모델의 직접 통과율은 93.2%±1%였지만, 이미지가 포함되면 성능이 4% 넘게 하락했다. 저자들은 이 차이 때문에 멀티모달 데이터를 사용하면 어려운 추론 조건에서 방법 간 차이를 더 분명히 볼 수 있다고 설명한다. ScienceQA에는 전문 사용자가 부분 계산을 직접 수행하는 expert mode를 적용하지 않는다.

Gaokao-MM은 중국 대학 입시형 멀티모달 문제를 제공하며, 모델 규모별 일반화 실험에도 사용된다. LogicQA는 논리적 추론의 교정 여부를 측정하고, 두 데이터 모두 표준 풀이와 정답을 QAgent의 판정 및 피드백 생성에 활용할 수 있다. 이처럼 reference solution이 있는 데이터는 자동화된 반복 교정 실험을 대규모로 수행하기에 적합하다. 동시에 표준 풀이를 보는 판정자가 실제 사용자보다 훨씬 많은 정답 정보를 갖는다는 점은 결과를 해석할 때 분리해 보아야 한다.

저자들은 별도로 수학, 물리, 화학, 생물에서 각각 고난도 문제 5,000개를 수집해 총 20,000문항의 STEM20K를 구성했다. 모든 문항에는 상세 풀이가 붙어 있고, 범위는 대학 입시부터 대학 수준 교육과정까지 걸치며 Gaokao-MM보다 복잡한 문제로 설계되었다. 논문 작성 시점에는 데이터 전체를 추후 공개할 예정이며, 보충 자료에는 각 과목의 첫 25개 문항 원문을 볼 수 있는 Gradio 기반 경량 뷰어가 포함되었다. 채택 이후에는 참조 답이 달린 멀티모달 문제 약 1,000개 규모의 일부 데이터도 공개할 계획이라고 밝힌다.

4.2 Implementation

주 문제 해결 모델은 API로 호출한 최신 Qwen-VL-Max이며, 비슷한 성능대의 GPT, Gemini, Claude도 교차 모델 비교에 포함한다. CoT Reprompter의 few-shot in-context learning 경로에는 Qwen-VL-72B를 사용하고, fine-tuning 경로에는 Qwen-VL-7B를 기반 모델로 사용한다. 실험 환경과 모델 fine-tuning은 64코어 CPU, RAM 400GB, A100 GPU 4장을 갖춘 클라우드 서버에서 수행되었다. 이 구성은 최종 답을 생성하는 solver와 편집 흔적을 재작성하는 Reprompter가 서로 다른 모듈임을 분명히 한다.

평가는 최초 답과 여러 차례의 교정 뒤 답을 구분한다. STEM 문제는 최종 답과 추론이 모두 완전히 맞아야 통과하며, 처음 생성부터 맞으면 direct pass, 반복 대화 또는 편집으로 $x$번째 라운드 안에 성공하면 pass within xR로 기록한다. 대규모 데이터의 기본 시험은 데이터셋마다 두 번 수행하고, 두 실행 가운데 적어도 한 번 풀이 접근과 답이 모두 맞으면 통과로 센다. 본문 표에는 더 긴 라운드별 누적 성능도 보고되지만, 부록은 질문량 때문에 전체 문항을 5회씩 검증할 수 없어 두 번의 검증 규칙을 사용했다고 설명한다.

Correction Rate는 복수 단계 문제를 한 번에 완전히 고치기 어렵다는 점을 반영해, 모델이 주어진 교정 지침을 따르고 목표 단계에서 올바른 결과를 만들었는지를 측정한다. 정의는 $CR=\frac{\text{Count of Effective correction Corrected}}{\text{Counts of Attempts}}\times100\%$이다. 이 지표는 전체 문제의 최종 정답률과 구분되며, 특정 오류 구간에 제공한 피드백이 실제로 반영되었는지를 본다. 따라서 direct pass가 낮더라도 교정 지시를 잘 따르는 모델은 높은 CR을 가질 수 있다.

Token Cost는 입력과 출력을 모두 포함해 두 번의 실행에서 문항당 평균 토큰 비용을 비교한다. 대화 baseline은 압축하지 않은 전체 이력을 사용하므로 라운드가 늘수록 입력 비용이 빠르게 증가하고, 논문의 기반 모델 호출은 별도 이력 최적화 없이 fresh session으로 수행된다. 비용 통계에는 $x$라운드보다 앞서 정답을 낸 문항만 포함되며, $x$라운드까지 성공하지 못했거나 이후 라운드에서만 성공한 문항은 제외된다. 그러므로 보고된 토큰 절감은 같은 성공 문항 집합에서의 모델 입출력 비용이며, 사람이 CoT를 읽고 편집하는 시간까지 합친 총비용과는 다르다.

대규모 평가를 위해 저자들은 표준 풀이를 활용해 인간의 교정 개입을 모사하는 멀티모달 QAgent를 개발했다. QAgent는 텍스트 질문과 이미지를 target LLM에 보내고, 별도의 judge LLM이 target 응답을 표준 답과 비교하되 CoT의 일관성을 중점적으로 판정하게 한다. 답이 틀리면 judge가 corrective feedback을 생성하고 다음 라운드 prompt를 구성하며, 정답을 얻거나 최대 라운드에 도달할 때까지 이 과정을 반복한다. 실험 이력에는 라운드, prompt, target 응답, 정답 판정, feedback이 차례로 저장된다.

QAgent 도입 전에는 STEM 문제 400개를 사람이 직접 시험해 proof of concept를 만들었다. 이후 자동 판정의 신뢰도를 확인하기 위해 QS 상위 100위권 대학 학생들과 정렬 연구를 수행했고, 최초 모델이 실패한 가장 어려운 문제 200개에서 QAgent의 교정 경로와 성공률을 인간 전문가와 비교했다. 아래 표 1은 라운드 안에 통과한 누적 문항 수를 원문의 값 그대로 옮긴 것이며, QAgent와 사람의 차이가 평가 자동화의 근거로 사용되었다. 다만 1R의 Gap은 원문 표에서 숫자 대신 대시로 표기되어 있다.

표 1. 서로 다른 라운드 안에서의 통과 비교.

Within	Within 1R	Within 2R	Within 3R	Within 4R
QAgent	0	50	100	150
Human	10	58	112	172
Gap	-	0.16	0.12	0.147

또 다른 검증에서는 STEM20K의 각 과목에서 100문항을 무작위로 뽑아 수동 검토 결과와 QAgent 출력을 비교했다. 표 2는 수동 확인 오류, QAgent가 출력한 오류, 실제로 일치한 오류, recall rate, false positive rate를 수학·물리·화학·생물별로 제시한다. recall은 각각 0.942, 0.954, 0.895, 0.956이었고 false positive rate는 0.077, 0.091, 0.042, 0.044였다. 논문은 이 일치도를 근거로 QAgent의 능력이 실제 평가와 가깝다고 결론짓고, ScienceQA는 전수 인간 검증하고 다른 데이터셋은 기계 평가와 학생 교차 확인을 사용했다.

표 2. 과목별 오류율 비교.

Subject	Mathematics	Physics	Chemistry	Biology
Manually Confirmed Errors	52	44	48	45
QAgent Output Errors	53	46	45	45
Actual Hit Errors	49	42	43	43
Recall Rate	0.942	0.954	0.895	0.956
False Positive Rate	0.077	0.091	0.042	0.044

두 표는 자동 평가가 사람 판정과 얼마나 비슷한지를 점검하지만, QAgent가 일반 사용자의 실제 상호작용을 그대로 재현한다는 뜻은 아니다. QAgent는 표준 답과 reference solution을 받아 오류를 판정하고 corrective feedback을 만들기 때문에, 정답을 모르는 사용자가 최초 오류를 찾고 올바른 대체 추론을 작성하는 어려움이 이미 해결된 조건이다. 논문이 측정한 대규모 교정 성능은 gold-quality에 가까운 국소 피드백이 주어진 뒤 edit-and-reprompt가 얼마나 잘 작동하는지를 강하게 보여 준다. 반면 사람의 읽기 시간, 전문성 차이, 잘못된 수정의 빈도까지 포함한 종단간 효율은 별도의 사용자 연구가 더 필요하다.

4.3 Baselines

가장 직접적인 baseline은 사용자가 오류를 후속 메시지로 설명하고 모델이 전체 대화 이력을 받아 다시 답하는 dialogue-based correction이다. Deep Interaction과 대화 방식 모두 어려운 문제를 한 번에 반드시 고칠 수 없으므로, 비교는 반복 라운드 안에 결국 정답에 도달하는지를 측정한다. 대화 baseline에는 압축되지 않은 전체 history가 들어가고, Deep Interaction에는 원 질문과 정제된 편집 CoT가 중심 입력으로 들어간다. 따라서 비교되는 차이는 피드백의 존재 여부보다 같은 교정 정보를 대화 이력으로 전달하는지, 응답 내부의 구조화된 수정으로 전달하는지에 있다.

추가 baseline인 RCoT는 최종 답에서 질문으로 거슬러 올라가는 reverse reasoning으로 불일치 지점을 탐지하는 자기 교정 방식이다. Self-Refine은 모델이 생성한 self-feedback을 이용해 답을 반복 개선하고, Interactive Reasoning은 단계별 상호작용과 외부 안내를 통해 응답을 정제한다. 논문은 네 방법이 동일한 최초 라운드 성능에서 시작하도록 두고 이후 라운드의 누적 정확도 변화를 비교한다. 이 설정은 자동 자기 비판, 일반 상호작용, 오류 span 직접 편집이 그럴듯하지만 잘못된 궤적을 얼마나 잘 벗어나는지 보기 위한 것이다.

전문가가 일부 계산을 직접 수행하고 LLM을 검증에 활용하는 -Expert 모드도 별도로 둔다. 이 모드는 표준화된 교육용 풀이 생성도 지원하며, 대규모 추론 결과는 전문가 주석에 맞춰 보정한 LLM judge로 평가한다. 다만 ScienceQA는 비교적 짧고 계산이 적기 때문에 expert mode를 사용하지 않고, STEM20K, Gaokao-MM, LogicQA처럼 더 복잡한 조건에서만 사람의 전문 계산이 더해진 설정을 구분한다. 그러므로 Ours-Expert와 일반 Deep Interaction의 차이는 인터페이스 효과와 함께 사람이 제공하는 계산 정보량의 차이도 포함한다.

모델 자체의 크기가 교정 성능을 제한하는지 확인하기 위해 같은 Qwen 계열의 Qwen2.5-VL-7B, 32B, 72B에서도 대화 방식과 Deep Interaction을 짝지어 비교한다. 이 분석에는 규모별 차이가 잘 드러나는 Gaokao-MM을 사용하고 Direct Pass, Within 1R, Within 2R, CR을 공통 지표로 둔다. 또한 GPT-4o, Gemini-2.0, Claude-3.7에서도 dialogue와 edit 기반 교정의 민감도를 비교해 특정 solver에만 맞춘 현상인지 점검한다. Reprompter 역시 Qwen-72B, GPT4o-mini, Claude-3.5H 계열을 교차 결합해 target solver와 같은 모델 가족에 묶여 있는지를 별도로 확인한다.

마지막으로 구성 요소의 필요성을 검증하는 ablation baseline도 설계한다. 직접 편집을 제거한 변형은 오류 span 대신 관련된 3라운드 대화 이력을 모델에 제공하고, 나머지 변형은 Text Processing 또는 CoT Reprompter를 하나씩 제거한다. 평가는 Gaokao-MM에서 첫 교정 라운드 성능, correction accuracy, token consumption, latency의 상대 변화를 함께 측정한다. 이 비교를 통해 성능 향상이 단순히 더 많은 문맥을 넣은 결과인지, 아니면 직접 편집·구조화된 텍스트 처리·목표 지향 재프롬프팅의 결합에서 나오는지를 구분한다.

5. 주요 실험 결과: 라운드별 정확도, 교정 민감도와 비용의 동시 개선

5.1 데이터셋별 라운드 누적 통과율

핵심 평가는 최초 응답에서 풀이와 답이 모두 맞은 Pass directly와, 교정을 반복해 정해진 라운드 안에 완전한 정답에 도달한 Within xR을 분리한다. 따라서 Within 1R부터 Within 4R까지의 값은 각 라운드에서 새로 성공한 비율과 다르며, 해당 시점까지 성공한 누적 통과율이다. 일반 Deep Interaction은 Ours, 전문 사용자가 일부 계산을 수행하고 모델로 검증하는 조건은 Ours-Expert로 표기된다. 원문은 ScienceQA가 대체로 두 단계 이내의 짧은 추론과 적은 계산을 요구한다고 보아 이 데이터셋에는 Expert 모드를 적용하지 않았다.

아래 표 3은 ScienceQA, STEM20K, Gaokao-MM, LogicQA의 라운드별 수치를 원문 표에서 그대로 옮긴 것이다. Ours 계열의 direct 칸에 있는 대시는 미보고 값이며 0%를 뜻하지 않는다. 비교의 초점은 동일한 문제 해결 모델이 최초 응답을 낸 뒤, 오류 정보를 압축하지 않은 대화 이력으로 전달하는 방법과 응답 내부의 오류 구간을 직접 편집해 전달하는 방법이 몇 라운드 안에 정답으로 수렴하는지에 있다.

표 3. 데이터셋과 교정 라운드별 누적 통과율.

데이터셋	방법	Pass directly	Within 1R	Within 2R	Within 3R	Within 4R
ScienceQA	Dialogue based	89.12%	94.31%	96.45%	97.27%	98.05%
ScienceQA	Ours	-	97.10%	97.93%	98.59%	99.05%
STEM20K	Dialogue based	54.15%	65.18%	72.93%	78.72%	80.35%
STEM20K	Ours	-	74.89%	79.27%	81.52%	86.69%
STEM20K	Ours-Expert	-	82.36%	86.45%	89.55%	92.41%
Gaokao-MM	Dialogue based	67.96%	80.76%	85.61%	87.30%	88.85%
Gaokao-MM	Ours	-	86.98%	88.91%	91.25%	93.42%
Gaokao-MM	Ours-Expert	-	90.56%	92.27%	94.74%	96.60%
LogicQA	Dialogue based	81.67%	91.76%	94.81%	95.70%	96.75%
LogicQA	Ours	-	94.36%	96.47%	97.12%	98.04%
LogicQA	Ours-Expert	-	97.25%	98.46%	99.14%	99.57%

ScienceQA에서는 Ours가 1R 97.10%에서 4R 99.05%로 올라가며, 같은 시점의 dialogue 94.31%와 98.05%보다 계속 높다. 난도가 더 높은 STEM20K에서는 차이가 더 선명하다. Dialogue는 direct 54.15%, 1R 65.18%, 4R 80.35%인 반면 Ours는 1R 74.89%, 4R 86.69%이고, Ours-Expert는 각각 82.36%와 92.41%다. 일반 편집 방식과 전문가 조건을 한데 묶어 해석하기보다 사용자가 추가한 계산 정보량이 서로 다르다는 점을 유지해야 한다.

Gaokao-MM에서도 dialogue의 1R 80.76%와 4R 88.85%에 대응하는 Ours 값은 86.98%와 93.42%이며, Ours-Expert는 90.56%와 96.60%다. LogicQA에서는 dialogue가 91.76%에서 96.75%로, Ours가 94.36%에서 98.04%로, Ours-Expert가 97.25%에서 99.57%로 증가한다. 모든 데이터셋에서 라운드가 늘수록 누적 통과율은 상승하지만, 표의 각 동일 라운드 비교에서는 편집 기반 방법이 dialogue보다 높은 값을 유지한다.

전체 통과율만으로는 어떤 종류의 오류가 실제로 교정되었는지 알기 어렵다. 원문은 오류를 이미지 인식, 사고 진행, 추론 일관성, 수치 계산으로 나누고, 각 유형의 비중과 첫 교정 라운드의 통과율을 함께 제시한다. 이 분해는 Deep Interaction이 텍스트로 드러난 reasoning span을 고치는 데 강한지, 시각 입력에서 정보가 이미 소실되거나 잘못 해석된 상황에서도 같은 효과가 유지되는지를 구별하기 위한 분석이다.

Figure 5: 오류 유형별 비중과 첫 상호작용 라운드의 통과율 변화.

그림 5에서 이미지 인식 오류의 비중은 21.59%이고 1R 통과율은 dialogue 61.52%, Ours 59.91%다. 사고 진행은 47.36%, 31.21%, 45.33%, 추론 일관성은 12.73%, 21.47%, 39.88%, 수치 계산은 18.32%, 27.65%, 30.11% 순이다. 편집 방식의 이득은 사고 진행과 추론 일관성에서 뚜렷하지만, 이미지 의미가 처음부터 잘못 들어온 경우에는 두 방법 모두 제약을 보인다.

저자들은 첫 라운드 교정 통과율과 Correction Rate를 함께 볼 때 상대 증가율이 평균 25%를 넘는다고 요약한다. 다만 그림 5는 오류 유형별 편차가 크다는 사실도 보여 준다. 올바른 시각 정보가 CoT에 존재하지 않으면 텍스트 편집만으로 손실된 장면 정보를 복원하기 어렵고, 원문 역시 MLLM의 시각 의미 이해 향상을 후속 과제로 지목한다. Deep Interaction의 강점은 특히 사용자가 잘못된 사고 단계나 일관성 붕괴 지점을 읽고 유효한 대체 reasoning을 제공할 수 있는 조건에서 드러난다.

5.2 GPT, Gemini, Claude에서의 교차 모델 결과와 Correction Rate

특정 solver에만 맞춘 효과인지 확인하기 위해 원문은 GPT-4o, Gemini-2.0, Claude-3.7에서 dialogue와 Ours를 비교한다. 여기서 Correction Rate는 전체 문제를 완전히 해결한 비율과 구별된다. 모델이 사용자의 교정 지침을 따르고 목표로 삼은 단계에서 올바른 결과를 만들었는지를 $CR=\frac{\text{Count of Effective correction Corrected}}{\text{Counts of Attempts}}\times100\%$로 계산한다. Pass directly는 방법 적용 전 같은 모델의 최초 성능이므로 각 모델의 두 행에 공통으로 대응한다.

표 4에는 모델별 direct pass, 1R·2R 누적 통과율, CR이 함께 들어 있다. 최초 성능은 Claude 58.82%, Gemini 52.01%, GPT 49.69% 순이지만, 교정 지시를 얼마나 잘 따르는지는 같은 순서로 정렬되지 않는다. 원문은 Gemini가 중간 수준의 baseline 능력을 보이면서도 교정 지시 준수는 강하다고 해석하며, 이를 특히 높은 CR로 뒷받침한다.

표 4. 서로 다른 LLM에서 dialogue와 Deep Interaction 비교.

모델	방법	Pass directly	Within 1R	Within 2R	CR
GPT-4o	Dialogue	49.69%	69.97%	77.70%	67.36%
GPT-4o	Ours	49.69%	73.99%	84.98%	78.93%
Gemini-2.0	Dialogue	52.01%	77.24%	85.29%	78.81%
Gemini-2.0	Ours	52.01%	83.77%	89.47%	90.06%
Claude-3.7	Dialogue	58.82%	80.50%	87.46%	70.86%
Claude-3.7	Ours	58.82%	84.67%	90.56%	83.45%

GPT-4o에서 Ours는 dialogue의 1R 69.97%, 2R 77.70%, CR 67.36%를 각각 73.99%, 84.98%, 78.93%로 높인다. Gemini-2.0은 1R 77.24%에서 83.77%, 2R 85.29%에서 89.47%, CR 78.81%에서 90.06%로 변한다. Claude-3.7도 80.50%에서 84.67%, 87.46%에서 90.56%, 70.86%에서 83.45%로 같은 방향을 보인다. 세 모델 모두 Ours의 1R, 2R, CR이 대응하는 dialogue 값보다 높다.

이 결과에서 direct pass와 CR을 혼동하면 모델의 성격을 잘못 읽을 수 있다. Claude는 세 모델 가운데 direct pass가 가장 높지만 Ours CR은 83.45%이고, Gemini의 Ours CR은 90.06%로 더 높다. 즉 최초 문제 해결 능력과 이미 지적된 오류를 수정 지시에 맞춰 고치는 민감도는 별도 축이다. Deep Interaction은 모델이 모르는 지식을 새로 공급하는 장치보다는, 사람이 제공한 수정 신호를 어느 reasoning span에 적용할지 분명하게 만드는 전달 구조로 평가된다.

5.3 과목별 교정률과 교정 민감도의 변화

STEM20K의 과목별 분석은 수학, 물리, 화학, 생물에서 Correction Rate가 어떻게 달라지는지 보여 준다. 표 5의 모든 과목에서 Ours가 dialogue보다 높지만 절대 수준에는 차이가 있다. 원문은 물리와 생물이 두 상호작용 방식에서 모두 상대적으로 낮은 성능을 보인다고 설명한다. 특히 생물의 일부 도표 수치가 높게 보이는 경우에는 표본 수가 작다는 점을 함께 지적한다.

표 5. STEM20K 과목별 Correction Rate.

과목	Dialogue	Ours
수학	55.18%	72.20%
물리	50.15%	67.37%
화학	48.62%	71.17%
생물	45.41%	62.57%

수학은 55.18%에서 72.20%, 물리는 50.15%에서 67.37%, 화학은 48.62%에서 71.17%, 생물은 45.41%에서 62.57%로 높아진다. Ours의 최고값은 수학 72.20%, 최저값은 생물 62.57%이고, dialogue에서도 수학 55.18%가 가장 높고 생물 45.41%가 가장 낮다. 화학은 dialogue 48.62%로 물리보다 낮게 시작하지만 Ours에서는 71.17%로 물리의 67.37%보다 높아져, 과목별 지시 반응성이 baseline 난도만으로 결정되지 않음을 보여 준다.

Gaokao-MM에서는 과목 범위를 중국어, 정치, 수학, 역사, 물리, 화학, 생물, 지리까지 넓혀 radar plot으로 비교한다. 괄호 안 숫자는 각 과목의 사례 수다. 중국어 10, 정치 9, 수학 41, 역사 4, 물리 87, 화학 22, 생물 8, 지리 27로 과목별 표본 규모가 크게 다르므로, 특히 역사와 생물의 높은 비율은 큰 표본 과목과 같은 안정성으로 읽기 어렵다.

Figure 6: Gaokao-MM의 과목별 Correction Rate.

그림 6의 Deep Interaction과 dialogue 값은 중국어 0.800 대 0.600, 정치 0.889 대 0.667, 수학 0.854 대 0.707, 역사 0.750 대 0.750이다. 물리는 0.782 대 0.562, 화학은 0.818 대 0.591, 생물은 0.875 대 0.625, 지리는 0.815 대 0.704다. 전 과목 중 역사는 같은 값이며, 생물의 0.875는 8개 사례에서 얻은 수치여서 원문도 작은 표본의 영향을 명시한다.

원문은 과목과 라운드를 더 세밀하게 나누어 교정 민감도도 그린다. 각 패널은 첫째부터 넷째 라운드까지 수학, 물리, 화학, 생물의 두 방법을 나란히 배치한다. 첫 라운드 값은 아직 낮지만 라운드가 진행될수록 두 방법 모두 상승하며, Deep Interaction 막대가 각 과목과 라운드에서 dialogue보다 높게 나타난다. 이 도표는 Within xR의 전체 데이터셋 평균이 가린 과목별 수렴 속도를 보여 준다.

Figure 7: 서로 다른 오류 유형에 대한 교정 민감도 비교. 각 문제 유형은 첫 교정 라운드만 집계한다는 원문 설명과 함께, 과목별 라운드 패널을 제시한다.

그림 7의 1R에서 Deep Interaction과 dialogue는 수학 47.68% 대 32.76%, 물리 41.71% 대 27.39%, 화학 43.21% 대 39.24%, 생물 42.70% 대 29.81%다. 4R에서는 수학 85.62% 대 72.59%, 물리 77.89% 대 64.41%, 화학 82.61% 대 66.82%, 생물 75.72% 대 62.28%다. 중간 라운드에서도 모든 과목의 Deep Interaction 값이 대응하는 dialogue 값보다 높다.

과목별 결과는 한 번의 편집이 모든 문제를 해결한다는 해석보다 반복 교정의 누적 효과를 지지한다. 물리의 Deep Interaction은 1R 41.71%, 2R 65.96%, 3R 70.08%, 4R 77.89%로 증가하고, 생물은 42.70%, 56.66%, 67.83%, 75.72%로 올라간다. 같은 과목의 dialogue도 상승하지만 각 라운드에서 더 낮다. 다단계 계산이나 도메인 지식이 충분하지 않으면 유효한 국소 수정 뒤에도 추가 상호작용이 필요하다는 평가 설계와 일치한다.

5.4 라운드가 길어질수록 벌어지는 Token Cost

비용 비교는 모델의 입력 토큰과 출력 토큰을 모두 포함한다. Dialogue baseline은 압축하지 않은 전체 대화 이력을 다음 호출에 넣기 때문에 라운드가 늘수록 입력이 누적된다. Deep Interaction의 기반 모델 호출은 이력 최적화를 별도로 적용하지 않은 fresh session에서 원 질문과 정제된 편집 CoT를 중심으로 구성한다. 비용은 두 번의 실행에서 얻은 평균이며, $x$라운드보다 먼저 정답을 낸 문항만 해당 라운드 통계에 포함되고 그 시점까지 실패한 문항은 제외된다.

그림 8의 선 위에 표시된 원 값을 표 6으로 함께 전사했다. 첫 라운드에는 Deep Interaction이 dialogue보다 조금 많은 토큰을 사용하지만, 둘째 라운드부터 관계가 바뀌고 이후 간격이 빠르게 커진다. 원문은 두 라운드 이후 교정 비용 증가가 21.5%에서 급격히 커진다고 기술하고, 전체적으로 역사 문맥 최적화 없이도 평균 토큰 비용을 40% 넘게 줄였다고 보고한다.

표 6. 그림 8에 표기된 라운드별 Token Usage.

방법	First Round	Second Round	Third Round	Fourth Round
Deep Interaction	2995.325	5787.08	8354.54	12880.95
Dialogue Based	2799.247	7034.961	15415.143	35646.45

표기값을 보면 Deep Interaction은 2R 5787.08, 3R 8354.54, 4R 12880.95로 증가한다. Dialogue Based는 같은 지점에서 7034.961, 15415.143, 35646.45다. 특히 dialogue는 3R 이후 전체 이력의 재입력 부담이 누적되는 반면, 편집 방식은 맞는 prefix와 사람의 수정 신호를 가공한 짧은 Feedback-CoT를 사용한다. 따라서 토큰 차이는 최초 라운드보다 여러 번 교정해야 하는 문제에서 더 크게 관찰된다.

Figure 8: Deep Interaction과 dialogue 기반 교정의 Token Cost 비교.

그림 8에서 1R은 Deep Interaction 2995.325, Dialogue Based 2799.247로 dialogue가 더 낮다. 2R부터는 5787.08 대 7034.961로 순서가 바뀌며, 3R은 8354.54 대 15415.143, 4R은 12880.95 대 35646.45로 벌어진다. 즉 비용상의 장점은 첫 호출에서 즉시 생기기보다 긴 대화 이력이 반복 입력되는 시점부터 축적된다. 이 수치는 정해진 라운드 안에 성공한 문제만 대상으로 한 평균임을 함께 보아야 한다.

토큰 결과가 곧 사람을 포함한 총 상호작용 비용을 의미하지는 않는다. 원문이 집계한 대상은 모델 입출력이며, 사용자가 CoT를 읽고 오류 위치를 찾고 문장을 편집하는 시간은 Token Cost에 포함되지 않는다. 또한 정해진 시점까지 정답을 얻지 못한 문항도 비용 통계에서 빠진다. 따라서 실험이 직접 뒷받침하는 결론은 성공한 문항의 반복 모델 호출에서 비압축 history보다 편집·정제 입력이 적은 토큰을 소비한다는 것이며, 사용자 시간까지 포함한 비용은 별도 평가 항목이다.

5.5 Qwen 모델 규모 일반화와 다른 교정 방법 비교

주요 결과가 강한 proprietary model에 의존한다는 우려를 확인하기 위해, 원문은 같은 Qwen2.5-VL 계열의 7B, 32B, 72B를 Gaokao-MM에서 평가한다. Direct, Within 1R, Within 2R, CR을 공통 지표로 사용하며, 각 규모에서 dialogue와 Ours의 direct 값은 동일하다. 표 7은 모델 자체의 용량이 낮을 때도 편집 기반 전달 방식이 유지되는지, 그리고 규모가 교정의 상한으로 작용하는지를 동시에 보여 준다.

표 7. Gaokao-MM에서 Qwen2.5-VL 모델 규모별 일반화.

모델·방법	Direct	Within 1R	Within 2R	CR
Qwen2.5-VL-7B Dialogue	19.8%	40.6%	56.5%	68.4%
Qwen2.5-VL-7B Ours	19.8%	41.8%	59.2%	70.1%
Qwen2.5-VL-32B Dialogue	34.7%	48.3%	63.5%	72.0%
Qwen2.5-VL-32B Ours	34.7%	50.8%	68.3%	79.6%
Qwen2.5-VL-72B Dialogue	42.4%	65.5%	68.6%	72.5%
Qwen2.5-VL-72B Ours	42.4%	69.7%	74.3%	78.2%

7B에서는 Ours가 1R 41.8%, 2R 59.2%, CR 70.1%로 dialogue의 40.6%, 56.5%, 68.4%를 소폭 앞선다. 32B에서는 50.8%, 68.3%, 79.6%로 dialogue의 48.3%, 63.5%, 72.0%보다 높고, 72B에서도 69.7%, 74.3%, 78.2%가 65.5%, 68.6%, 72.5%를 상회한다. 저자들은 7B의 이득이 더 작다는 점에서 모델 역량이 여전히 병목이라고 해석한다. 편집 구조가 약한 solver의 부족한 추론 능력까지 제거하지는 못하지만, 모든 규모에서 개선 방향은 유지된다.

다음 비교는 dialogue baseline을 넘어 RCoT, Self-Refine, Interactive Reasoning과 Deep Interaction을 동일한 최초 정확도에서 출발시킨다. RCoT는 답에서 질문으로 거꾸로 추론하는 자기 교정, Self-Refine은 반복 self-feedback, Interactive Reasoning은 단계별 외부 상호작용을 사용한다. 네 방법의 Round 1은 모두 81.60%이며, 이후 다섯 번째 라운드까지 정확도가 어떻게 포화되는지를 비교한다.

표 8. RCoT, Self-Refine, Interactive Reasoning, Deep Interaction의 라운드별 정확도.

방법	Round 1	Round 2	Round 3	Round 4	Round 5
RCoT	81.60%	85.2%	85.8%	86.3%	87.3%
Self-Refine	81.60%	88.7%	89.2%	90.1%	90.6%
Interactive Reasoning	81.60%	90.5%	94.2%	95.7%	96.1%
Deep Interaction	81.60%	91.8%	94.8%	95.6%	96.8%

RCoT는 Round 5에서 87.3%, Self-Refine은 90.6%에 도달하며, 원문은 Deep Interaction의 96.8%가 이들보다 각각 9.5%p와 6.2%p 높다고 설명한다. 가장 강한 Interactive Reasoning은 Round 4에서 95.7%로 Deep Interaction의 95.6%를 0.1%p 앞서지만, Round 5에서는 96.1%로 Deep Interaction의 96.8%보다 0.7%p 낮다. Deep Interaction이 모든 중간 라운드에서 항상 최고인 것은 아니며, 최종 라운드 최고값과 빠른 초기 상승을 함께 확인하는 것이 정확하다.

라운드 궤적도 방법별 차이를 드러낸다. RCoT는 2R 85.2%에서 5R 87.3%로 비교적 일찍 정체되고, Self-Refine도 5R 90.6%에 머문다. 외부 안내를 사용하는 Interactive Reasoning과 오류 span을 직접 바꾸는 Deep Interaction은 3R에 각각 94.2%, 94.8%에 도달한다. 원문은 그럴듯하지만 잘못된 기존 궤적에서 벗어날 때 직접 CoT 편집이 reverse-thinking이나 일반 self-feedback보다 논리적 수렴을 효과적으로 유도한 결과로 해석한다.

6. 추가 분석 및 Ablation Study: 구성 요소, 견고성, 스케일링의 경계

6.1 구성 요소 ablation: 직접 편집, Text Processing, CoT Reprompter

저자들은 Gaokao-MM에서 Deep Interaction의 세 축을 분리해 검증한다. 완전한 방법을 기준으로 첫 교정 라운드 안의 성능인 With 1R, 목표 단계의 교정 정확도인 Correction, 토큰 소비량, 응답 지연의 상대 변화를 보고한다. 성능 열에서는 값이 내려가면 열화이고, 비용 열에서는 값이 올라가면 더 많은 비용을 뜻한다. 직접 편집을 대신한 변형은 오류 span을 고친 CoT 대신 관련된 3라운드 대화 이력을 모델에 노출하며, 나머지 두 변형은 Text Processing 또는 CoT Reprompter를 각각 제거한다.

표 9. Gaokao-MM 구성 요소 ablation의 완전한 방법 대비 상대 변화.

변형	With 1R ↑	Correction ↑	Token ↓	Latency ↓
3R History 사용	-8.97%	-10.89%	+1.27%*	+11.91%
Text Processing 제거	-15.27%	-23.31%	-7.87%	-3.12%
CoT Reprompter 제거	-12.49%	-17.57%	+5.45%	-12.87%

3R History 변형은 문맥을 더 제공해도 With 1R이 8.97%, Correction이 10.89% 낮아지고 latency는 11.91% 늘었다. 이 결과가 지지하는 범위는 긴 이력의 양이 오류 위치를 명시한 편집 신호를 대체하지 못했다는 것이다. Token의 +1.27%에는 원문의 별표가 붙어 있는데, 부록 설명에 따르면 이는 입력 이력 증가를 제외하고 출력 token 변화만 센 값이다. 따라서 이 숫자로 3라운드 이력의 전체 입력 비용까지 작다고 해석하면 안 된다.

Text Processing을 빼면 token과 latency는 각각 7.87%, 3.12% 줄지만 성능 감소가 가장 크다. 저자들의 파이프라인에서 이 모듈은 pre-edit를 가지치기하고 수치를 마스킹하며, 사람의 edit-section을 강조하고, 오류가 전파됐을 수 있는 post-edit를 제거한다. 즉 이 ablation은 단순 전처리의 미세한 형식 차이보다 어떤 구간을 보존하고 무엇을 폐기할지 구조화하는 과정이 교정 성능에 관여함을 보여 준다. 다만 표는 Emphasis, Pruning, Removing, Delexicalization을 다시 개별 분해하지 않으므로 네 연산 중 어느 하나가 주된 원인인지는 알 수 없다.

CoT Reprompter를 제거하면 With 1R과 Correction이 각각 12.49%, 17.57% 감소한다. latency가 12.87% 줄어드는 것은 재작성용 모델 호출을 생략한 비용 이득과 일치하지만, token은 오히려 5.45% 늘어난다. 저자들의 설명대로 Reprompter는 편집 흔적을 짧고 구조화된 Feedback-CoT로 증류해 원래의 잘못된 문장 배열과 거리를 만든다. 따라서 이 표는 재작성 단계를 무상인 모듈로 볼 수 없으며 지연을 지불하고 교정 성능과 token 구성을 바꾸는 모듈임을 함께 드러낸다.

6.2 Reprompter의 faithfulness, 환각 견고성, 모델 계열 전이

Reprompter가 유용하려면 짧게 쓰면서 사용자가 고친 핵심 의미를 보존해야 한다. 저자들은 fine-tuning한 Qwen2.5 7B VL을 Reprompter로, GPT-4o를 evaluator로 사용해 Gaokao-MM의 수정 입력과 의미 보존 재작성 출력 617쌍을 평가했다. 전체 faithfulness rate는 87.2%였다. 엄격한 LLM 판정은 79건을 hallucination 사례로 분류했고, 나머지 정상 사례 538건과 나누어 실제 correction rate도 보고했다.

표 10. Gaokao-MM 617쌍에서 Reprompter의 faithfulness와 환각 발생 시 견고성.

설정	지표	값
전체 재작성	Faithfulness Rate	87.2%
정상 사례	Correction Rate	89.0% (479/538)
Hallucination 사례	Correction Rate	69.6% (55/79)

정상 재작성에서는 538건 중 479건이 교정되었고, hallucination 집단에서는 79건 중 55건이 교정되었다. 후자에서도 성공 사례가 남는다는 점을 저자들은 부분적 비충실성에 대한 어느 정도의 robustness로 해석한다. 그러나 더 직접적인 운영상 의미는 환각이 생기면 correction rate가 정상 집단보다 낮다는 것이다. 87.2%는 의미 보존이 항상 성립한다는 보증이 아니므로, 원래 human edit와 Reprompter 출력을 분리해 보존하고 재작성 결과를 무손실 변환처럼 취급하지 않는 편이 결과에 충실하다.

추가 실험은 Reprompter가 target solver와 같은 모델 계열이어야 하는지도 확인한다. 아래 값은 한 번의 교정으로 성공한 비율이다. 행은 문제를 푸는 main model, 열은 편집 CoT를 다시 쓰는 Reprompter다. Qwen-VL-max와 Claude 3.7에서는 Qwen-72B Reprompter가 표의 다른 조합보다 높았고, GPT4o에서도 세 열의 차이가 비교적 작게 보고되었다. 모든 조합을 같은 계열과 다른 계열로 완벽히 대칭 비교한 설계는 아니므로, 이 표는 cross-family 사용 가능성을 보여 주지만 특정 계열의 보편적 우월성을 확정하지는 않는다.

표 11. Main model과 Reprompter의 교차 계열 전이. 값은 single-correction rate(%).

Main model / Reprompter	Qwen-72B	GPT4o-mini	Claude-3.5H
Qwen-VL-max	78.5	76.9	72.1
GPT4o	69.8	68.2	67.8
Claude 3.7	80.6	76.2	75.2

6.3 Model scale ablation: 작은 solver에서도 편집 신호가 남는가

앞 절의 표 7은 같은 Qwen2.5-VL 계열의 7B, 32B, 72B를 Gaokao-MM에서 비교해 모델 규모에 따른 일반화를 보여 준다. Direct는 교정 전 통과율, 1R과 2R은 최대 한 번 또는 두 번 교정한 뒤의 누적 통과율, CR은 correction rate다. 각 규모에서 dialogue와 Ours의 Direct가 같은 것은 동일한 초기 응답에서 교정 전달 방식만 바꾼 비교이기 때문이다. 이 설계는 Deep Interaction이 약한 기반 모델의 추론 능력을 새로 만드는지보다, 주어진 solver 규모에서 수정 신호를 얼마나 효율적으로 반영하는지를 본다.

세 규모 모두 Ours가 dialogue보다 1R, 2R, CR에서 높은 값을 보이므로 효과가 frontier-scale model에만 나타난다고 보기는 어렵다. 그러나 저자들이 직접 지적하듯 7B의 이득은 더 작다. 7B에서는 Direct 자체가 19.8이고 Ours의 2R도 59.2인 반면, 72B는 Direct 42.4에서 Ours 2R 74.3에 도달한다. 편집 인터페이스가 오류 위치를 더 명확히 전달해도 solver가 수정된 전제 이후의 계산을 수행할 능력이 부족하면 병목이 남는다는 해석이 적절하다.

이 결과는 model scaling과 interaction design이 대체 관계를 이루지 않는다는 점도 보여 준다. 더 큰 모델은 높은 Direct에서 출발하고, 같은 크기 안에서는 편집 기반 입력이 dialogue보다 높은 후속 지표를 보인다. 다만 세 점만으로 매개변수 수에 따른 scaling law를 추정하거나 성능이 단조롭게 얼마나 커질지 예측할 수는 없다. 표는 한 데이터셋, 같은 Qwen2.5-VL family, 세 규모의 관측치이며 학습 비용이나 Reprompter 비용까지 포함한 end-to-end 규모별 효율 곡선은 제공하지 않는다.

6.4 Interaction rounds: 자기 교정의 plateau와 외부 개입의 수렴

앞 절의 표 8은 RCoT, Self-Refine, Interactive Reasoning, Deep Interaction을 같은 Round 1 정확도 81.60%에서 출발시켜 상호작용 라운드가 늘어날 때의 변화를 비교한다. RCoT는 답에서 질문으로 거꾸로 추론해 불일치를 찾고, Self-Refine은 self-feedback을 반복하며, Interactive Reasoning은 단계별 외부 안내를 사용한다. Deep Interaction은 사람이 수정한 오류 span을 다음 추론의 입력으로 재구성한다. 따라서 이 비교는 최초 모델 성능보다 추가 라운드의 교정 신호가 기존 궤적을 얼마나 바꾸는지에 관한 분석이다.

RCoT는 Round 5에서 87.3%, Self-Refine은 90.6%에 머무르는 반면 외부 안내를 쓰는 두 방법은 96%대로 올라간다. Deep Interaction은 Round 2와 3, 5에서 가장 높지만 Round 4에서는 Interactive Reasoning의 95.7%보다 95.6%로 낮다. 최종 Round 5 차이도 96.8% 대 96.1%로 원문이 강조한 0.7%p다. 그러므로 이 표를 모든 라운드에서 압도적인 우위라고 요약하기보다, 초기 라운드의 경쟁력과 최종 소폭 우위, 그리고 외부 안내 계열의 강한 수렴을 함께 읽어야 한다.

부록의 논리 사례는 이 수렴 차이를 정성적으로 설명한다. 공장 기술 노동자의 학력과 전체 자질에 관한 선택지 문제에서 RCoT는 “근로자”와 “제품”이라는 범주 이동을 놓치고 Option 0을 반복 선택한다. Deep Interaction에서는 사람이 제품 품질의 증거와 근로자 품질의 증거를 구분하라고 국소 지침을 주자 모델이 Option 1을 정답으로 고친다. 이 사례는 외부 피드백이 잘못된 self-confirmation을 끊을 수 있음을 보여 주지만, 한 사례가 표 전체의 원인을 입증하는 것은 아니며 사람의 지침이 올바르다는 조건도 필요하다.

6.5 Error·cost analysis: 과목별 민감도와 대화 이력의 누적 비용

저자들은 과목과 오류 유형에 따라 교정 난도가 같은지 추가로 살핀다. 본문 설명에 따르면 물리와 생물은 dialogue와 Deep Interaction 양쪽에서 상대적으로 낮은 교정 민감도를 보인다. Gaokao-MM 그림에서 생물 correction rate가 비교적 높아 보이는 현상은 표본 수가 작기 때문이라고 주의한다. STEM20K의 과목별 correction rate도 Math 55.18% 대 72.20%, Physics 50.15% 대 67.37%, Chemistry 48.62% 대 71.17%, Biology 45.41% 대 62.57%로 보고되어, 모든 과목에서 Ours가 높지만 과목 자체의 난도 차이는 남는다.

오류 유형별 분석에서는 시각 인식으로 생긴 정보 손실과 오해가 두 방식 모두에 어려운 영역으로 남는다. Deep Interaction은 사람이 이미지의 올바른 의미를 수정문에 넣었을 때 후속 reasoning을 바꿀 수 있지만, 시각 encoder의 누락 정보를 스스로 복원하는 방법은 아니다. 따라서 이 결과는 편집이 모든 multimodal 오류를 해결했다는 증거라기보다, 수정 가능한 언어화된 reasoning과 원천 인식 실패 사이에 분명한 경계가 있음을 보여 준다.

이 비용 결과는 계산 방법을 함께 읽어야 한다. Token Cost는 입력과 출력을 포함한 두 실행의 평균이지만, $x$라운드까지 맞히지 못했거나 그 뒤에만 성공한 문항은 해당 통계에 들어가지 않는다. 또한 dialogue baseline은 압축되지 않은 full history를 사용하고, foundation model call에는 별도 history optimization을 적용하지 않았다. 따라서 40%를 넘는 절감은 이 실험의 이력 구성과 성공 문항 집계 아래에서의 모델 token 비용이며, 사람이 CoT를 읽고 오류를 찾아 편집한 시간까지 합친 총비용을 뜻하지 않는다.

6.6 예비 user study, 반복 안정성, 변형 문제 일반화

실제 사용 관점의 보조 증거로 저자들은 edit-based interaction과 dialogue-based correction을 비교한 예비 사용자 연구를 제시한다. 낮을수록 좋은 편집당 시간은 baseline 19.7에서 Ours 14.2로, 높을수록 좋은 correction satisfaction은 7.1에서 8.5로, overall satisfaction은 6.0에서 7.6으로 보고되었다. 이 표는 편집 인터페이스가 체감 효율과 만족도를 개선할 가능성을 보여 주지만, 원문 해당 절에는 참가자 수, 전문성 구성, 단위, 분산, 신뢰구간, 과제 배정 방식이 함께 제시되지 않는다.

표 12. 예비 사용자 연구. 시간은 낮을수록, 만족도는 높을수록 좋다.

Method	Time / Edit ↓	Correction Satisfaction ↑	Overall Satisfaction ↑
Baseline	19.7	7.1	6.0
Ours	14.2	8.5	7.6

그러므로 user study는 대규모 통계적 결론보다 실용성의 초기 신호로 보는 편이 안전하다. 특히 QAgent 기반 정량 실험은 표준 풀이를 이용해 교정 피드백을 생성하지만, 실제 사용자는 정답을 모른 채 오류를 찾아야 할 수 있다. 시간 14.2와 만족도 8.5·7.6이 어느 사용자 집단에 일반화되는지 판단하려면 참여자 수와 숙련도, 문제 난도, within-subject 여부, 순서 효과, 오답 편집의 빈도까지 공개된 후속 연구가 필요하다.

부록은 최종적으로 맞은 CoT를 다시 사용하는 반복 질문과 조건 변형에서도 안정성을 비교한다. Dialogue based, Deep Interaction, E. Deep Interaction을 Repeat, 수치·조건 parameter 변경, 더 어려운 질의, 그림 내용 변경의 네 축에서 평가한다. 저자들은 full dialogue input의 반복 정확도가 약 60%인 데 비해 최종 correct CoT를 활용한 방식이 90%를 넘는다고 설명한다. 아래 표는 이 주장을 세부 조건별 원 수치로 보여 준다.

표 13. 반복 안정성과 질의 변형 일반화.

Method	Repeat	Varying Query Parameters	Query Harder	Modifying Query Figure Content
Dialogue based	61.3%	27.2%	18.9%	30.7%
Deep Interaction	92.0%	58.8%	59.2%	61.5%
E. Deep Interaction	95.5%	43.5%	60.4%	60.5%

Repeat에서는 Deep Interaction 92.0%, E. Deep Interaction 95.5%가 dialogue 61.3%보다 높다. 수치나 조건을 바꾼 질의에서는 일반 Deep Interaction이 58.8%이고 E. 변형은 43.5%로 더 낮지만, 더 어려운 질의와 그림 변경에서는 두 편집 기반 변형이 약 60%를 보인다. 따라서 표의 E. 변형이 모든 일반화 축에서 항상 최선은 아니다. 또한 이 표만으로 학습 데이터 밖의 폭넓은 distribution shift를 입증할 수는 없고, 논문이 구성한 네 변형 조건에서 최종 correct CoT 재사용의 일관성이 높았다고 해석해야 한다.

전체 추가 분석을 종합하면, 성능 향상은 단일 장치보다 오류 span의 직접 편집, 구간별 Text Processing, 의미 보존 재작성의 결합에서 나온다. 더 긴 history만 주는 변형은 성능과 latency에서 불리했고, Reprompter는 성능에 기여하지만 faithfulness가 87.2%여서 자체 오류 경로도 갖는다. 여러 solver 규모와 Reprompter family에서 개선 경향이 남고 상호작용 라운드가 늘수록 강한 외부 개입 방식이 높은 정확도로 수렴하지만, 작은 model의 능력 병목, multimodal 인식 오류, 사용자 교정 품질 의존성은 제거되지 않는다. 이 절의 수치들은 Deep Interaction을 자동 정답 발견기로 보기보다, 유효한 human correction을 다음 추론에 정밀하게 전달하는 메커니즘으로 한정할 때 가장 일관되게 설명된다.

7. 한계점 및 향후 연구 방향: 편집 가능한 추론의 조건과 검증 과제

7.1 사용자 교정 능력에 의존하는 협업 범위

저자들이 Limitations에서 가장 먼저 명시한 전제는 사용자가 잘못된 추론의 적어도 일부를 식별하고, 모델에 도움이 되는 편집을 제공할 수 있어야 한다는 점이다. Deep Interaction은 오류 탐지기를 새로 학습하는 방법보다는 사용자가 발견한 오류 위치와 대체 논리를 모델에 더 정확히 전달하는 협업 프레임워크에 가깝다. 따라서 과제 내용을 충분히 이해하는 전문가 또는 준전문가에게 이 가정이 더 현실적이며, 긴 풀이에서 어느 단계가 처음 잘못되었는지 판단하기 어려운 일반 사용자에게 같은 효과가 유지된다고 보장할 근거는 제한적이다. 사용자가 오류를 찾지 못하거나 수정문에 필요한 선행 지식을 빠뜨리면, 시스템이 정제해 전달할 유효한 교정 신호 자체가 약해진다.

논문의 방법론은 원 질문이 이전 대화 문맥에 약하게 의존하고, 다음 추론에 필요한 정보가 편집된 CoT에 이미 들어 있거나 사용자가 편집 과정에서 보충한다는 가정도 둔다. 이 가정은 독립적인 시험 문제에서는 비교적 자연스럽지만, 여러 도구 호출과 장기 상태, 앞선 사용자 요구가 축적되는 에이전트 과제에서는 더 강한 제약이 된다. 필요한 정보가 과거 이력에만 남아 있으면 원 질문과 편집 CoT만 결합하는 입력이 중요한 문맥을 잃을 수 있다. 저자들은 이 프레임워크를 모델의 내재적 추론 능력이나 완전 자동 오류 탐지 시스템을 대체하는 장치로 규정하지 않으며, 인지적으로 타당한 피드백을 제공하기 어려운 경우에는 기반 모델의 성능 또는 전문 자동 에이전트가 문제를 맡아야 한다고 범위를 한정한다.

7.2 잘못된 인간 지침과 높은 통제 가능성의 역효과

저자들은 비정답형 과제에서 Deep Interaction이 인간 지시를 더 잘 따르게 만드는 동시에 오류 전파 위험도 키울 수 있다고 밝힌다. 사용자가 틀린 교정을 입력하면 모델은 그 지침을 충실히 따라 잘못된 결론을 만들고, 그 결과의 환각을 그럴듯한 추론으로 합리화할 수 있다. 수정 구간을 강조하고 기존 suffix를 제거하는 설계는 올바른 피드백에는 유용하지만, 잘못된 피드백에도 강한 제어 신호를 부여한다. 높은 instruction following을 곧바로 높은 정답성으로 해석할 수 없는 이유가 여기에 있다.

이 한계는 Correction Rate의 해석에도 연결된다. 이 지표는 모델이 목표 단계의 corrective guidance를 따르고 올바른 결과를 만들었는지를 재지만, 실제 환경에서는 지침 자체의 타당성을 먼저 확정하기 어렵다. 논문 실험처럼 참조 풀이로 교정 방향을 점검할 수 있는 조건과 사용자가 답을 모르는 조건은 구분되어야 한다. 저자 제안의 직접 범위는 인간과 모델이 함께 추론을 고치는 메커니즘까지이며, 인간 수정의 진위를 독립적으로 보증하는 안전장치는 별도의 연구 문제로 남는다. 논리적인 확장으로는 편집을 즉시 정답으로 간주하지 않고 독립 검증기, 도구 실행 결과, 복수 판정자의 합의와 대조하는 절차를 평가할 수 있다. 원문이 완성된 검증 모듈을 직접 제안한 것은 아니며, 저자들이 명시한 오교정 위험에서 자연스럽게 도출되는 후속 과제다.

7.3 편집 가능한 CoT 의존성과 인과 주장에 대한 경계

저자들이 명시한 또 하나의 적용 조건은 모델이나 시스템이 편집 가능한 중간 추론 흔적을 노출해야 한다는 것이다. visible CoT를 제공하는 LLM, 또는 중간 의사결정 궤적을 보여 주는 웹·에이전트 시스템에서는 직접 편집이 가능하지만, 최종 답만 반환하는 환경에는 방법을 그대로 적용하기 어렵다. 비공개 내부 추론과 사용자에게 표시되는 설명이 일치하지 않는 시스템에서도 화면의 문장을 고쳤다는 사실만으로 실제 계산 상태를 수정했다고 단정할 수 없다. 따라서 이 논문이 확인한 효과는 노출된 reasoning trace가 다음 호출의 입력으로 다시 사용되는 구현 조건에 묶여 있다.

논문은 performative reasoning, sticky thinking, 암기된 완성, 웹 인터페이스의 KV cache 효과를 방법의 동기로 제시한다. 특히 KV cache와 세션 이력의 영향은 저자들도 가설로 표현하며, 실험이 해당 메커니즘의 인과 효과를 직접 분리한 것은 아니다. 부록의 이론 분석도 의미를 유지한 표면 교란과 중복 제거가 가능하다는 타당화에 가깝다. 정량 실험이 비교한 대상은 직접 편집, 텍스트 처리, 수치 마스킹, suffix 제거, Reprompter를 결합한 전체 파이프라인과 여러 baseline이다. ablation이 구성 요소의 기여를 뒷받침하더라도, 성능 향상의 원인이 특정 내부 현상 하나를 제거했기 때문이라고 확정할 수는 없다.

또한 그림의 “causal reasoning correction” 사례는 인과 추론 문제가 교정된 예시를 뜻하며, Deep Interaction의 인과 효과를 무작위 통제 설계로 식별했다는 의미는 아니다. 현재 결과가 지지하는 범위는 주어진 모델, 데이터, 피드백 생성 방식, 라운드 규칙에서 편집 기반 파이프라인이 관측된 pass rate와 correction rate를 높였다는 수준이다. 향후에는 동일한 최초 오답과 동일한 교정 정보량을 고정하고 전달 형식만 무작위로 바꾸는 평가, 각 처리 모듈을 요인별로 교차시키는 실험, 모델의 가시적 설명과 실제 도구 행동이 일치하는지 보는 검증이 필요하다. 이 제안은 저자들의 실험 조건을 더 엄격히 분해하는 논리적 확장이며, 원문이 이미 인과 식별을 완료했다는 주장은 아니다.

7.4 CoT Reprompter의 의미 보존과 새로운 오류 지점

CoT Reprompter는 편집된 흔적을 짧고 구조화된 Feedback-CoT로 바꾸어 이전의 잘못된 문장 배열과 거리를 만드는 핵심 모듈이지만, 재작성 과정에서 사용자 의도가 변형될 수 있다. 저자들의 부록 실험은 Gaokao-MM에서 얻은 의미 보존 재작성 쌍 617개를 대상으로 fine-tuned Qwen2.5 7B VL Reprompter와 GPT-4o 평가자를 사용했다. 보고된 faithfulness rate는 87.2%였고, 엄격한 LLM 판정에서 79건이 hallucination 사례로 분류되었다. 정상 538건의 correction rate는 89.0%였으나 hallucination 집단에서는 69.6%로 낮아졌다. 이는 Reprompter가 대체로 수정 의도를 보존하면서도, 모든 편집을 무손실로 압축하는 구성 요소는 아님을 보여 준다.

이 결과는 두 층의 측정 한계를 포함한다. 첫째, faithfulness와 hallucination 판정 자체가 GPT-4o라는 LLM evaluator에 의존한다. 둘째, 617쌍은 Gaokao-MM과 특정 fine-tuned Reprompter에서 나온 표본이므로 다른 언어, 도메인, 긴 에이전트 궤적까지 같은 비율을 기대하기 어렵다. 교차 모델 가족 실험도 Reprompter와 solver 조합에 따라 단일 교정률이 달라짐을 보여 주므로, 재작성기의 이전 가능성은 조합별로 확인해야 한다. 원문 결과에서 직접 도출되는 향후 과제는 더 넓은 데이터와 사람 판정을 포함해 의미 보존을 재검증하는 것이다. 그 밖에 원본 CoT, 사용자 diff, Reprompter 출력 사이의 핵심 명제·수치·부정 표현을 자동 대조하고 불일치 시 원 편집문으로 되돌리는 방식은 이 위험을 줄이기 위한 논리적 확장으로 볼 수 있다.

7.5 QAgent와 gold reference가 규정하는 평가 범위

대규모 평가의 상당 부분은 저자들이 개발한 QAgent에 의존한다. QAgent는 대상 모델의 답을 표준 답안 및 reference solution과 비교하도록 별도의 judge LLM을 호출하고, 오답으로 판정되면 다음 라운드의 corrective feedback을 생성한다. 이 자동화는 수만 문항에서 반복 교정을 시험하게 해 주며, 사람이 이미 제공한 유효한 수정 신호를 Deep Interaction이 얼마나 잘 반영하는지 측정하는 데 적합하다. 한편 정답을 모르는 사용자가 매끄러운 CoT 안에서 최초 오류를 발견하고 올바른 대체 단계를 작성하는 과정은 이 설정에서 직접 평가되지 않는다.

저자들은 이 차이를 줄이기 위해 수동 STEM 문제 400개로 proof of concept를 시작하고, 최초 실패한 고난도 문제 200개에서 QS 상위 100위권 대학 학생들과 QAgent의 교정 경로 및 성공률을 비교했다. STEM20K에서도 과목별 100문항을 무작위로 수동 검토해 QAgent의 recall이 0.895에서 0.956, false positive rate가 0.042에서 0.091 범위라고 보고한다. 이 보정은 자동 판정의 신뢰성을 뒷받침하지만, QAgent도 학생 검토도 표준 답과 대조할 수 있다는 평가 조건을 벗어나지는 않는다. 더구나 저자들은 대규모 추론에 전문가 주석으로 보정된 LLM judge를 사용하며, Limitations에서 이런 자동 판정이 보정 노력에도 측정 편향을 도입할 수 있다고 인정한다.

따라서 pass rate와 25%가 넘는 평균 상대 correction improvement는 해당 judge, gold reference, 반복 라운드, 성공 판정 규칙 아래의 결과로 읽어야 한다. 향후 평가에서는 reference를 볼 수 있는 QAgent 조건과 reference가 없는 인간 조건을 별도로 보고하고, 전문가·준전문가·비전문가별 오류 위치 탐지율, 수정문의 정확성, 최종 복구율을 나누어 측정할 필요가 있다. 저자들이 직접 제안한 자동 QAgent의 확장을 넘어서는 내용이지만, 저자 명시 한계인 사용자 능력 의존성과 자동 판정 편향을 검증하는 데 필요한 논리적 후속 설계다.

7.6 데이터 공개, 사용자 연구, 비용 지표의 보고 조건

재현 가능성은 데이터 공개 범위에도 제약을 받는다. 저자들은 수학·물리·화학·생물 각 5,000문항으로 STEM20K를 구성했다고 설명하지만, 현재 부록에는 각 과목 첫 25문항의 원문과 경량 뷰어가 포함되어 있다. 논문 채택을 전제로 참조 답이 있는 멀티모달 문제 약 1,000개의 subset을 공개할 계획도 밝힌다. 전체 20,000문항, 수집·정제 기준, 중복과 오염 점검, 상세 reference solution이 모두 공개되기 전에는 핵심 대규모 결과를 외부에서 완전히 재현하기 어렵다. 공개 예정이라는 저자 계획과 현재 이용 가능한 자료의 범위는 구분해 기록해야 한다.

부록의 예비 사용자 연구는 편집 기반 방식에서 편집당 시간이 19.7에서 14.2로 줄고, 교정 만족도가 7.1에서 8.5, 전체 만족도가 6.0에서 7.6으로 높아졌다고 보고한다. 그러나 원문에 제시된 표와 설명만으로는 참가자 수, 전문성 구성, 과제 수, 조건 배정 방식, 순서 효과, 분산과 신뢰구간을 충분히 확인하기 어렵다. 따라서 이 결과는 실용 가능성을 보여 주는 preliminary evidence로 보는 편이 적절하며, 다양한 사용자 집단에서 일반화된 사용성 결론으로 확대하기에는 보고 범위가 좁다. 저자들이 단계별 출력과 모델 불확실성 시점의 인간 상호작용을 향후 탐색하겠다고 한 만큼, 후속 사용자 연구에서는 정확도와 만족도, 읽기 시간, 오류 탐지 시간, 잘못된 편집 빈도, 중도 포기율을 함께 보고할 필요가 있다.

약 40%의 token 절감 주장에도 명시적인 집계 조건이 있다. Token Cost는 입력과 출력을 포함한 두 번의 실행 평균이며, 정해진 x라운드보다 먼저 정답을 낸 문항만 포함한다. x라운드까지 실패했거나 더 늦게 성공한 문항은 통계에서 제외된다. 비교 대상인 dialogue 방식은 압축하지 않은 전체 이력을 fresh session에 입력하고, 별도의 history optimization을 적용하지 않아 라운드가 늘수록 입력 토큰이 빠르게 증가한다. 그러므로 이 수치는 해당 성공 표본과 비압축 baseline에서의 모델 토큰 비용 감소이며, 실패 사례까지 포함한 전체 요청당 비용이나 사람의 검토 시간, API 단가, Reprompter 호출, 지연 시간을 합친 종단간 비용을 뜻하지 않는다. 후속 연구에서 성공·실패 전체를 포함한 총 토큰, wall-clock latency, 금전 비용, 인간 작업 시간을 같은 단위로 병기하면 효율 주장의 적용 범위를 더 명확히 할 수 있다.

7.7 저자 제안과 그 범위를 넘지 않는 향후 연구

원문이 직접 제안한 첫 번째 방향은 단계형 출력과 불확실성 기반 인간 상호작용이다. 저자들은 이상적으로 모델이 단계마다 확인이나 교정을 받고 다음 추론으로 진행할 수 있지만, 현재 구조에서는 연결된 단계별 생성으로 이를 모사해야 하므로 one-shot 생성이 현실적이라고 설명한다. 향후에는 모델이 불확실할 때 staged output과 인간 개입을 통합하는 방식을 탐색하겠다고 밝힌다. 두 번째 방향은 멀티모달 모델의 이미지 이해 강화다. 오류 유형 분석에서 dialogue 방식과 Deep Interaction 모두 이미지 인식의 정보 손실과 오해를 고치는 데 제한적이었으므로, 저자들은 MLLM의 시각 의미 이해 향상을 핵심 개선 과제로 제시한다.

세 번째 저자 제안은 개인 사용자용 오류 기억과 선호 정렬이다. 이전에 틀렸다가 교정된 문제를 다시 틀리지 않게 하고, 유사 문제에 한 사례의 교훈을 전이하며, 사용자가 상세 유도와 개념 설명 중 무엇을 선호하는지 또는 코드의 간결성과 주석 중 무엇을 중시하는지를 기억하는 기능을 계획한다. 네 번째는 앞서 언급한 STEM20K 일부와 reference answer의 공개다. 이 방향들은 논문에 명시된 계획이지만, 오류 기억이 실제로 재발을 줄이는지, 다른 문제에 부정확한 편집을 전이하지 않는지, 개인 선호 저장이 정답성과 충돌할 때 어떤 기준을 적용할지는 아직 실험 결과로 입증되지 않았다.

저자 제안을 토대로 한 보수적인 논리적 확장은 세 가지로 정리할 수 있다. 첫째, gold reference가 없는 층화 사용자 연구로 교정 신호를 만드는 단계와 그 신호를 모델이 따르는 단계를 분리해 측정한다. 둘째, Reprompter의 의미 보존을 언어·도메인·모델 가족별로 검증하고 원 편집과 재작성 사이의 불일치를 별도 실패 유형으로 보고한다. 셋째, final-answer-only 모델에는 내부 CoT 공개를 요구하기보다 검증 가능한 중간 주장, 계산 결과, 도구 행동처럼 외부에 제시된 의사결정 흔적을 편집 대상으로 삼을 수 있는지 시험한다. 이 세 항목은 원문에서 완성된 방법으로 제시된 사항은 아니고, 저자들이 인정한 사용자 품질, 노출 trace, 자동 평가, Reprompter 위험을 더 넓은 조건에서 검증하기 위한 연구 의제다. 현재 증거가 가장 직접적으로 지지하는 결론은 유효한 국소 교정과 편집 가능한 reasoning trace가 주어진 환경에서 Deep Interaction이 그 신호를 효율적으로 전달한다는 것이며, 그 조건 밖의 일반화는 후속 실험으로 확인해야 한다.

8. 내 해석: 자동 탐지와 사람의 국소 수정을 연결하는 조건

8.1 약점 1 — gold-reference QAgent가 실제 사용자의 탐지 비용을 건너뛴다

내가 이 실험에서 가장 걸리는 지점은 대규모 평가의 QAgent가 표준 답안과 reference solution을 보고 오류를 판정한다는 조건이다. 이 설정은 품질 좋은 국소 correction을 Deep Interaction이 얼마나 잘 소비하는지 보여 주지만, 정답을 모르는 사용자가 긴 CoT에서 최초 오류를 찾고 올바른 대체 reasoning을 작성하는 비용은 측정하지 않는다. 예비 사용자 연구도 시간 19.7에서 14.2, 만족도 7.1에서 8.5와 6.0에서 7.6의 변화만 제시하고 참가자 수·전문성·분산·배정 방식이 충분히 보고되지 않았다. 따라서 현재 증거는 정확한 수정 신호가 주어진 뒤의 전달 효율을 지지하며, 일반 사용자의 종단간 인지 비용 감소까지 확정하지는 못한다.

이 해석은 이전에 다룬 Progress Advantage와 transparent reasoning monitoring의 맥락과도 이어진다. 기존 연구가 위험한 step을 점수화하거나 raw trace를 감사 표면으로 삼았다면, Deep Interaction은 사람이 그 지점에 대체 논리를 넣는 correction actuator에 해당한다. 다만 Reprompter의 faithfulness가 87.2%였으므로 raw trace, user diff, 재작성 결과를 서로 분리해 보존해야 한다.

8.2 후속 제안 1 — Risk-Triggered Deep Interaction

내가 확장한다면 process scorer와 독립 verifier가 위험 span을 먼저 좁힌 뒤 필요한 순간에만 편집기를 여는 Risk-Triggered Deep Interaction을 붙일 것 같다. 정책은 계속 생성, 종료, 사람 호출, 독립 branch, 보류 중 하나를 고르고, 사람에게는 전체 CoT 대신 의심 구간과 의존 전제만 보여 준다. 사용자가 수정하면 기존 diff 파이프라인으로 suffix만 다시 생성하고, 확신이 없으면 전문가나 추가 검증기로 넘긴다.

평가는 같은 최초 오답과 같은 correction 정보량을 고정한 채 전체 대화, 수동 span 탐색, 자동 위험 span 표시, 무인 verifier 조건을 무작위 비교해야 한다. 정답률과 token 외에 오류 localization, 읽기·편집 시간, 개입 횟수, 오교정 전파율, 보류 품질을 함께 재면 latent reasoning과 편집 가능한 checkpoint 사이의 현실적인 비용–위험 경계를 확인할 수 있다.

9. 결론: 검증된 prefix를 보존하는 국소 재계산의 의미

9.1 맞는 경로를 보존하고 틀린 지점부터 다시 계산한다

Deep Interaction의 핵심 기여는 새로운 추론 모델이나 학습 목적함수를 제안한 데 있지 않다. 이미 생성된 reasoning trace를 사용자가 문서처럼 직접 고치게 만들고, 그 diff를 다음 추론의 구조화된 입력으로 바꾼 데 있다. 시스템은 수정 전 구간, 수정 구간, 수정 후 구간을 나눈다. 앞부분은 pruning과 숫자 masking으로 압축하고, 사람이 바꾼 부분은 강조하며, 앞선 오류에 오염됐을 가능성이 큰 뒷부분은 제거한다. 이어 CoT Reprompter가 편집된 내용을 짧은 Feedback-CoT로 재작성하고 원 질문과 합쳐 답을 다시 생성한다. 사용자가 대화로 “두 번째 단계가 틀렸다”고 장황하게 설명하는 대신 오류가 있는 문장 안에 대체 논리를 직접 넣는다는 점이 방법의 실질이다.

이 관점에서 Deep Interaction은 추론 알고리즘보다 test-time process correction layer에 가깝다. 모델이 더 오래 생각하도록 학습된 정책도 아니고, process reward를 만들어 파라미터를 갱신하는 RL 절차도 아니다. 사람이 어느 prefix를 보존하고 어느 suffix를 폐기할지 정한 뒤, 그 분기점에 모델 계산을 다시 배치한다. 그래서 전체 답을 매번 버리고 재생성하는 방식보다 이미 맞은 작업을 재사용할 여지가 생긴다. raw CoT는 설명을 읽는 산출물에서 오류 span을 지정하고 실행 경로를 바꾸는 runtime control surface로 역할이 바뀐다.

실험은 이러한 국소 교정이 작동할 가능성을 여러 각도에서 보여 준다. 저자들은 STEM과 논리 과제에서 correction success의 평균 상대 향상이 25%를 넘고 token 사용은 약 40% 감소한다고 보고한다. GPT 계열, Gemini, Claude 및 여러 크기의 Qwen2.5-VL에서도 대화 기반 교정보다 높은 경향을 제시한다. ablation에서는 text processing이나 CoT Reprompter를 제거했을 때 교정 성능이 내려가며, 세 라운드의 이력을 그대로 제공하는 변형도 완전한 방식보다 약했다. 동시에 가장 강한 Interactive Reasoning과 Round 5 정확도 차이는 96.8% 대 96.1%로 0.7%p다. 따라서 성과의 중심을 거대한 최종 정확도 격차로 표현하기보다, 수정 신호의 전달 방식과 계산 재사용의 효율로 이해하는 편이 결과에 더 충실하다.

적용 범위에도 분명한 경계가 있다. 사용자가 오류를 발견하고 의미 있는 수정안을 제공할 수 있어야 하며, 틀린 지침을 주면 모델이 그 지침을 매끄럽게 합리화할 수 있다. 편집 가능한 중간 추론이나 agent trajectory가 노출되지 않는 시스템에는 직접 적용하기 어렵다. Reprompter도 사용자 의도를 완벽하게 보존하지 않으므로 원 trace와 diff를 덮어쓰는 운영은 위험하다. 특히 QAgent 중심의 대규모 평가는 표준 답안을 사용하기 때문에 실제 사용자의 오류 탐지 난도를 제거한다. token 절감 통계가 실패 문제를 제외하고 전체 비압축 대화 이력을 baseline으로 삼은 점까지 고려하면, 보고된 40%를 사람 시간까지 포함한 총비용 절감으로 읽어서는 안 된다.

그럼에도 남는 설계 원리는 명료하다. 다단계 추론이 한 지점에서 어긋났을 때 앞의 맞는 단계까지 폐기할 필요는 없다. 사용자가 최초 오류를 정확히 짚을 수 있다면 diff는 오류 위치, 인간이 제공한 대체 명제, 폐기해야 할 후속 구간을 동시에 담는 강한 제어 신호가 된다. 이 기록을 원본과 분리해 보존하면 최종 답의 어느 논리 전환이 사람에게서 왔는지 추적하는 provenance로도 활용할 수 있다. 축적된 원 trace, human diff, corrected outcome은 독립 검증을 거친 뒤 process scorer나 intervention policy를 개선하는 후학습 데이터가 될 수 있다.

향후의 결정적 질문은 편집 기능 자체보다 누가 언제 편집기를 열 것인가다. 모든 사용자가 긴 CoT를 계속 읽는 구조는 감독 비용을 모델 밖으로 옮길 뿐이다. 자동 monitor가 위험 span을 좁히고, 사람은 그 작은 구간만 승인하거나 수정하며, 불확실하면 보류하고, 시스템은 수정 지점 이후만 재계산해야 한다. 이 폐루프를 검증할 때는 정답률, token, 사람의 읽기 시간, 수정 시간, 개입 빈도, 오교정 전파율, calibration을 함께 세어야 한다. 그런 평가를 통과한다면 Deep Interaction은 “사람이 CoT를 고치는 데모”에서 “위험할 때만 사람의 전문성을 구매하는 운영 체계”로 확장될 수 있다.

최종 평가는 절제해서 내릴 수 있다. Deep Interaction은 정답을 자동으로 발견하는 장치가 아니다. 이미 발견된 국소 correction을 모델이 무시하지 못하게 전달하는 인터페이스다. 정답을 아는 교정자가 주어진 현재 조건에서는 대화 이력보다 정밀하고 경제적인 수리 경로를 제시한다. 정답을 모르는 일반 사용자의 효율까지 입증하려면 oracle 없는 사용자 연구와 risk-triggered handoff가 더 필요하다. 이 구분을 지키면 논문의 가치는 과장 없이도 선명하다. 추론 trace를 최종 설명문으로 고정하지 않고, 검증된 prefix를 보존하면서 실패한 branch만 갈아 끼우는 편집 가능한 작업 상태로 전환했다는 점이다.

10. 요약 정리

• 문제 정의: 기존 대화식 교정은 사용자가 오류 위치를 다시 설명해도 모델이 잘못된 reasoning trajectory를 반복하거나, 긴 이력 속에서 핵심 수정을 놓칠 수 있다. Deep Interaction은 응답을 문서처럼 직접 편집하게 해 위치 설명과 대화 누적을 줄인다.
• 핵심 파이프라인: Myers diff 계열 change tracking으로 원본과 편집본을 비교해 pre-edit, edit-section, post-edit를 나눈다. 맞는 앞부분은 pruning과 숫자 masking, 사람의 수정은 강조, 오염 가능성이 있는 뒷부분은 제거한 뒤 원 질문과 다시 결합한다.
• Reprompter의 역할: 별도 CoT Reprompter는 편집된 trace를 의미가 같은 짧은 Feedback-CoT로 재작성해 이전의 잘못된 suffix가 그대로 재생되는 현상을 줄인다. 다만 617쌍에서 faithfulness가 87.2%였으므로 원 trace, user diff, 재작성 결과를 분리 보존해야 한다.
• 정확한 범주: 이 방법의 범주는 새로운 RL objective나 학습된 PRM보다 추론 시점의 human-guided local correction에 가깝다. 사람은 보존할 prefix와 고칠 span을 지정하고, 모델은 그 분기점 이후를 다시 계산한다. 축적된 검증 완료 편집 로그가 생길 때 후학습과 연결된다.
• 보고된 성과: 논문은 STEM과 논리 과제에서 correction success가 평균 상대 25% 이상 높고 token은 약 40% 적다고 보고한다. 여러 모델과 크기에서 개선 경향이 있으나, 강한 Interactive Reasoning과 Round 5 차이는 96.8% 대 96.1%로 0.7%p다.
• 가장 큰 약점: 대규모 실험의 QAgent는 표준 답안과 reference solution을 사용해 오류를 판정하고 feedback을 만든다. 실제 사용자의 어려운 작업인 최초 오류 탐지와 올바른 대체 reasoning 작성이 oracle 조건에서 해결되므로, 일반 사용자의 end-to-end 효율을 직접 입증하지 못한다.
• 비용 해석의 주의점: token 통계는 정해진 라운드 안에 성공한 문제만 포함하고 실패 문제를 제외하며, baseline은 비압축 전체 대화 이력을 사용한다. 예비 사용자 연구도 참가자와 실험 설계의 핵심 정보가 충분하지 않아 40%를 사람 시간까지 포함한 총비용 절감으로 환산하기 어렵다.
• wiki 연결: 기존 wiki 메모의 Progress Advantage와 trajectory monitoring은 위험 step과 개입 위치를 찾는 detector가 될 수 있고, Deep Interaction은 그 지점에 수정을 적용하는 actuator가 된다. test-time scaling의 다중 후보 생성과 달리 검증된 prefix를 재사용하며, latent reasoning 환경에서는 편집 가능한 claim과 checkpoint만 노출하는 절충이 필요하다.
• 후속 연구: Risk-Triggered Deep Interaction은 process signal과 verifier로 위험 span을 표시하고 계속 생성, 종료, 사람 호출, 독립 branch, 보류를 선택한다. gold solution 없는 층화 사용자 연구에서 정확도, localization, 사람 시간, token, latency, 개입 횟수, 오교정 전파율을 함께 측정해야 실제 운영상의 Pareto frontier를 확인할 수 있다.