[arXiv 2604.08401] Verify Before You Commit: 행동 커밋 전 belief 검증으로 LLM 에이전트 추론의 faithfulness를 확보하는 SAVeR

Verify Before You Commit: Towards Faithful Reasoning in LLM Agents via Self-Auditing

논문 링크: https://arxiv.org/abs/2604.08401

Wenhao Yuan, Chenchen Lin, Jian Chen, Jinfeng Xu, Xuehe Wang, Edith Cheuk Han Ngai | The University of Hong Kong, Sun Yat-sen University | ACL 2026 main accepted

원제는 Verify Before You Commit: Towards Faithful Reasoning in LLM Agents via Self-Auditing이며, 핵심 문제의식은 단순하다. 에이전트가 출력하는 reasoning trajectory를 설명 텍스트로 취급하면 오류가 있어도 지나칠 수 있지만, 실제 agent loop에서는 이 텍스트가 도구 호출, 행동 선택, 메모리 기록을 직접 유도하는 내부 belief state로 작동한다. 따라서 최종 정답만 맞았는지 보는 평가는 부족하고, 커밋 전에 중간 신념이 얼마나 근거 있고 충실한가를 따로 검사해야 한다는 것이 이 논문의 출발점이다.

---

1. 서론: 정답의 일회성 성공보다 belief commit의 신뢰성을 먼저 묻다

최근의 LLM 에이전트는 단순 질의응답을 넘어, 검색하고 계획하고 도구를 호출하며, 여러 단계의 추론 흔적을 남긴 뒤 그 결과를 다시 다음 행동의 입력으로 재사용한다. 문제는 이 흔적이 겉보기에는 매우 일관되고 유창해도, 실제로는 증거가 없는 가정, 논리적 생략, 숨은 순환 추론을 포함할 수 있다는 점이다. 전통적인 단일 턴 QA에서는 이런 불성실성이 답변 뒤의 해설 수준에서 끝날 수 있지만, 에이전트 맥락에서는 이야기가 달라진다. reasoning trace 자체가 다음 decision step의 기준이 되므로, 한 번 들어간 오류가 단발성 실수가 아니라 반복 증폭되는 belief drift로 이어질 수 있다.

논문이 특히 비판하는 대상은 합의 중심 접근이다. self-consistency, multi-agent debate, 여러 candidate trace를 모아 다수결로 고르는 방식은 흔히 신뢰성 향상 장치처럼 보이지만, 저자들은 agreement와 faithfulness는 다른 속성이라고 분명히 선을 긋는다. 여러 경로가 같은 결론에 도달했다는 사실은 그 경로가 모두 같은 숨은 가정을 공유했을 가능성을 제거하지 못한다. 오히려 구조적으로 상관된 잘못된 추론이 여러 샘플에 반복되면, 다수결은 오류를 약화시키는 대신 강화할 수도 있다. 이 문제는 장기 상호작용형 에이전트에서 특히 치명적이다.

Figure 1. 정답은 맞지만 reasoning이 충실하지 않은 사례

Figure 1은 정답이 맞아도 reasoning이 틀릴 수 있다는 논문의 문제 정의를 압축한다. 예시 에이전트는 최종 답을 맞히지만, 중간 단계에서 검증되지 않은 연상을 근거처럼 사용해 결론을 사실상 선가정한다. 저자들은 이런 경우를 설명용 CoT의 불성실성보다 더 심각한, 행동과 메모리 업데이트를 오염시키는 belief failure로 간주하며, 바로 이런 유형의 오류가 장기 agent 시스템에서 누적 위험을 만든다고 본다. 즉 이 그림은 정답 일치가 곧 belief 정당화를 뜻하지 않음을 첫 사례에서 못 박는다.

이 지점에서 논문은 faithful reasoning을 단지 사람이 읽기에 그럴듯한 설명의 문제가 아니라, agent system 내부에서 실제로 사용 가능한 중간 상태의 문제로 재정의한다. 즉 물어보는 질문은 ‘모델이 왜 그렇게 답했는가’가 아니라 ‘에이전트가 지금 커밋하려는 belief가 현재 시점에 접근 가능한 evidence와 reasoning history로 정당화되는가’이다. 이 전환은 중요하다. 왜냐하면 기존 accuracy 중심 평가는 우연한 정답, 후속 단계의 수정, 중복 정보 덕분의 회복을 모두 성공으로 처리해, 내부 reasoning의 실패를 가릴 수 있기 때문이다.

논문이 제안하는 SAVeR는 바로 이 틈을 메우기 위한 프레임워크다. 전체 흐름은 persona-conditioned belief generation으로 구조적으로 다른 candidate belief를 만들고, structure-aware selection으로 감사할 belief를 고른 뒤, adversarial reasoning audit로 위반 지점을 특정하고, constraint-guided minimal repair로 최소 수정만 수행한 다음, 검증을 통과한 belief만 행동과 메모리에 커밋하는 절차로 이어진다. 이 리뷰는 해당 설계를 중심으로, 왜 이 논문이 단순한 self-refine 논문이 아니라 pre-commit verification 논문인지를 정리하는 데 초점을 둔다.

2. 배경 및 관련 연구: 합의 기반 추론과 faithful reasoning 사이의 간극

2.1 LLM의 faithful reasoning 연구와 agent 맥락의 차이

관련 연구 맥락에서 보면, 최근 몇 년간 reasoning faithfulness는 이미 LLM 연구의 중요한 주제가 되었다. 모델이 생성하는 chain-of-thought가 실제 결정 과정을 반영하는지, 반사실적 개입으로 reasoning을 바꾸면 답도 같이 바뀌는지, 중간 단계가 사후 합리화에 그치는지 등을 묻는 연구들이 빠르게 늘어났다. 이런 흐름은 reasoning text가 단순한 설명 장식이 아니라, 모델 내부 판단과 어떤 관계를 갖는지 평가해야 한다는 문제의식을 정착시켰다. 논문 역시 이 문제를 이어받지만, 대상을 일반 LLM이 아니라 행동하는 agent로 옮긴다.

저자들이 보기에 agent setting은 일반 CoT 연구보다 더 어렵고 더 중요하다. 이유는 에이전트의 reasoning trace가 대화 한 턴이 끝나면 버려지는 부산물이 아니라, 이후의 retrieval, tool use, memory write, external action commitment를 조정하는 지속적 belief state이기 때문이다. 따라서 unfaithful reasoning은 단순히 해설 품질이 나쁜 수준을 넘어서, 잘못된 전제가 메모리에 쌓이고 다음 단계에서 다시 참조되며, 장기 horizon 전체를 기울게 만드는 원인이 된다. 논문이 반복해서 사용하는 표현인 systematic behavioral drift는 바로 이 누적 효과를 가리킨다.

또한 agent setting에서는 reasoning text가 다음 단계의 retrieval query나 tool invocation 조건으로 재사용된다는 점에서, faithfulness는 단순 설명 윤리의 문제가 아니라 상태 관리와 행동 통제의 문제다. 잘못된 중간 belief가 한 번 메모리에 기록되면 이후 step에서는 그 belief가 외부 evidence와 비슷한 사실처럼 참조될 수 있고, 그 결과 오류가 한 번의 잘못된 답으로 끝나지 않는다. 논문이 systematic behavioral drift를 강조하는 이유도 바로 여기 있다. unsupported belief는 개별 step의 실수가 아니라 후속 의사결정 전체의 prior를 왜곡하는 출발점이 될 수 있기 때문이다.

이 관점은 faithful reasoning 연구의 중심을 ‘최종 답의 원인 설명’에서 ‘중간 belief의 커밋 가능성’으로 옮긴다. 즉 평가 대상은 추론 문장의 설득력이 아니라, 각 reasoning step이 현재 시점의 evidence와 history에 의해 실제로 support되는지 여부다. 논문은 이러한 차이를 명시하기 위해 support function을 도입하고, trajectory 단위의 unfaithfulness rate를 정의한다. 이 정의는 이후의 selection, audit, repair를 하나의 공통 목표 아래 묶는 역할을 한다. 다시 말해 SAVeR는 많은 reasoning path 중 하나를 고르는 시스템이 아니라, 커밋 가능한 belief인지 아닌지를 판단하는 verification loop다.

여기서 support라는 개념은 결과론적 타당성과 의도적으로 분리되어 있다는 점이 중요하다. 어떤 trajectory는 마지막 단계에서 우연히 정답을 맞히거나, 뒤 단계의 retrieval이 앞선 오류를 부분적으로 덮어 줄 수 있다. 그러나 논문이 묻는 것은 나중에 보정되었는지가 아니라, 생성 당시의 관측·도구 출력·이전 reasoning history만으로 그 step가 정당화될 수 있었는가이다. 이 정의를 받아들이면 faithfulness 평가는 explanation quality 심사에서 벗어나, 행동 직전 내부 belief의 안전성 검사로 바뀐다. SAVeR가 selection, audit, repair를 모두 같은 좌표계 아래 연결할 수 있는 것도 바로 이 support function이 공통 기준점을 제공하기 때문이다.

2.2 합의, self-refinement, debate 계열 방법과 SAVeR의 위치

실험에 포함된 baseline을 보면 논문이 무엇과 구분되려 하는지가 더 분명해진다. Vanilla LM은 reasoning 없이 직접 답을 생성하고, CoT는 step-by-step rationale을 유도하며, MAD는 여러 agent의 토론을 통해 불일치를 줄인다. Self-Refine는 자기 비평과 수정 루프를 돌리고, B-2는 두 개의 후보를 만들고 더 나은 출력을 고른다. 이들 모두는 reasoning의 질을 어느 정도 개선할 수 있지만, 논문이 보기에 공통 한계가 있다. 바로 faithfulness violation을 명시적으로 localize하고, 수정 후 acceptance criteria를 검사하는 단계가 없다는 점이다.

예를 들어 debate는 모순을 줄일 수 있고, self-refine는 표면 문장을 더 정제할 수 있으며, best-of 방식은 좀 더 나은 결과를 고를 수 있다. 그러나 이 방법들은 대체로 ‘어느 답이 더 좋으냐’ 또는 ‘어느 설명이 더 자연스럽냐’를 묻지, 특정 reasoning step이 왜 현재 증거로 정당화되지 않는지를 구조적으로 기록하지 않는다. 그래서 논문은 이들을 faithfulness-aware system이라기보다 accuracy-improving heuristic에 더 가깝다고 본다. SAVeR가 강조하는 것은 output rewriting이 아니라 belief verification log를 남기는 일이다.

이 차이는 후반의 ablation 결과에서도 드러난다. audit와 repair를 제거하면 EM과 F1은 크게 무너지지 않을 수 있지만, Avg Viol, VFR, USR 같은 faithfulness 지표는 급격히 악화된다. 즉 end-task score만 보면 비슷해 보이는 시스템들도, 실제로 어떤 intermediate belief를 commit하고 있는지 보면 질적으로 다른 동작을 할 수 있다는 뜻이다. 바로 이 지점이 SAVeR의 학술적 위치다. 이 프레임워크는 더 많은 reasoning을 만들기보다, 더 적은 수의 검증된 reasoning만 남기도록 설계된 pre-commit filter다.

baseline 구성 역시 이 문제의 성격을 선명하게 보여 준다. B-2처럼 샘플 수를 조금 늘리는 방법, MAD처럼 여러 토론 주체를 두는 방법, Self-Refine처럼 자기 비평을 반복하는 방법은 서로 구현은 달라도 결국 ‘더 나은 답’이나 ‘더 그럴듯한 설명’을 고르는 데 초점을 둔다. 반면 SAVeR는 어느 step가 Missing Assumption인지, 어떤 문장이 Invalid Precondition 위에 서 있는지, repair 뒤 acceptance criterion이 실제로 만족되었는지까지 남기는 쪽을 택한다. 그래서 이 논문은 후보 생성량을 늘리는 기법이라기보다, intermediate belief를 다루는 규율과 검증 기록을 제안하는 논문으로 읽는 편이 더 정확하다.

3. 방법론: SAVeR

3.1 faithfulness의 정식화와 persona-conditioned belief generation

방법론의 첫 단계는 faithfulness를 수학적으로 정의하는 일이다. 논문은 입력 과제 x에 대해 agent의 내부 reasoning을 여러 step의 시퀀스 τ로 보고, 각 step s_l이 그 시점까지의 history H_l과 accessible evidence E_l에 의해 얼마나 지지되는지를 support function Γ로 표현한다. 중요한 것은 이 정의가 정답 여부와 별개라는 점이다. 어떤 step은 최종 답에 우연히 도움이 되었더라도, 그 자체로는 evidence support가 약할 수 있다. 논문은 바로 이 간극을 trajectory-level unfaithfulness rate로 수량화한다.

$$U(τ) = (1/L) Σ_{l=1}^{L} I[Γ(s_l | x, H_l, E_l) < ε]$$

이 식의 직관은 명확하다. 전체 reasoning step 가운데 support threshold ε를 넘지 못한 step의 비율이 높을수록, 해당 trajectory는 commit하기 위험한 belief라는 뜻이다. 논문은 이를 통해 ‘faithful reasoning’을 결과적 정답의 속성이 아니라, 중간 단계의 정당화 가능성으로 재정의한다. 따라서 SAVeR의 목적은 무작정 정답률을 최대화하는 것이 아니라, commit 직전에 남아 있는 unsupported step의 비중을 줄이는 방향으로 이동한다.

trajectory-level unfaithfulness rate는 길이가 다른 reasoning chain을 비교할 수 있게 해 준다는 점에서도 유용하다. 단순 위반 개수만 세면 step 수가 많은 trajectory가 항상 더 불리해지지만, U(τ)는 전체 step 대비 unsupported step 비율을 보기 때문에 어느 정도 공정한 비교가 가능하다. 저자들이 후반 실험에서 Avg Viol과 USR을 함께 제시한 것도 같은 맥락으로 읽을 수 있다. 하나는 절대적인 violation burden을, 다른 하나는 step 수준 오염도를 보여 주므로, SAVeR가 reasoning을 단순히 짧게 만든 것인지 실제로 더 충실하게 만든 것인지 구분하는 데 도움이 된다.

그 다음 단계는 persona-conditioned belief generation이다. 저자들은 단순 random sampling으로 여러 trace를 생성하면 구조적으로 비슷한 오류가 반복될 가능성이 높다고 본다. 그래서 하나의 에이전트 내부에 서로 다른 reasoning bias를 가진 M개의 persona를 두고, 각 persona가 claim과 reasoning trajectory를 포함하는 belief y_i를 생성하게 한다. 논문이 예시로 드는 편향은 assumption-first 대 evidence-first처럼 reasoning의 출발점이 다르게 설계된 유형들이다. 이렇게 하면 같은 질문에 대해서도 서로 다른 failure mode가 surface 위로 올라오기 쉬워진다.

여기서 주목할 점은 SAVeR가 multi-agent debate처럼 여러 agent의 정치적 합의를 노리는 것이 아니라, 한 agent 내부의 구조적 다양성을 노린다는 사실이다. persona는 독립적 외부 agent라기보다, 서로 다른 reasoning template를 가진 내부 coalition으로 구현된다. 이 설계 덕분에 SAVeR는 diversity를 목표로 하되, 나중 단계에서 다시 하나의 verified belief로 수렴할 수 있다. 즉 생성 단계의 다양성은 목적 자체가 아니라, 검사해야 할 distinct failure mode를 더 많이 드러내기 위한 장치다.

persona-conditioned generation을 이렇게 해석하면, SAVeR의 다양성은 정치적 합의의 전 단계가 아니라 진단 가능성의 전 단계가 된다. 논문이 한 agent 내부의 internal reasoning coalition이라는 표현을 쓰는 이유도 여기에 있다. assumption-first persona는 빠르게 가설을 세우는 대신 전제를 누락하기 쉽고, evidence-first persona는 근거 연결에는 강하지만 결론으로 가는 속도가 느릴 수 있다. 이런 편향을 의도적으로 병치하면 동일 질문에 대해 서로 다른 failure slice가 노출되고, audit 단계는 단순히 서로 다른 문장을 읽는 것이 아니라 서로 다른 실패 메커니즘을 비교할 수 있게 된다. 결국 persona 수를 늘리는 목적은 답을 많이 뽑는 데 있지 않고, 검증해야 할 구조적 오류의 폭을 넓히는 데 있다.

3.2 structure-aware belief selection과 quality-aware diversity kernel

candidate belief를 여러 개 만든 뒤에는 무엇을 audit할지 고르는 문제가 남는다. 모든 후보를 끝까지 감사하면 비용이 커지기 때문에, 논문은 reasoning의 faithfulness와 관련된 구조를 반영하는 feature mapping φ를 설계한다. 이 feature는 granularity, assumptive pattern, verification behavior, global structural type의 네 묶음으로 구성된다. 핵심은 lexical diversity가 아니라 reasoning structure diversity를 측정한다는 점이다. 표면 문장이 달라도 같은 방식의 생략 추론을 반복하면 감사 효율이 떨어지기 때문이다.

$$φ(r_i) = [g(r_i), p(r_i), v(r_i), s(r_i)]^⊤$$

또한 논문은 diversity만 키우는 것이 능사가 아니라는 점을 분명히 한다. 너무 엉성한 candidate까지 포함하면 audit budget이 낭비되기 때문이다. 그래서 우선 가벼운 usability 성격의 quality score q를 계산하고, 이 점수를 diversity kernel에 반영한 뒤, 최종적으로 k-DPP로 K개의 belief를 고른다. 수식으로 쓰면 다음과 같다.

$$I_{ij} = exp(βq̃_i) exp(βq̃_j) κ(φ(r_i), φ(r_j))$$

$$P(S) ∝ det(I_S), |S| = K$$

quality-aware diversity kernel은 표면적으로는 selection 공식이지만, 실제 역할은 감사 예산을 어디에 써야 하는가를 먼저 정하는 데 있다. 논문은 구조적 다양성만 극대화하면 내부적으로 모순되거나 최소한의 사용 가능성조차 없는 trace까지 감사 후보에 들어올 수 있다고 본다. 그래서 q는 faithfulness를 완전히 판정하는 점수가 아니라, nonsensical step이나 internally inconsistent conclusion 같은 최소 usability 위반을 먼저 걸러 내는 가벼운 필터다. 그 위에 k-DPP가 det(I_S)를 통해 서로 닮지 않은 후보를 선호하게 만들면, 검증 자원이 동일한 오류 템플릿에 중복 투입되는 일을 줄이고 서로 다른 unfaithful reasoning mode를 더 넓게 덮을 수 있다.

Figure 2. persona 생성부터 verified commit까지의 SAVeR 전체 흐름

Figure 2는 SAVeR가 단순 sampling 기법이 아니라 closed-loop verification pipeline임을 보여준다. 앞단에서는 persona 기반으로 belief를 만들고 구조-aware kernel로 감사 대상을 고르며, 뒷단에서는 audit로 위반 위치를 특정하고 repair 후 재감사를 반복한다. 최종 행동 커밋은 생성 직후가 아니라 검증을 통과한 뒤에만 허용된다는 점이 도식의 핵심이다. 즉 이 그림의 핵심 메시지는 생성보다 커밋 승인 규칙에 있다.

이 설계의 장점은 audit capacity를 서로 비슷한 실패에 낭비하지 않는 데 있다. det(I_S)를 최대화하는 k-DPP는 구조적으로 중복되지 않는 subset을 선호하므로, 같은 종류의 unsupported assumption이 반복된 belief 여러 개보다, 서로 다른 reasoning pattern을 가진 belief를 택하게 만든다. 논문 표현을 빌리면 이는 감사 자원을 다양한 unfaithful reasoning mode에 배분하는 효과를 낸다. 즉 selection 단계 자체가 이미 faithfulness 개선의 일부이며, 단순 후보 축소가 아니다.

실험 설정에서 실제 값은 M=4, K=2, β=1.0이다. 모든 candidate를 완전 탐색하지 않고도 성능을 내도록 설계했다는 뜻이며, 이는 논문의 제한사항과도 연결된다. SAVeR는 분명 추가 비용이 있지만, 저자들은 구조적으로 다양한 소수 후보만 골라 깊게 점검하는 쪽이, 많은 후보를 얕게 합의시키는 것보다 faithfulness 측면에서 더 효율적이라고 본다.

이 값들은 SAVeR가 exhaustive verification을 지향하지 않는다는 점을 잘 보여 준다. persona 수를 무작정 늘리거나 모든 belief를 끝까지 검사하는 방식이었다면 계산량은 빠르게 폭증했을 것이다. 그러나 논문은 구조적으로 다양한 소수 집합만 깊게 파는 방향을 택한다. 따라서 selection 단계는 단순 후보 축소가 아니라, 현실적인 계산 예산 아래서도 faithfulness와 관련된 구조 신호에 우선 검증 비용을 배분하게 만드는 장치다. SAVeR의 novelty가 비싼 검증을 무조건 확대하는 데 있지 않고, 어디를 먼저 검증할지 정하는 데 있다는 점도 여기서 드러난다.

3.3 adversarial audit, minimal repair, verified belief commit

selection 뒤에는 adversarial reasoning audit가 온다. 논문이 강조하는 표현은 ‘auditor interrogates the belief state rather than generating alternative answers’이다. 즉 auditor의 역할은 새 답을 뽑는 것이 아니라, 이미 생성된 belief를 공격적으로 interrogate하여 어디가 unsupported인지 찾는 것이다. 이를 위해 auditor는 stated assumptions, verified intermediate facts, admissible evidence를 모은 observable context 아래에서 reasoning trajectory를 stress-test하고, 위반 사항을 구조화된 스키마로 출력한다.

논문이 정의한 대표 위반 유형은 Missing Assumption, Invalid Precondition, Unjustified Inference, Circular Reasoning, Contradiction, Overgeneralization의 여섯 가지다. 이 분류가 중요한 이유는 단순히 ‘나쁘다’고 판정하는 대신, 어떤 종류의 faithfulness failure인지를 repair 단계에서 바로 사용할 수 있기 때문이다. 감사 결과는 각 trajectory마다 어느 step에서 어떤 위반이 발생했는지를 담은 violation instance set으로 저장되고, 다시 위반 유형별 count vector 형태의 unfaithfulness profile로 요약된다.

여섯 가지 violation type을 따로 두는 이유도 바로 repair 가능성 때문이다. Missing Assumption은 필요한 전제가 서술되지 않았거나 암묵적으로만 남아 있는 경우를, Invalid Precondition은 해당 step가 성립하기 전에 확보되어야 할 조건이 아직 충족되지 않은 경우를 겨냥한다. Unjustified Inference와 Circular Reasoning은 추론 연결 자체의 결함을, Contradiction과 Overgeneralization은 trajectory 내부 일관성과 주장 범위의 과잉 확장을 잡아낸다. 이처럼 위반 유형을 나누어야 repair가 막연한 문장 다듬기가 아니라, 어떤 종류의 실패를 어느 step에서 어떤 기준으로 바로잡을지 명시하는 절차가 된다.

그 다음은 constraint-guided belief repair다. 저자들은 full regeneration을 피한다. 전체 reasoning을 새로 써 버리면 critique와 correction 사이의 인과 연결이 흐려지고, 원래 특정했던 failure slice가 정말 제거되었는지 검증하기 어렵기 때문이다. 그래서 SAVeR는 localized violation만 수정하는 minimal counterfactual intervention 원칙을 채택한다. audit가 각 위반에 대해 acceptance criterion을 함께 반환하면, repair는 그 조건을 만족하도록 reasoning의 필요한 부분만 바꾼다.

$$r̃_i = argmin_r L_cons(r; Θ_i) + λΔ(r, r_i)$$

여기서 L_cons는 acceptance criterion 위반을 세는 항이고, Δ는 원래 trajectory와의 편차를 재는 항이다. 직관적으로 말해 SAVeR는 검증 조건을 만족할 만큼은 충분히 수정하되, 나머지는 가능한 건드리지 않는 보수적 수리자를 지향한다. 그리고 repair가 새로운 위반을 드러낼 수 있으므로, 감사와 수리는 최대 10라운드까지 반복된다. 이 반복 구조 덕분에 논문의 faithfulness metric에는 Post-Repair Residual이라는 항목도 들어간다.

acceptance criterion을 함께 반환한다는 설계도 중요하다. 논문이 full regeneration을 피하는 이유는 새로 써 버린 reasoning이 더 유창해 보일 수는 있어도, 원래 어떤 위반을 없앤 것인지 추적하기 어려워지기 때문이다. 반대로 auditor가 각 위반 인스턴스마다 구조화된 evidence와 acceptance criterion을 주면, repair는 ‘더 자연스럽게 다시 말하라’가 아니라 ‘이 조건을 만족하도록 필요한 부분만 수정하라’는 작업이 된다. 수정 후 다시 audit를 거쳤을 때 어떤 criterion이 만족되었고 어떤 잔여 위반이 남았는지 읽을 수 있으므로, SAVeR의 repair는 일반적인 self-refine보다 훨씬 보수적이면서도 해석 가능하다.

마지막 commit 단계에서 agent는 단순 quality score가 가장 높은 belief를 택하지 않는다. repair된 belief 가운데서도 residual unfaithfulness를 벌점으로 주어, superficial quality보다 verified faithfulness가 높은 후보를 선호한다. 논문이 제시한 형태는 다음과 같다.

$$i* = argmax_{i∈S} (q(ỹ_i; x) - α Σ_{t∈T} w_t h_t(r̃_i))$$

이 수식이 의미하는 바는 분명하다. SAVeR의 목표는 가장 화려한 reasoning을 남기는 것이 아니라, 가장 덜 위반적인 belief를 최종 커밋하는 것이다. 따라서 이 논문은 reasoning generation 논문이면서 동시에 memory safety 논문이기도 하다. unsupported intermediate belief가 다음 행동과 장기 메모리로 흘러 들어가기 전에 검문소를 세운 것이기 때문이다.

최종 commit 식이 quality와 residual unfaithfulness를 동시에 넣는 것도 같은 철학을 드러낸다. agent가 실제로 사용할 belief를 고를 때는 표면적 완성도만 높아서는 안 되고, 남아 있는 violation의 성격과 개수도 함께 고려되어야 한다. severity weight와 penalty 항을 넣으면 겉보기에는 조금 덜 화려하더라도 더 검증된 belief가 선택될 수 있다. 인간이 읽는 답변만 내놓는 시스템이라면 이런 보수성이 과잉처럼 보일 수 있지만, memory write와 downstream action까지 동반하는 agent에서는 오히려 필수적인 편향이다. unsupported step를 한 번 통과시키면 그 뒤 단계 전체가 그 belief를 사실처럼 참조할 수 있기 때문이다.

4. 실험 설정: 여섯 벤치마크와 세 백본으로 본 신뢰성 검증

4.1 데이터셋 및 벤치마크

실험은 총 6개 벤치마크에서 수행된다. 다중 소스 결합과 multi-step reasoning이 필요한 HotpotQA, 2WikiMHQA, MuSiQue가 multi-hop QA 그룹을 이루고, 근거의 적절성과 충분성이 중요한 NQ, FEVER가 evidence-sensitive QA로 묶인다. 여기에 하나의 문맥 안에서 referential dependency를 풀어야 하는 Quoref가 local reasoning baseline으로 들어간다. 데이터셋 구성이 중요한 이유는 SAVeR가 단순 multi-hop 전용 heuristic이 아니라, 증거 민감도와 구조적 불확실성이 서로 다른 설정에서 공통적으로 평가되기 때문이다.

이 벤치마크 조합은 결과 해석의 폭도 넓혀 준다. HotpotQA·2WikiMHQA·MuSiQue는 여러 근거를 엮는 동안 step 간 정당화가 무너지기 쉬운 반면, NQ·FEVER는 근거가 실제로 존재하는지와 그 근거가 주장에 충분한지가 핵심이다. Quoref는 상대적으로 짧은 문맥에서 referential dependency를 풀지만, 짧다고 해서 unsupported step가 사라지는 것은 아니다. 이런 배치는 SAVeR가 긴 chain을 가진 문제에서만 작동하는지, 아니면 agent가 evidence를 다루는 보다 일반적인 상황에서도 의미가 있는지 검증하려는 목적과 정확히 맞물린다.

이 구분은 결과 해석에도 직접 연결된다. HotpotQA, 2WikiMHQA, MuSiQue는 서로 다른 근거를 연결하며 reasoning chain을 구성해야 하므로 중간 belief의 정당화가 특히 중요하다. 반면 NQ와 FEVER는 정확한 증거 사용 여부가 성패를 좌우하므로, unsupported inference를 얼마나 잘 막는지가 핵심이다. Quoref는 상대적으로 로컬 문맥 안에서 추론이 일어나지만, 그렇다고 faithfulness 문제가 사라지는 것은 아니다. 논문은 이러한 폭넓은 설정에서 SAVeR가 성능을 유지하면서도 reasoning violation을 줄일 수 있는지 묻는다.

평가 지표는 두 층으로 나뉜다. task-level에서는 표준적인 EM과 F1을 보고, reasoning-level에서는 Avg Viol, VFR, USR, Post-Res를 측정한다. Avg Viol은 trajectory당 평균 위반 수, VFR은 violation-free trajectory 비율, USR은 unfaithful step 비율, Post-Res는 repair 후에도 남아 있는 위반 잔차를 뜻한다. 이 구성 덕분에 논문은 단순히 점수가 올랐는지뿐 아니라, 그 점수가 어떤 reasoning quality 위에서 얻어진 것인지까지 함께 볼 수 있다.

실험군을 multi-hop, evidence-sensitive, local reasoning으로 나눈 것도 방법론과 맞닿아 있다. HotpotQA·2WikiMHQA·MuSiQue는 여러 근거를 결합하는 동안 assumption leakage가 생기기 쉬운 환경이고, NQ·FEVER는 근거가 존재하느냐 없느냐가 곧 faithfulness의 핵심인 환경이다. Quoref는 상대적으로 구조가 짧지만 referential dependency를 잘못 풀면 여전히 unsupported step가 생길 수 있다. 이런 조합은 SAVeR가 단순히 긴 reasoning chain에서만 효과를 내는지, 아니면 증거 사용이 중요한 다양한 QA setting 전반에서 통하는지 확인하기 위한 설계다. 데이터셋 선정 자체가 논문의 주장을 시험하는 장치라고 할 수 있다.

4.2 구현 세부사항

백본 모델은 LLaMA-3.1-8B, LLaMA-3.2-3B, Qwen-2.5-7B의 세 종류이며, 모두 zero-shot inference 설정으로 사용된다. 즉 논문은 task-specific fine-tuning 없이도 verification loop 자체가 주는 효과를 보이려 한다. 기본 하이퍼파라미터는 앞서 언급한 대로 persona 수 M=4, audit 대상으로 선택되는 belief 수 K=2, quality weighting 강도 β=1.0, support threshold ε=0.5다. audit-repair는 최대 10라운드까지 반복되며, faithfulness 평가는 모든 방법에 동일한 auditing protocol을 적용해 수행된다.

구현 세부에서 눈에 띄는 점은 faithfulness evaluation을 동일 프로토콜로 통일했다는 부분이다. 만약 SAVeR만 별도 기준으로 평가했다면 baseline과의 차이를 엄밀히 해석하기 어려웠을 것이다. 하지만 논문은 reasoning trajectory가 있든 없든, 또는 debate를 쓰든 self-refine를 쓰든, 최종적으로 나온 reasoning trace에 동일한 감사를 적용해 violation statistics를 계산한다. 또한 저자들은 전체 실험을 4개의 NVIDIA RTX 4090에서 수행했다고 밝힌다. 이 사실은 이후 한계점에서 언급되는 compute overhead와 연결된다.

zero-shot inference를 유지했다는 점 역시 과소평가하기 어렵다. task-specific fine-tuning을 섞었다면 성능 상승이 verification loop 덕분인지, 데이터셋 적응 덕분인지 분리하기 어려웠을 것이다. 그러나 논문은 백본을 고정한 채 belief generation, selection, auditing, repair라는 inference-time procedure만 얹어 효과를 본다. 이는 SAVeR를 파라미터 업데이트 기법이 아니라 agent control layer로 해석하게 만든다. 실무적으로는 기존 agent stack을 크게 재학습하지 않고도 pre-commit verification을 추가할 수 있다는 뜻이므로, 실제 도입 장벽을 낮추는 장점으로 이어진다.

4.3 베이스라인

baseline 구성은 비교적 정교하다. Vanilla LM은 reasoning 없이 직접 생성하는 기준선이고, CoT는 rationale을 붙이는 고전적 확장이다. MAD는 여러 agent discussion을 집계하는 deliberation 기반 접근이며, Self-Refine는 자기 critique를 반복해 출력을 고치는 방식이다. 마지막으로 B-2는 Best-of-2 전략으로, 둘 중 더 나은 출력을 선택한다. 즉 논문은 단순 prompting부터 합의형 deliberation, iterative self-revision, sample selection까지, 실무에서 많이 쓰이는 개선 전략을 폭넓게 포함시킨다.

이 구성 덕분에 SAVeR의 성과는 특정 baseline 하나에만 유리한 결과로 보기 어렵다. debate 계열보다 좋다면 consensus 이상의 무언가가 있다는 뜻이고, self-refine보다 좋다면 surface rewriting 이상의 구조적 이점이 있다는 뜻이다. 실제 결과도 이 방향과 맞아떨어진다. SAVeR는 대부분의 설정에서 task performance를 최소한 competitive하게 유지하면서, faithfulness 지표에서는 큰 폭의 개선을 만든다. 즉 baseline과의 차이는 단지 답을 더 잘 맞히는가가 아니라, 어떤 중간 belief만 남기도록 시스템을 설계했는가에 있다.

baseline 폭을 넓게 잡은 것도 공정하다. Vanilla LM은 reasoning 부재를, CoT는 표준 step-by-step rationale을, MAD는 합의 중심 deliberation을, Self-Refine는 자기 critique 기반 rewriting을, B-2는 저비용 샘플 선택을 대표한다. 따라서 SAVeR가 이 모두와 비교해 faithfulness에서 크게 앞선다면, 개선의 원인을 특정 프롬프트 습관 하나로 돌리기 어렵다. 논문이 결국 보여 주는 것은 생성량을 늘리느냐, 토론을 붙이느냐, 다시 쓰게 하느냐보다 중요한 축이 따로 있다는 사실, 즉 intermediate belief를 action에 넘기기 전에 검사하고 수리하는 검문소 자체가 별도의 설계 요소라는 점이다.

5. 주요 실험 결과: faithfulness를 높이면서도 task performance를 유지하는가

5.1 엔드태스크 성능: 모델별 전체 결과

먼저 전체 성능 표를 보면 SAVeR는 세 백본 모두에서 상당히 안정적인 패턴을 보인다. 흥미로운 점은 압도적 초대형 이득보다는, 여러 데이터셋에서 일관되게 상위권을 유지하는 형태가 두드러진다는 것이다. 이는 verification step이 정확도만을 위한 강한 탐색 장치라기보다, reasoning quality를 다듬으면서도 output utility를 잃지 않도록 설계되었음을 시사한다. 특히 multi-hop QA와 evidence-sensitive QA에서 동시에 경쟁력 있는 결과가 나온다는 점이 중요하다.

표 1. LLaMA-3.1-8B 기반 전체 성능 비교

방법	HotpotQA EM	HotpotQA F1	2Wiki EM	2Wiki F1	MuSiQue EM	MuSiQue F1	NQ EM	NQ F1	Quoref EM	Quoref F1	FEVER EM
Vanilla LM	34.8	43.6	39.6	47.3	23.8	34.6	29.5	38.2	29.4	37.7	53.7
CoT	38.3	47.5	44.2	50.7	27.1	36.8	32.7	43.4	33.2	42.3	55.9
MAD	43.1	51.2	47.9	55.4	30.9	40.8	36.6	46.9	36.3	45.2	60.7
Self-Refine	40.8	48.9	46.3	53.3	28.7	37.8	33.5	43.0	34.1	43.6	57.6
B-2	42.9	51.3	46.7	54.4	31.0	40.6	35.9	44.9	36.7	46.2	60.6
SAVeR	43.7	52.6	47.7	55.5	31.8	42.5	37.1	47.8	37.2	45.7	61.1

표 1 해석. LLaMA-3.1-8B에서는 SAVeR가 HotpotQA, MuSiQue, NQ, Quoref EM, FEVER에서 최고 성능을 보이고, 2WikiMHQA EM과 Quoref F1처럼 일부 칸에서는 근소하게 1위를 놓치더라도 거의 모든 열에서 상위권을 유지한다. 특히 MuSiQue F1이 42.5로 MAD의 40.8보다 높고, NQ F1도 47.8로 MAD의 46.9를 넘는 점은 복잡한 reasoning verification이 task utility와 충돌하지 않음을 시사한다.

같은 표를 평균적으로 보면 LLaMA-3.1-8B에서 SAVeR의 11개 지표 평균은 45.7로 MAD의 45.0보다 높고 B-2의 44.65보다도 높다. 절대 격차만 보면 과장할 수준은 아니지만, SAVeR가 11개 열 전체에서 최소 차상위권을 유지하고 9개 열에서 최고치를 기록한다는 분포가 중요하다. verification layer를 추가했음에도 특정 데이터셋에서만 급락하는 trade-off가 보이지 않는다는 뜻이기 때문이다. 논문이 accuracy를 크게 희생하지 않으면서 faithfulness를 끌어올렸다고 말할 수 있는 이유도 바로 이런 일관된 상위권 패턴에 있다.

표 2. LLaMA-3.2-3B 기반 전체 성능 비교

방법	HotpotQA EM	HotpotQA F1	2Wiki EM	2Wiki F1	MuSiQue EM	MuSiQue F1	NQ EM	NQ F1	Quoref EM	Quoref F1	FEVER EM
Vanilla LM	30.6	39.1	31.6	39.4	11.7	20.8	25.1	34.8	24.4	34.6	49.3
CoT	34.4	43.6	35.0	43.6	15.2	23.4	29.5	38.6	29.2	37.8	52.4
MAD	37.4	45.8	39.8	47.2	18.4	28.1	33.4	42.4	33.5	41.2	55.6
Self-Refine	34.9	44.1	36.8	44.5	17.1	26.4	31.2	39.2	29.9	39.4	53.8
B-2	36.0	45.7	39.9	46.9	18.3	27.5	34.4	42.9	32.1	40.7	54.3
SAVeR	38.3	47.5	40.0	48.6	18.6	28.3	33.9	43.8	33.2	41.9	56.4

표 2 해석. 더 작은 3B 모델에서도 패턴은 유지된다. SAVeR는 HotpotQA와 2WikiMHQA에서 EM과 F1 모두 1위를 차지하고, MuSiQue와 FEVER에서도 최고 점수를 기록한다. NQ EM은 B-2가 34.4로 약간 높지만, NQ F1은 SAVeR가 43.8로 가장 높다. 즉 작은 모델일수록 verification loop가 불리할 것이라는 우려와 달리, 모델 규모가 줄어도 pre-commit audit의 효과가 유지된다.

작은 모델에서도 같은 모양이 반복된다는 점은 실용적 함의가 크다. LLaMA-3.2-3B에서 SAVeR의 11개 지표 평균은 39.14로 MAD의 38.44보다 높고, 역시 11개 열 모두에서 최소 차상위권을 유지한다. 작은 백본은 중간 reasoning을 길게 늘릴수록 표면 유창성과 실제 support 사이의 괴리가 커질 수 있는데, SAVeR는 그런 흔들림을 pre-commit audit로 정리해 주는 셈이다. 다시 말해 verification loop는 대형 모델에서만 가능한 사치가 아니라, 오히려 용량이 제한된 모델에서 더 의미 있는 안정화 장치일 수 있다는 해석도 가능하다.

표 3. Qwen-2.5-7B 기반 전체 성능 비교

방법	HotpotQA EM	HotpotQA F1	2Wiki EM	2Wiki F1	MuSiQue EM	MuSiQue F1	NQ EM	NQ F1	Quoref EM	Quoref F1	FEVER EM
Vanilla LM	33.9	42.3	38.4	46.0	21.9	30.5	28.2	36.9	28.4	36.5	52.7
CoT	38.6	46.6	42.3	49.3	26.3	34.7	33.0	41.7	32.8	42.5	56.3
MAD	42.5	50.9	46.9	54.8	30.8	39.3	36.2	44.6	35.3	44.8	60.1
Self-Refine	39.4	48.6	44.1	52.2	27.2	36.4	34.6	43.7	33.8	42.9	58.2
B-2	41.2	50.6	47.2	55.1	29.1	39.0	35.5	45.3	35.1	43.3	60.7
SAVeR	43.1	51.2	47.7	55.8	30.6	39.4	36.8	45.9	35.6	44.1	60.9

표 3 해석. Qwen-2.5-7B에서도 SAVeR는 HotpotQA와 2WikiMHQA에서 EM과 F1 모두 최고치를 기록하고, NQ와 FEVER 역시 가장 높다. MuSiQue EM은 MAD가 30.8로 소폭 앞서지만, MuSiQue F1은 SAVeR가 39.4로 가장 높다. 즉 SAVeR는 다양한 백본에서 정확도 지표를 해치지 않는 보수적 검증기로 동작하며, 특정 모델 아키텍처에 과도하게 종속되지 않는다는 인상을 남긴다.

Qwen-2.5-7B에서도 SAVeR의 11개 지표 평균은 44.65로 MAD의 44.2를 웃돌고, 11개 열 가운데 9개에서 최고치를 기록한다. LLaMA 계열 두 모델과 Qwen 계열 한 모델에서 모두 ‘대부분 1위, 전부 top-2’라는 모양이 되풀이된다는 것은, SAVeR의 효과가 특정 instruction-tuning 스타일이나 tokenizer 습관에 과도하게 종속되지 않음을 시사한다. 논문이 세 백본을 병렬로 보고한 이유도 여기에 있다. verification 절차가 모델 family를 바꿔도 비슷한 이득을 내는지 확인해야 agent-level primitive라는 주장이 설득력을 얻기 때문이다.

세 표를 합쳐 보면 논문의 메시지는 과장되지 않으면서도 분명하다. SAVeR는 모든 칸을 완전히 석권하는 방식이 아니라, 대부분의 열에서 최고 또는 차상위권을 유지하며 평균적으로 매우 안정적인 성능을 낸다. 이런 패턴은 reasoning verification이 extra safety layer임에도 불구하고 end-task utility를 거의 잃지 않았다는 사실을 보여 준다. 특히 일부 ablation에서 accuracy는 조금 더 높지만 faithfulness는 크게 낮아지는 현상이 뒤에 나오기 때문에, 이 결과는 ‘조금 더 맞히는 것’과 ‘더 검증된 belief를 커밋하는 것’이 다를 수 있음을 미리 예고한다.

세 백본을 함께 놓고 보면 gain의 성격도 분명해진다. SAVeR는 MAD 대비 평균적으로 약 0.45~0.70포인트 수준의 task 지표 개선만 내더라도, 거의 모든 열에서 상위권을 유지한다. 이것은 SAVeR가 정답률을 폭발적으로 키우는 aggressive search method가 아니라, 기존 utility를 크게 해치지 않으면서 내부 belief quality를 정리하는 conservative controller라는 뜻이다. 뒤에서 보듯 faithfulness 지표에서는 격차가 훨씬 더 크므로, 이 논문을 읽을 때는 accuracy gain보다 ‘faithfulness gain을 내면서도 accuracy를 거의 잃지 않았다’는 방향으로 해석하는 편이 맞다.

5.2 faithfulness 지표: Avg Viol, VFR, Post-Res, USR의 변화

이 논문의 핵심은 사실 accuracy 표보다 faithfulness 표에 있다. SAVeR가 정말 새로운 기여인지 보려면, reasoning trajectory 내부의 violation이 얼마나 줄었는지를 봐야 한다. 저자들은 LLaMA-3.1-8B를 기준으로 HotpotQA, 2WikiMHQA, MuSiQue에서 Avg Viol, VFR, Post-Res, USR를 비교한다. 여기서 특히 중요한 것은 VFR과 USR이다. VFR은 완전히 깨끗한 trajectory 비율을 뜻하고, USR은 reasoning step 단위의 오염 정도를 보여 준다.

표 4. LLaMA-3.1-8B 기준 reasoning faithfulness 비교

방법	Hotpot Avg Viol	Hotpot VFR	Hotpot Post-Res	Hotpot USR	2Wiki Avg Viol	2Wiki VFR	2Wiki Post-Res	2Wiki USR	MuSiQue Avg Viol	MuSiQue VFR	MuSiQue Post-Res	MuSiQue USR
Vanilla LM	2.65	7.43%	-	46.41%	2.83	6.58%	-	53.19%	3.25	5.34%	-	62.63%
CoT	1.98	24.89%	-	27.36%	2.21	17.41%	-	32.11%	2.91	13.26%	-	37.58%
MAD	1.33	36.74%	-	23.94%	1.81	32.78%	-	28.82%	2.16	26.17%	-	36.51%
SAVeR	0.37	81.36%	0.05	9.12%	0.56	72.34%	0.08	13.84%	0.83	69.38%	0.11	19.73%

표 4 해석. faithfulness에서는 차이가 훨씬 극적이다. HotpotQA에서 SAVeR의 Avg Viol은 0.37로 MAD의 1.33보다 훨씬 낮고, VFR은 81.36%로 MAD의 36.74%를 크게 앞선다. 2WikiMHQA와 MuSiQue도 같은 패턴이며, 특히 Post-Res가 0.05, 0.08, 0.11로 매우 낮다는 점은 audit 뒤 repair가 실제로 잔여 위반을 줄였음을 보여 준다.

표 4의 차이를 상대값으로 보면 SAVeR의 기여가 더 선명해진다. HotpotQA에서 SAVeR는 MAD 대비 Avg Viol을 약 72.2% 줄이고 USR을 약 61.9% 낮추며, VFR은 44.62%p 끌어올린다. 2WikiMHQA에서도 Avg Viol 69.1% 감소, USR 52.0% 감소, VFR 39.56%p 상승이 나타나고, MuSiQue에서는 Avg Viol 61.6% 감소와 VFR 43.21%p 상승이 보고된다. 이런 폭은 단순 sampling diversity만으로 설명하기 어렵고, audit-repair loop가 실제로 unsupported step를 구조적으로 겨냥하고 있음을 보여 주는 정량적 신호다.

여기서 중요한 해석은 SAVeR가 단지 reasoning을 짧게 만들었기 때문에 USR이 낮아진 것이 아니라는 점이다. 논문은 모든 방법의 final reasoning trajectory에 동일한 auditing protocol을 적용했고, SAVeR는 그 안에서 violation-free trajectory 비율을 크게 높였다. 즉 같은 질문에 대해 여전히 reasoning을 수행하지만, unsupported step를 더 적게 포함하는 방향으로 reasoning path를 정제한 것이다. 이것이야말로 이 논문이 accuracy booster가 아니라 faithfulness controller라는 점을 뒷받침한다.

또 하나 눈여겨볼 부분은 baseline들도 어느 정도는 faithfulness를 개선한다는 사실이다. CoT는 Vanilla LM보다, MAD는 CoT보다 대체로 낫다. 그러나 그 개선 폭은 SAVeR와 비교하면 제한적이다. 이는 합의나 토론이 reasoning noise를 줄일 수는 있어도, 근거 없는 step의 존재 자체를 체계적으로 제거하지는 못한다는 저자들의 주장과 정확히 맞닿는다. 결국 SAVeR의 차별점은 더 많은 추론을 생성한 데 있지 않고, 감사-수정-재감사 루프를 통해 커밋 가능한 belief만 남기는 절차적 설계에 있다.

게다가 Post-Res가 0.05, 0.08, 0.11처럼 매우 낮게 남는다는 사실은 repair가 cosmetic rewrite에 그치지 않았음을 보여 준다. 만약 수정이 표면 표현만 바꾸고 원래의 failure를 남겨 두었다면, 동일 auditing protocol 아래서 잔여 위반이 이렇게 낮아지기 어렵다. 논문이 ‘criticize → regenerate’가 아니라 ‘localize → repair → re-audit’ 순서를 고수한 이유가 바로 여기에 있다. SAVeR는 reasoning을 새로 포장하는 시스템이 아니라, 남겨 둘 수 없는 step를 식별하고 실제로 제거하는 시스템에 가깝다.

6. 추가 분석 및 Ablation Study: audit-repair dynamics와 구성요소 기여

6.1 동역학 패널과 구성요소 제거 실험이 말해 주는 것

정적인 표만으로는 SAVeR가 어떻게 faithfulness를 낮추는지 완전히 드러나지 않는다. 그래서 논문은 Figure 3에서 여섯 벤치마크에 대한 USR dynamics를, Table 3에서 핵심 모듈을 제거한 ablation을 함께 제시한다. 전자는 시간축에서 SAVeR와 MAD의 수렴 성질이 어떻게 다른지를 보여 주고, 후자는 어떤 구성요소가 단순 정확도보다 intermediate reasoning quality에 더 큰 기여를 하는지 드러낸다. 두 분석을 함께 읽으면 SAVeR의 기여는 더 뚜렷해진다.

Figure 3-a. HotpotQA에서의 USR dynamics

HotpotQA 패널은 SAVeR가 초기 audit-repair cycle 몇 번 안에서 USR을 빠르게 낮추고, 이후에도 더 낮은 수준에서 안정적으로 유지된다는 점을 보여 준다. 반면 MAD는 debate 라운드가 늘어도 하강 폭이 상대적으로 완만하며 잔여 unfaithfulness가 더 오래 남는다. 논문 본문이 말하는 빠르고 안정적인 수렴이라는 표현이 가장 직관적으로 드러나는 패널이다. 즉 적은 반복 안에 더 낮은 오염도로 들어간다는 점이 핵심이다.

Figure 3-b. 2WikiMHQA에서의 USR dynamics

2WikiMHQA에서도 패턴은 유사하다. SAVeR는 반복이 진행될수록 USR을 더 빠르게 깎아 내려 lower plateau로 수렴하는 반면, MAD는 여러 차례 토론 뒤에도 더 높은 잔차를 남긴다. 이는 다중 근거 연결이 필요한 설정일수록 단순 합의보다 위반 위치를 특정하고 acceptance criterion을 확인하는 수리 루프가 더 효과적임을 시사한다. Table 4의 2Wiki VFR 72.34%와도 방향이 정확히 맞는다. 곡선과 표가 같은 결론을 가리킨다는 점이 중요하다.

Figure 3-c. MuSiQue에서의 USR dynamics

MuSiQue 패널은 구조적으로 더 어려운 multi-hop reasoning에서도 SAVeR의 하강 곡선이 MAD보다 낮게 형성됨을 보여 준다. 논문이 Table 4에서 보고한 MuSiQue USR 19.73%는 이런 동적 패턴의 종착점으로 이해할 수 있다. 즉 SAVeR는 단순히 마지막 숫자만 개선한 것이 아니라, 반복 과정 전체에서 unfaithfulness를 더 일찍 더 안정적으로 억제한다. 복합 hop가 늘수록 이런 조기 억제가 특히 중요하다.

Figure 3-d. NQ에서의 USR dynamics

NQ는 evidence-sensitive QA라는 점에서 multi-hop과는 다른 성격을 가진다. 그럼에도 패널은 SAVeR가 토론 기반 refinement보다 더 빠르게 USR을 줄이는 경향을 유지함을 보여 준다. 이는 SAVeR의 효과가 복잡한 hop 연결에서만 생기는 것이 아니라, 근거가 있는지 없는지를 명시적으로 따지는 작업에서도 유효하다는 점을 뒷받침한다. faithfulness 문제가 곧 evidence discipline 문제임을 보여 주는 그림이다.

Figure 3-e. Quoref에서의 USR dynamics

Quoref는 로컬 문맥 안의 referential reasoning이 중심이지만, 그래프는 SAVeR가 여기서도 더 낮은 USR 수준에 수렴함을 나타낸다. 로컬 reasoning task에서는 구조적 불확실성이 작기 때문에 faithfulness 문제가 덜 중요하다고 생각하기 쉽지만, 패널은 오히려 짧은 reasoning에서도 unsupported step를 줄이는 검증 루프의 가치가 남아 있음을 보여 준다. 이는 SAVeR가 고난도 multi-hop 전용 기법이 아님을 확인시킨다.

Figure 3-f. FEVER에서의 USR dynamics

FEVER 패널 역시 전체 결론을 반복 확인한다. SAVeR는 몇 차례의 audit-repair cycle 안에서 더 낮은 USR 영역으로 내려가며, MAD는 반복이 늘어도 더 큰 잔차를 남긴다. claim verification 환경에서도 faithfulness improvement가 일관되다는 것은, SAVeR의 핵심이 특정 데이터셋용 prompt trick이 아니라 belief verification procedure 자체에 있음을 뒷받침한다. 즉 사실 검증 환경에서도 합의보다 검문소가 더 중요하다는 메시지다.

여섯 패널을 종합하면, 논문이 본문에서 강조한 세 문장이 정리된다. 첫째, SAVeR는 MAD보다 더 빠르게 USR을 낮춘다. 둘째, 더 적은 반복 안에 더 낮은 수준으로 수렴한다. 셋째, 수렴 이후에도 더 안정적이다. 즉 SAVeR의 advantage는 최종 iteration의 점수만이 아니라, iterative refinement 과정 전체의 shape에 있다. 이는 audit와 repair가 localized failure를 직접 다루기 때문에, debate보다 훨씬 적은 낭비로 의미 있는 수정을 수행할 수 있음을 보여 준다.

동역학 차이를 업데이트 단위로 해석하면 더 흥미롭다. debate는 라운드가 늘어날수록 논의 내용이 바뀌기는 하지만, 어느 iteration에서 어떤 violation이 해결되었는지를 명시적으로 추적하기 어렵다. 반면 SAVeR는 audit가 위반 step를 지목하고 repair가 그 slice를 최소 수정한 뒤 다시 audit를 거치므로, 각 iteration이 무엇을 해결하려는지 상대적으로 분명하다. Figure 3에서 SAVeR 곡선이 더 빨리 내려가는 것은 단지 더 공격적으로 토론했기 때문이 아니라, 수정 단위가 localized failure에 맞춰져 있기 때문이다. 이 차이가 iterative refinement의 효율을 가르는 핵심으로 읽힌다.

표 5. HotpotQA ablation 결과

방법	EM	F1	Avg Viol	VFR	Post-Res	USR
w/o Persona	43.2	52.4	0.49	74.55%	0.06	11.97%
w/o k-DPP	43.3	52.2	0.64	71.47%	0.08	15.86%
w/o Auditing	43.8	52.8	1.37	42.65%	-	26.74%
w/o Repair	44.0	52.9	1.56	33.68%	-	37.63%
SAVeR	43.7	52.6	0.37	81.36%	0.05	9.12%

표 5 해석. HotpotQA ablation에서 가장 인상적인 부분은 accuracy와 faithfulness의 분리다. w/o Repair가 EM 44.0, F1 52.9로 SAVeR보다 소폭 높지만, Avg Viol은 1.56으로 네 배 이상 크고 USR도 37.63%까지 치솟는다. 즉 단순 정답 점수만 보면 더 좋아 보이는 설정이, 실제로는 훨씬 더 많은 unsupported step를 commit하고 있을 수 있다. SAVeR의 기여가 바로 이 간극을 줄이는 데 있다.

HotpotQA ablation을 숫자로 더 읽으면 역할 분담이 분명해진다. w/o Persona는 SAVeR 대비 VFR이 6.81%p 낮고 USR이 2.85%p 높으며, w/o k-DPP는 VFR 격차가 9.89%p, USR 격차가 6.74%p로 더 커진다. 즉 persona와 selection은 서로 다른 failure mode를 충분히 surface 위로 올리는 데 기여한다. 그러나 w/o Auditing은 Avg Viol이 1.00 더 높고 USR이 17.62%p 악화되며, w/o Repair는 USR이 28.51%p나 더 높아진다. 결국 diversity 계열 모듈이 노출 범위를 넓힌다면, faithfulness를 결정적으로 낮추는 축은 audit와 repair라는 사실이 수치로도 확인된다.

표 6. 2WikiMHQA ablation 결과

방법	EM	F1	Avg Viol	VFR	Post-Res	USR
w/o Persona	47.6	55.3	0.78	65.98%	0.10	19.24%
w/o k-DPP	47.5	55.2	0.86	61.78%	0.14	20.52%
w/o Auditing	47.8	55.7	1.76	38.95%	-	29.17%
w/o Repair	48.1	55.6	1.83	29.17%	-	39.84%
SAVeR	47.7	55.5	0.56	72.34%	0.08	13.84%

표 6 해석. 2WikiMHQA에서도 동일한 메시지가 반복된다. persona와 k-DPP를 제거하면 faithfulness가 악화되지만, 진짜 큰 하락은 auditing과 repair를 제거했을 때 발생한다. w/o Auditing과 w/o Repair는 EM과 F1이 오히려 비슷하거나 조금 높은데도, VFR이 38.95%와 29.17%로 급락한다. 이는 SAVeR의 핵심이 candidate를 많이 만드는 데보다, 감사와 최소 수리를 통해 commit 전 검문을 수행하는 데 있음을 확인시킨다.

2WikiMHQA에서는 이 서열이 더욱 또렷하다. persona 제거는 SAVeR 대비 Avg Viol을 0.22 높이고 VFR을 6.36%p 낮추는 정도지만, auditing 제거는 Avg Viol을 1.20 높이고 VFR을 33.39%p 깎는다. repair까지 제거하면 USR 격차는 26.0%p로 벌어진다. 흥미로운 점은 EM과 F1은 이들 설정이 SAVeR보다 비슷하거나 약간 더 높을 수 있다는 사실이다. 즉 accuracy만 보면 감지되지 않는 내부 오염이 얼마나 클 수 있는지를 ablation이 직접 보여 준다. 이것이 SAVeR가 정확도 경쟁보다 belief commit quality 경쟁을 재설정한다고 말할 수 있는 이유다.

Figure 4. unjustified numerical inference를 수정하는 사례 연구

Figure 4는 SAVeR의 장점을 가장 직관적으로 보여 준다. 초기 belief는 경기장 유사성과 엔티티 식별을 바탕으로 그럴듯한 수용 인원을 추정하지만, 명시적 근거 문장을 제시하지 못한다. SAVeR는 이를 unsupported numerical guess와 missing citable evidence로 감사해 표시하고, 이후에는 실제 seated-capacity 문장을 추출한 뒤에만 최종 답과 메모리 커밋을 허용한다. 또한 수정된 belief는 재감사를 통과해야만 다음 단계에 전달된다.

이 사례가 중요한 이유는 SAVeR가 단순히 더 많은 토론을 통해 답을 바꾸는 시스템이 아니라, 왜 이 belief를 커밋하면 안 되는지와 무엇이 추가되어야 커밋 가능한지를 모두 구조화해 준다는 점을 보여 주기 때문이다. 같은 수치 추정이라도 audit 단계에서는 그 수치가 unsupported inference인지, 아니면 precondition이 빠진 것인지를 구분해 기록할 수 있고, repair 단계에서는 그 기록에 맞는 최소 수정만 수행한다. 결국 이 사례는 SAVeR를 reasoning style 개선기가 아니라 belief safety filter로 읽어야 함을 잘 보여 준다.

종합하면 추가 분석 섹션의 결론은 명확하다. Figure 3은 SAVeR가 반복 과정 전반에서 더 빠르고 더 낮게 수렴한다는 사실을, Figure 4와 ablation 표는 왜 그런지에 대한 원인을 설명한다. persona diversity와 k-DPP selection은 서로 다른 failure mode를 surface 위로 올리고, auditing은 위반 위치를 특정하며, repair는 acceptance criterion에 맞춘 최소 개입을 수행한다. 이 네 요소가 빠질수록 accuracy는 비슷해도 faithfulness는 확연히 무너진다.

case study는 이 정량 결과를 질적으로 번역해 준다. persona 단계에서 추정형 belief와 evidence-first belief가 나란히 나오고, audit 단계에서는 ‘그럴듯하지만 근거 없는 수치 추정’과 ‘엔티티는 맞지만 citable sentence가 없는 상태’가 서로 다른 failure로 분리된다. repair는 정확한 seated-capacity 문장을 붙이는 최소 수정만 수행하고, 마지막에는 그 수정된 belief가 다시 감사를 통과한 뒤에야 commit된다. 즉 SAVeR는 정답을 더 창의적으로 발명하는 시스템이 아니라, 이미 생성된 belief 중 증거에 묶어 둘 수 있는 버전만 남기는 시스템이라는 점이 사례 수준에서도 확인된다.

7. 한계점 및 향후 연구 방향: 계산 비용과 적응적 검증 깊이의 필요성

논문이 직접 인정하는 첫 번째 한계는 추가 계산 비용이다. SAVeR는 M개의 candidate belief를 만들고, 그중 K개를 골라 audit하고, 필요하면 repair와 재감사를 최대 10라운드까지 반복한다. 저자들은 구조적으로 diverse한 소수 subset만 감사해 비용을 줄이려 했지만, 그럼에도 single-pass prompting이나 가벼운 self-refinement보다 비싼 것은 분명하다. 특히 reasoning chain이 짧고 task complexity가 낮은 환경에서는 이 비용이 과할 수 있다.

이 추가 비용은 단순 API 사용량 증가로만 끝나지 않는다. SAVeR는 생성 이후에 selection, auditing, repair, re-auditing이 이어지므로 end-to-end latency도 길어질 수 있고, 도구 사용형 agent에서는 감사 과정이 추가 evidence inspection이나 retrieval을 유발할 가능성도 있다. 따라서 저자들이 future work로 암시한 adaptive auditing은 부가 기능이 아니라 실서비스 전환을 위한 핵심 과제에 가깝다. 난도가 낮거나 risk가 작은 과업까지 동일 깊이로 검증하는 현재 구조는 안전성 측면에서는 보수적이지만, 효율성 측면에서는 아직 거친 면이 남아 있다.

두 번째 한계는 verification depth의 비적응성이다. 논문은 명시적으로 현재 SAVeR가 task difficulty나 uncertainty에 따라 감사 강도를 조절하는 메커니즘을 갖고 있지 않다고 밝힌다. 다시 말해 쉬운 문제에도 동일한 audit-repair 루프를 돌릴 수 있고, 그 경우 중복적인 reasoning operation이 발생할 수 있다. 이 한계는 단순 효율성 문제를 넘어, 실서비스에서 latency budget과 직접 맞물린다. 향후에는 uncertainty estimator나 risk classifier를 붙여 언제 깊게 검증하고 언제 얕게 통과시킬지를 배우는 방향이 자연스럽다.

세 번째로, SAVeR의 auditor와 repairer 역시 결국 기저 LLM의 판단 품질에 의존한다는 점을 잊기 어렵다. 논문은 이를 윤리 섹션에서도 인정하며, 고위험 도메인에서는 human oversight가 여전히 필요하다고 말한다. 즉 SAVeR가 unsupported inference를 크게 줄이기는 하지만, verifier 자체가 완전히 독립적이고 오류 없는 외부 판정기라는 뜻은 아니다. 이 점은 향후 symbolic checker, retrieval-grounded verifier, tool-augmented acceptance test와 결합할 여지를 남긴다.

향후 연구 방향은 따라서 두 갈래로 정리된다. 하나는 adaptive auditing처럼 효율을 높이는 방향이고, 다른 하나는 외부 근거 시스템과 결합해 verifier의 신뢰성을 높이는 방향이다. 개인적으로가 아니라 연구 구조상 보더라도, SAVeR는 이미 pre-commit verification의 골격을 제공했기 때문에 다음 단계는 이 골격 위에 언제 검증할지와 무엇으로 검증할지를 더 정교하게 얹는 일일 가능성이 높다. 논문도 바로 그 방향을 future work로 암시한다.

윤리 섹션의 함의도 분명하다. SAVeR는 unsupported intermediate belief의 전파를 줄이지만, auditor와 repairer도 결국 기저 LLM의 편향과 오류 가능성에서 완전히 자유롭지 않다. 즉 verification loop가 있다고 해서 고위험 영역에서 자동 승인이 정당화되는 것은 아니다. 의료·법률·안전 분야처럼 누락된 근거의 비용이 큰 환경에서는 retrieval-grounded checker, symbolic rule, human reviewer 같은 외부 장치와 결합해야 한다. 논문이 human oversight를 남겨 둔 이유는 SAVeR를 ‘완전 보증기’가 아니라 ‘위험을 낮추는 필터’로 위치시키기 때문이다.

8. 내 해석: 약점 1 + 후속 제안 1

이 논문을 최근 읽은 두 리뷰와 나란히 놓으면 위치가 분명해진다. Reflective Context Learning은 플레이북, 규칙, 메모리 같은 외부 컨텍스트 공간을 학습 대상으로 보고 실패 후 문서를 업데이트하는 프레임워크였다. 반면 Self-Guide는 행동 직전의 내부 자기안내 문장과 내부 보상을 만들어 policy와 함께 공진화시키는 접근이었다. SAVeR는 이 둘과 다르게, 이미 생성된 reasoning을 행동에 반영하기 직전에 belief verification gate를 세운다. 즉 외부 규칙 최적화도 아니고, 내부 보상 shaping도 아니며, 커밋 직전 검증이라는 별도의 위치를 차지한다.

약점 1. 내가 보기에 SAVeR의 가장 큰 약점은 verification이 강력함에도 불구하고, 그 verifier가 아직은 고정된 절차적 장치에 가깝다는 점이다. RCL처럼 외부 플레이북을 장기적으로 축적하지도 않고, Self-Guide처럼 내부 자기안내를 policy와 함께 학습하지도 않는다. 다시 말해 SAVeR는 현재 step의 belief는 잘 걸러 주지만, 그 과정에서 얻은 실패 패턴을 다음번 생성기 자체의 습관 변화로 충분히 환류시키는 구조는 약하다. 그래서 비용은 크지만 장기 학습 효과는 아직 제한적일 수 있다.

후속 제안 1. 후속 연구로는 세 프레임워크를 계층적으로 결합한 구성이 유망해 보인다. 가장 바깥층에서는 RCL처럼 외부 플레이북과 컨텍스트를 업데이트해 반복 오류를 줄이고, 중간층에서는 Self-Guide처럼 내부 자기안내와 내부 보상으로 on-policy 탐색을 더 안정화하며, 마지막 방화벽으로는 SAVeR처럼 행동 커밋 직전 belief audit를 수행하는 구조다. 이렇게 되면 외부 정책 문서, 내부 상태 요약, 최종 pre-commit verification이 서로 다른 시간척도에서 역할을 분담할 수 있다.

정리하면 RCL은 밖에서 정책을 고치는 방법, Self-Guide는 안에서 방향성을 만들어 주는 방법, SAVeR는 마지막 순간에 믿을 수 있는 belief만 통과시키는 방법이라고 볼 수 있다. 이 셋은 경쟁 관계라기보다 보완 관계에 가깝다. 그래서 SAVeR의 약점을 단독 프레임워크의 부족함으로만 보기보다, 오히려 에이전트 스택의 세 번째 층으로 배치하면 더 강한 의미를 갖는다고 해석한다.

9. 결론: reasoning trajectory를 관리 대상 자산으로 바꾼 논문

SAVeR의 가장 큰 공헌은 LLM 에이전트의 reasoning trajectory를 더 길고 더 멋지게 만드는 데 있지 않다. 오히려 저자들은 reasoning을 관리해야 할 내부 belief asset로 격상시키고, 그 belief가 행동과 메모리로 흘러가기 전에 검증, 수리, 재검증을 거쳐야 한다고 주장한다. 이 관점 변화 덕분에 논문은 단순 CoT 개선이나 debate 개선이 아니라, agent safety와 memory hygiene를 함께 다루는 프레임워크로 읽힌다.

실험 결과도 이 해석을 뒷받침한다. SAVeR는 세 백본, 여섯 벤치마크에서 대체로 상위권의 EM과 F1을 유지하면서, HotpotQA·2WikiMHQA·MuSiQue에서 Avg Viol과 USR를 크게 줄이고 VFR을 크게 높였다. 또한 ablation은 persona, k-DPP, auditing, repair 가운데 어느 하나를 빼도 faithfulness가 악화됨을 보여 주며, 특히 audit와 repair가 이 프레임워크의 실질적 핵심이라는 사실을 분명히 한다. 다시 말해 SAVeR는 reasoning을 잘 쓰는 법보다 믿고 커밋할 reasoning만 남기는 법을 제안한다.

그래서 이 논문의 장기적 가치는 새로운 reasoning style 하나를 더한 데보다, agent architecture 안에 belief commit boundary를 분명히 그어 놓았다는 데 있다. 생성, 선택, 감사, 수리, 최종 커밋이 분리되면 이후 연구는 어느 단계에 retrieval verifier를 넣을지, 어느 단계에 사람 검토를 삽입할지, 어떤 belief만 메모리에 남길지 훨씬 체계적으로 설계할 수 있다. SAVeR는 reasoning trajectory를 관리 대상 자산으로 바꾸면서, 에이전트가 무엇을 믿고 행동했는가를 독립적으로 평가해야 한다는 기준을 세웠다는 점에서 의미가 크다.

장기적으로 이 논문이 남기는 메시지는 간단하다. 앞으로의 agent 연구는 정답률과 tool success rate만으로 충분하지 않으며, 무엇을 믿고 다음 행동을 했는가를 함께 다뤄야 한다는 것이다. SAVeR는 그 첫 번째 실용적 설계도에 가깝다. verification cost와 적응성 문제는 남아 있지만, 적어도 ‘정답이면 reasoning도 괜찮다’는 오래된 가정을 agent setting에서 더 이상 유지하기 어렵다는 점은 이 논문이 매우 설득력 있게 보여 준다.

이 관점 변화는 이후 에이전트 연구의 평가 기준에도 영향을 줄 가능성이 크다. 앞으로는 단순 성공률뿐 아니라, 어떤 belief가 action으로 넘어갔는지, 그 belief가 evidence와 history에 의해 얼마나 지지되었는지, 실패한 belief가 메모리에 얼마나 남았는지를 함께 추적해야 한다는 요구가 커질 수 있다. SAVeR는 완성형 해답은 아니지만, 적어도 reasoning trajectory를 관리 대상 자산으로 보고 commit 전 검증을 독립 단계로 세워야 한다는 기준을 제시했다는 점에서 후속 연구의 출발점이 된다.

또 하나 주목할 점은 SAVeR가 reasoning 자체를 부정하지 않는다는 사실이다. 논문은 chain-of-thought를 없애자는 것이 아니라, reasoning이 실제 agent state로 쓰이는 순간에는 그 내용이 설명문이 아니라 operational belief가 된다고 본다. 따라서 앞으로의 설계 과제는 reasoning을 더 길게 생성하느냐가 아니라, 어떤 reasoning만 memory와 action에 연결할지 관리하는 것이다. 이 문제 설정 덕분에 SAVeR는 accuracy 보조기보다 메모리 위생과 행동 안전의 관점에서 더 오래 남을 논문이 된다. 결국 핵심은 reasoning의 양이 아니라 commit 가능한 belief의 질을 관리하는 거버넌스에 있다. 이 점이 SAVeR를 pre-commit verification 논문으로 만든다.

10. 요약 정리: 논문을 빠르게 다시 보는 핵심 포인트

아래 항목만 기억해도 이 논문의 위치를 빠르게 복기할 수 있다.

• SAVeR는 LLM 에이전트의 reasoning trajectory를 단순 설명이 아니라 행동과 메모리 업데이트를 유도하는 내부 belief state로 본다.
• 핵심 문제는 agreement와 faithfulness의 혼동이다. 여러 trace가 같은 답에 합의해도, 모두 같은 hidden assumption을 공유할 수 있다.
• 생성 단계에서는 persona-conditioned belief generation으로 구조적으로 다른 후보를 만들고, quality-aware kernel과 k-DPP로 감사할 subset을 고른다.
• 감사 단계에서는 Missing Assumption, Invalid Precondition, Unjustified Inference, Circular Reasoning, Contradiction, Overgeneralization 같은 위반 유형을 step 단위로 특정한다.
• 수리 단계에서는 전체 재생성 대신 acceptance criterion을 만족하도록 필요한 부분만 바꾸는 minimal repair를 수행한다.
• 정량 결과로는 LLaMA-3.1-8B 기준 HotpotQA의 VFR이 81.36%, USR이 9.12%까지 내려가며, baseline보다 faithfulness 격차가 매우 크게 벌어진다.
• ablation은 accuracy가 비슷해도 faithfulness는 크게 달라질 수 있음을 보여 준다. 특히 auditing과 repair를 제거하면 위반 지표가 급격히 악화된다.
• 비교 맥락에서 RCL이 외부 컨텍스트 최적화, Self-Guide가 내부 자기안내와 보상 최적화라면, SAVeR는 행동 커밋 직전 belief verification을 담당하는 층으로 이해할 수 있다.