[arXiv 2305.18290] Direct Preference Optimization (DPO): 보상모델과 PPO를 건너뛰는 선호최적화의 단순한 해법

Direct Preference Optimization: Your Language Model is Secretly a Reward Model

https://arxiv.org/abs/2305.18290

Rafael Rafailov, Archit Sharma, Eric Mitchell, Stefano Ermon, Christopher D. Manning, Chelsea Finn | Stanford University, CZ Biohub | arXiv:2305.18290 | 2023년 5월

---

1. 서론: RLHF의 복잡성을 어떻게 분류 문제로 바꿀 수 있는가

대규모 언어모델을 실제 서비스에 맞게 조정할 때 가장 큰 병목 중 하나는 사람이 선호하는 응답을 안정적으로 학습시키는 과정이다. 사전학습만으로도 언어모델은 방대한 세계지식과 일정 수준의 추론 능력을 확보하지만, 특정 상황에서 더 도움이 되고 더 안전하며 더 간결한 출력을 내도록 만드는 일은 별개의 정렬 문제로 남는다. 이 문제를 해결하기 위해 널리 쓰인 프레임이 RLHF이며, 여기서는 먼저 보상모델을 학습하고 그 다음 PPO 같은 강화학습 알고리즘으로 정책을 미세조정하는 두 단계 파이프라인이 표준처럼 자리 잡았다. 그러나 논문은 바로 이 표준 파이프라인이 지나치게 복잡하고, 실제로는 불안정성과 튜닝 비용을 함께 가져온다고 지적한다.

이 논문의 문제의식은 단순하다. 선호 데이터가 이미 좋은 응답과 나쁜 응답의 상대적 순위를 담고 있다면, 굳이 보상모델을 별도로 만들고 그 위에서 다시 강화학습을 돌려야 하는가라는 질문이다. 기존 RLHF는 인간 선호를 반영하는 잠재 보상함수를 추정한 다음, 그 함수를 최대화하는 정책을 찾는 구조를 취한다. 반면 DPO는 선호 데이터의 확률 모형과 KL 제약이 결합된 RLHF 목표를 다시 들여다보면, 최적 정책을 폐형식에 가까운 형태로 직접 표현할 수 있다고 본다. 이 재해석이 가능하다면 문제는 강화학습이 아니라 정책의 상대 로그확률을 맞추는 분류 손실로 바뀐다.

따라서 Direct Preference Optimization의 핵심 가치는 단순한 구현 편의성에 그치지 않는다. 논문은 정책이 참조 모델보다 선호된 응답에 얼마나 더 높은 확률을 주고, 비선호 응답에 얼마나 낮은 확률을 주는지를 직접 학습하는 것만으로도 RLHF의 표준 목적을 충족할 수 있다고 주장한다. 다시 말해 정책 자체가 암묵적 보상모델의 역할을 수행한다는 해석을 내세운다. 이 주장은 이론적으로는 보상함수와 정책의 관계를 다시 정리하는 작업이고, 실무적으로는 reward model 학습, 샘플링, advantage 추정, value baseline, PPO 안정화 같은 여러 비용을 생략하는 설계 제안이다.

논문이 중요한 이유는 두 가지 층위에서 읽을 수 있다. 첫째, 선호정렬을 둘러싼 파이프라인의 분해를 다시 생각하게 만든다. 둘째, 이후 수많은 후속 연구가 DPO 계열 목적함수, 오프라인 선호최적화, reference policy 기반 정렬을 출발점으로 삼게 만들었다. 현재 LLM 정렬 실무에서 DPO가 거의 기본 베이스라인처럼 쓰이는 상황을 떠올리면, 이 논문은 단지 성능 수치 하나를 제시한 것이 아니라 정렬을 구현하는 문법 자체를 단순화한 전환점에 가깝다.

또 하나 중요한 배경은 선호쌍 수집의 실용성이다. 사람에게 절대 점수 1~10을 매기게 하는 것보다, 두 응답 중 어느 쪽이 더 낫냐고 묻는 편이 일반적으로 더 일관된 레이블을 얻기 쉽다. RLHF도 이 사실에 기대고 있었지만, DPO는 그 선호쌍을 가장 직접적으로 활용하는 학습식으로 내려온다. 즉 데이터 수집 방식과 목적함수의 모양이 더 잘 맞아떨어지도록 정렬한 셈이며, 이 점이 실제 annotation pipeline과의 궁합을 높인다.

이런 관점에서 보면 DPO는 모델 아키텍처 혁신이라기보다 데이터-목적함수 정합성을 회복한 논문이라고도 말할 수 있다. 사람이 실제로 제공하는 피드백은 대부분 비교 형태인데, RLHF는 그 비교를 일단 스칼라 보상으로 환산한 뒤 다시 정책 최적화로 넘긴다. DPO는 비교를 비교로 남겨 둔 채 정책을 갱신한다. 논문이 보여 주는 단순함의 상당 부분은 바로 이 표현 손실을 줄였다는 데서 나온다.

Figure 1: RLHF의 보상모델+강화학습 파이프라인과 DPO의 직접 선호최적화 파이프라인 비교

이 도식은 논문의 핵심 주장을 가장 압축적으로 보여 준다. 왼쪽의 RLHF는 선호쌍에서 보상모델을 만들고, 그 보상으로 언어모델 정책을 반복적으로 업데이트하는 이중 구조를 가진다. 반면 오른쪽의 DPO는 동일한 선호쌍을 곧바로 최종 정책 학습에 투입한다. 즉 학습 대상은 여전히 언어모델이지만, 중간에 독립된 보상모델과 RL 루프를 두지 않는다는 점이 결정적 차이다. 이 대비만으로도 논문이 겨냥한 단순화의 대상이 학습식 하나가 아니라 전체 정렬 파이프라인이라는 사실을 확인할 수 있다.

그림의 메시지는 “강화학습을 쓰지 않는다”보다 더 구체적이다. RLHF에서는 정책이 보상모델을 상대로 최적화되는 동안, 보상모델의 약점이 정책에 의해 증폭될 수 있고, 반대로 정책이 크게 이동하면 reward model이 더 이상 신뢰할 수 없는 구간으로 들어갈 수 있다. DPO는 선호쌍에 대한 비교 손실로 바로 내려옴으로써 이 상호증폭 경로를 줄인다. 즉 모델이 ‘보상모델을 속이는 법’을 배울 여지를 줄이고, 처음부터 선호 순서를 맞추는 방향으로 학습 신호를 고정한다.

• 문제 설정: 선호 데이터는 있는데 RLHF 파이프라인이 과도하게 복잡하고 불안정하다.
• 핵심 아이디어: 보상함수를 정책비의 로그로 재매개변수화하면 직접 분류 손실로 학습할 수 있다.
• 실용적 장점: 샘플링 기반 RL, value baseline, advantage 추정, 대규모 하이퍼파라미터 탐색을 줄인다.
• 실험적 주장: 감성제어, 요약, 단일턴 대화에서 PPO 수준 이상 성능을 더 단순하게 달성한다.

2. 배경 및 관련 연구: RLHF, 보상모델, 선호학습의 전제를 다시 정리하기

2.1 RLHF 파이프라인: SFT에서 보상모델, 그리고 PPO까지

논문은 먼저 당시 표준이던 RLHF 절차를 세 단계로 분해한다. 첫 단계는 SFT로, 사람이 작성한 양질의 응답이나 선택된 응답을 이용해 기본 모델을 downstream task에 맞게 다듬는다. 둘째 단계는 이 SFT 모델이 생성한 응답쌍에 대해 사람이 어느 쪽을 더 선호하는지 레이블을 붙이고, 그 상대 선호를 맞추는 보상모델을 학습하는 과정이다. 셋째 단계는 학습된 보상모델을 이용해 언어모델 정책을 다시 최적화하는 단계이며, 여기서 KL 제약이 붙은 PPO가 흔히 사용된다.

이 구조는 직관적으로는 그럴듯하다. 직접 미분하기 어려운 인간 선호를 먼저 보상함수로 근사하면, 이후에는 강화학습으로 정책 최적화를 수행할 수 있기 때문이다. 하지만 언어 생성은 연속 제어가 아니라 고차원 이산 시퀀스 생성이고, 보상모델이 정확히 일반화할 수 있는 분포도 제한적이다. 따라서 정책이 보상모델의 허점을 이용하거나, KL 계수와 샘플링 설정에 따라 성능이 급격히 흔들리는 일이 생긴다. 논문은 이런 부담이 본질적인 것인지, 아니면 파이프라인 선택에서 비롯된 것인지 다시 묻는다.

여기서 특히 문제가 되는 것은 reward model이 보는 학습 분포와 실제 정책이 탐색하는 분포가 점점 멀어질 수 있다는 점이다. RL 단계가 진행될수록 정책은 높은 보상을 주는 영역으로 이동하려고 하고, 그 과정에서 reward model이 충분히 관찰하지 못한 문장 패턴을 더 자주 내놓게 된다. 이 현상은 언어모델에서 reward hacking처럼 보일 수 있으며, 논문은 DPO가 이런 간극을 줄이는 방향의 재설계라고 해석한다. 즉 선호를 중간 모델에 위임하기보다, 선호 순위를 직접 정책에 새겨 넣는 셈이다.

여기서 중요한 배경이 되는 선호 모형은 Bradley-Terry 형태다. 응답 $y_w$가 $y_l$보다 선호될 확률은 두 응답의 잠재 보상 차이에 의해 결정된다고 가정한다. 보상모델 학습은 결국 이 선호 확률을 최대우도로 맞추는 이진 분류 문제로 표현되며, RLHF의 보상모델 단계는 이미 분류 손실로 진행된다. 논문이 파고드는 지점은 다음 단계다. 이미 분류로 추정한 보상을 다시 RL로 최대화해야만 하는지, 아니면 선호확률을 정책 공간에서 직접 최적화할 방법이 있는지다.

또 하나의 배경은 KL 제약의 역할이다. RLHF는 새로운 정책이 참조 모델 $ \pi_{\mathrm{ref}}$에서 너무 멀어지지 않도록 패널티를 건다. 이는 보상모델이 학습된 분포 밖으로 정책이 벗어나는 것을 막고, 다양성 붕괴나 과도한 최적화를 완화하기 위한 장치다. 따라서 DPO가 RLHF를 대체하려면 단지 선호쌍의 순위를 맞추는 것을 넘어서, 참조 정책과의 거리 제약까지 자연스럽게 포함해야 한다. 논문은 바로 이 조건을 정책비의 로그항 안에 흡수하는 방식으로 문제를 재정의한다.

Table 1. 기존 RLHF와 DPO가 다루는 학습 단계를 비교하면, 두 방법의 차이는 목적함수뿐 아니라 계산 경로 전체에 걸쳐 나타난다.

구성요소	표준 RLHF	DPO
입력 데이터	프롬프트 + 선호 레이블이 붙은 응답쌍	프롬프트 + 선호 레이블이 붙은 응답쌍
중간 모델	별도의 보상모델 필요	독립 보상모델 불필요
최적화 방식	PPO 등 RL 기반 정책 업데이트	시그모이드 분류 손실 기반 직접 학습
참조 정책 사용	KL 패널티로 명시적 사용	로그확률 비에 직접 포함
실무 부담	보상모델 품질, 샘플링, value baseline, KL 튜닝	주로 β와 일반적 미세조정 설정 조정

이 비교표가 시사하는 바는 단순한 단계 축소가 아니다. RLHF는 선호학습 문제를 보상추정과 정책최적화로 쪼개고, 각각에 별도 모델링 오차와 튜닝 비용을 도입한다. DPO는 같은 선호 데이터를 사용하지만, 정책이 선호를 충족하는 정도를 직접 측정하는 손실로 바꿈으로써 오차 전파 경로를 짧게 만든다. 논문은 이런 구조 단순화가 성능 희생이 아니라 오히려 안정성 향상으로 이어진다고 주장한다.

특히 연구 재현성 관점에서 차이가 크다. RLHF 파이프라인에서는 reward model의 데이터 분할 방식, 어떤 checkpoint를 선택했는지, PPO에서 KL 목표값과 sampling temperature를 어떻게 잡았는지에 따라 결과가 크게 달라질 수 있다. DPO는 물론 β와 optimizer 설정의 영향을 받지만, 핵심 실험 단위가 여전히 고정된 선호 데이터셋에 대한 오프라인 미세조정이라는 점에서 재현 조건이 훨씬 명시적이다. 논문이 이후 널리 참조된 이유도 바로 이 재현 가능성의 개선과 무관하지 않다.

• SFT는 참조 정책이자 초기 정책의 역할을 동시에 수행할 수 있다.
• 보상모델은 RLHF에서 필수지만, DPO에서는 정책의 암묵적 표현으로 흡수된다.
• KL 제약은 두 방법 모두 중요하지만, DPO에서는 별도의 PPO 루프 없이 손실식 안에 들어간다.
• 튜닝 난이도는 알고리즘 단순화 여부와 직결되며, 논문은 이를 핵심 실용 이점으로 제시한다.

2.2 선호확률, 참조정책, 그리고 왜 보상함수가 완전히 식별되지 않는가

DPO의 이론은 단지 식 하나를 바꾸는 수준이 아니라, 선호모형의 비식별성을 적극적으로 활용한다. Bradley-Terry 계열에서 중요한 것은 절대 보상값이 아니라 두 응답 간의 보상 차이다. 따라서 어떤 보상함수 $r(x,y)$에 프롬프트 $x$에만 의존하는 함수 $f(x)$를 더해도 선호확률은 변하지 않는다. 즉 보상함수는 본질적으로 등가류 단위로만 식별된다. 논문은 바로 이 점 때문에, 특정 형태의 보상 재매개변수화를 택하더라도 표현력이 줄어들지 않는다고 주장한다.

이 비식별성은 RLHF에서도 사실상 존재한다. 보상모델이 추정하는 값이 절대 점수인지, 참조정책 대비 이득인지, 혹은 정규화상수까지 포함한 값인지는 최적 정책 관점에서 본질이 아니다. 중요한 것은 정책이 어떤 응답에 상대적으로 더 높은 질량을 줄 것인가다. DPO는 이 관찰을 이용해 보상함수를 정책으로 역변환할 수 있는 형태로 정리한다. 결과적으로 정책이 곧 보상모델의 한 표현이라는 문장이 성립한다.

또한 논문이 강조하는 부분은 DPO가 RLHF의 기존 목적을 무시하지 않는다는 점이다. 최적 정책은 여전히 보상 극대화와 참조정책으로부터의 이탈 억제를 동시에 반영한다. 다만 그 목적을 풀기 위해 actor-critic 구조와 샘플링 기반 강화학습을 사용할 필요가 없다는 것이다. 즉 DPO는 RLHF와 다른 목표를 푸는 우회 해법이 아니라, 같은 목적을 더 짧은 계산 그래프로 구현하는 방법으로 제시된다.

이 배경 위에서 논문은 보상과 정책의 관계를 수학적으로 재정렬한다. RLHF 목적 아래 최적 정책은 참조정책에 보상의 지수함수를 곱한 형태가 되며, 이를 다시 로그로 풀어 쓰면 보상은 정책과 참조정책의 확률비 로그로 표현된다. 이 관계를 Bradley-Terry 선호확률에 대입하면 정규화상수는 소거되고, 선호쌍에 대한 손실이 정책의 로그확률 차이로만 남는다. DPO는 이 소거가 우연한 정리 기술이 아니라, RLHF를 직접 최적화 가능한 형태로 바꾸는 핵심 메커니즘이라고 본다.

여기서 눈여겨볼 부분은 정규화상수의 제거가 계산상의 편의 그 이상이라는 점이다. RLHF에서 partition function은 일반적으로 직접 계산하기 어렵고, 정책학습 단계에서는 이를 우회하기 위해 baseline이나 value function이 필요해진다. 반면 선호확률은 두 응답의 차이만 보므로, 동일한 프롬프트에 공통으로 더해지는 항은 자연스럽게 사라진다. 논문은 이 구조 덕분에 보상정규화 문제를 손실 정의 단계에서 끝낼 수 있고, 그 결과 RL 단계에서 다시 분산을 줄이기 위한 별도 장치를 덜 써도 된다고 설명한다.

Figure 2: IMDb sentiment generation에서 reward와 KL의 frontier 비교(원논문 Figure 2 좌측)

이 산점도는 논문이 왜 단순화만이 아니라 최적화 효율까지 말하는지 보여 준다. 각 점은 서로 다른 하이퍼파라미터 설정에서 얻은 정책이며, 가로축은 참조정책으로부터의 이탈 정도, 세로축은 감성 보상이다. 논문은 DPO 점군이 거의 전 구간에서 상단 프론티어를 형성한다고 보고한다. 이는 같은 KL 예산에서 더 높은 보상을 얻거나, 같은 보상에서 더 작은 이탈을 보인다는 뜻으로 RLHF 목적 자체를 더 효율적으로 푼다는 해석과 연결된다. 즉 DPO의 장점은 단지 구현 단순성이 아니라 목표 함수의 trade-off를 더 날카롭게 따라간다는 데 있다.

중요한 것은 이 우위가 한두 점의 우연한 튀는 결과가 아니라, 여러 설정에서 반복적으로 관찰된다는 점이다. 논문은 바로 이 반복성 때문에 DPO를 단순한 heuristic이 아니라 더 나은 최적화 경로로 해석한다.

Figure 3: TL;DR 요약에서 샘플링 temperature에 따른 승률 비교(원논문 Figure 2 우측)

이 선그래프는 실제 선호 데이터셋에서의 메시지를 더 분명하게 만든다. DPO는 temperature가 달라져도 비교적 완만하게 성능이 변하는 반면, PPO는 높은 temperature에서 승률이 급격히 떨어진다. 논문은 TL;DR 요약에서 DPO가 temperature 0.0에서 약 61% 승률을 기록해 PPO의 최고점 약 57%를 넘는다고 설명한다. 즉 DPO의 장점은 최고점 하나보다 샘플링 변화에 덜 민감한 안정성에 있다. 이는 실제 배포에서 decoding 설정을 바꿔도 성능이 덜 흔들린다는 실용적 의미를 가진다.

요약 품질은 실제 서비스에서 종종 decoding 설정에 민감하기 때문에, 이 안정성은 숫자 이상의 의미를 갖는다. 어떤 정렬 알고리즘이 greedy decoding에서만 잘 보이고 temperature를 조금만 올리면 무너지면, 실전에서는 sampling diversity를 포기해야 한다. DPO가 비교적 넓은 temperature 범위에서 우세하다는 결과는, 선호정렬이 특정 decoding trick에 의존한 착시가 아니라 모델 분포 자체의 개선일 가능성을 높여 준다. 논문은 이를 통해 DPO가 단순히 ‘PPO보다 높은 최고점’이 아니라 ‘더 다루기 쉬운 출력 분포’를 만든다고 시사한다.

3. 방법론: 보상모델을 정책비로 재매개변수화하는 DPO

3.1 RLHF 목적을 다시 쓰기: 최적 정책의 폐형식 표현

논문은 먼저 기존 RLHF의 핵심 목적을 그대로 출발점으로 삼는다. 즉 정책 $\pi_\theta$는 어떤 응답의 기대 보상은 높이되, 참조정책 $\pi_{\mathrm{ref}}$로부터 너무 멀어지지 않아야 한다. 이 목적은 전형적으로 다음과 같이 쓸 수 있다.

$$ \max_{\pi_\theta} \mathbb{E}_{x\sim\mathcal{D},\; y\sim\pi_\theta(y\mid x)}\left[r_\phi(x,y)\right] - \beta \mathbb{D}_{\mathrm{KL}}\left[\pi_\theta(y\mid x)\;\|\|\;\pi_{\mathrm{ref}}(y\mid x)\right] $$

여기서 핵심은 이 목적의 최적해가 보상함수에 대한 지수 가중치 형태를 갖는다는 점이다. 논문은 제약된 보상최대화 문제의 최적 정책이 다음과 같이 정리된다고 적는다. 이 식은 정책이 참조정책을 기반 분포로 삼고, 보상이 큰 응답에 더 많은 질량을 주는 일종의 Boltzmann reweighting 형태임을 보여 준다.

이 식을 직관적으로 해석하면, 참조정책은 “원래 모델이 자연스럽게 생성하던 문장들”의 분포이고 보상은 그 분포 위에 덧씌워지는 기울기다. 보상이 크면 지수 가중이 붙어 확률이 올라가고, 보상이 작으면 참조정책보다 더 억제된다. 즉 RLHF는 본질적으로 참조정책을 중심으로 한 에너지 기반 재가중치 문제라고 볼 수 있다. DPO의 공헌은 이 재가중치를 강화학습 샘플링 없이도 pairwise likelihood로 환원해 버린 데 있다.

$$ \pi_r(y\mid x)=\frac{1}{Z(x)}\,\pi_{\mathrm{ref}}(y\mid x)\exp\left(\frac{1}{\beta}r(x,y)\right) $$

이 관계는 보상에서 정책으로 가는 방향을 알려 주지만, DPO의 관건은 반대 방향이다. 논문은 양변의 로그를 취하고 정리해 보상함수를 정책과 참조정책의 비로 다시 표현한다. 이때 정규화상수 $Z(x)$가 남지만, 선호확률은 응답 간 보상 차이만 보기 때문에 이후 Bradley-Terry 모형에 대입하면 이 항은 깔끔하게 사라진다.

$$ r(x,y)=\beta \log \frac{\pi_r(y\mid x)}{\pi_{\mathrm{ref}}(y\mid x)} + \beta \log Z(x) $$

이 재배열이 중요한 이유는 보상모델을 따로 신경망으로 학습하지 않고도, 정책의 확률비만으로 같은 역할을 하게 만들기 때문이다. 즉 어떤 응답이 참조정책보다 훨씬 더 자주 선택되는 방향으로 정책이 변했다면, 그 응답은 더 높은 암묵적 보상을 가진 것으로 해석할 수 있다. 정책 파라미터가 곧 보상 파라미터의 대체 표현이 되는 셈이다.

실전적으로는 참조정책을 무엇으로 둘 것인가도 중요하다. 논문은 가능한 경우 공개된 preference dataset을 수집할 때 사용된 SFT 모델을 참조정책으로 재사용하고, 그런 모델이 없을 때는 chosen completion에 대한 supervised fine-tuning으로 reference를 구성한다. 이는 DPO가 완전히 reference-free 알고리즘이 아니라는 점을 보여 준다. 오히려 좋은 reference policy를 고정해 놓고, 그 주변에서 선호를 만족하는 방향으로 분포를 미세하게 재배치하는 알고리즘에 가깝다.

Table 2. DPO 도출에 등장하는 핵심 기호와 해석을 표로 정리하면 다음과 같다.

기호	의미	DPO에서의 역할
$x$	프롬프트 또는 입력 문맥	선호쌍이 조건부로 주어지는 기준 입력
$y_w, y_l$	선호된 응답과 비선호 응답	로그확률 차이의 부호를 결정하는 비교쌍
$\pi_{\mathrm{ref}}$	참조 정책	정렬 전 분포를 고정하는 기준점
$\pi_\theta$	학습할 정책 모델	암묵적 보상모델과 최종 정책을 동시에 나타냄
$\beta$	KL 제약의 강도	정책비 로그의 스케일과 보수성을 조절
$\hat r_\theta(x,y)$	암묵적 보상	$\beta \log \frac{\pi_\theta(y\mid x)}{\pi_{\mathrm{ref}}(y\mid x)}$로 정의

이 표에서 보이듯 DPO는 RLHF에서 별도 모듈이던 보상모델을 새로운 심볼로 추가하지 않는다. 대신 정책과 참조정책의 로그비가 사실상 보상 점수의 역할을 한다. 실무적으로는 정책 모델 하나와 고정된 참조 모델 하나만 있으면 손실을 계산할 수 있다는 뜻이며, reward model checkpoint를 따로 관리하지 않아도 된다. 이는 재현성과 파이프라인 관리 측면에서 상당히 큰 차이를 만든다.

• 출발점: DPO는 RLHF 목적을 버리지 않고 그대로 사용한다.
• 핵심 변환: 보상함수와 최적 정책의 관계를 뒤집어 정책비 로그로 보상을 표현한다.
• 실무 효과: 보상모델 학습과 RL 정책최적화라는 두 개의 오차원을 하나의 미세조정 문제로 압축한다.
• 제약 유지: 참조정책과의 거리는 여전히 β를 통해 조절된다.

3.2 DPO 목적함수: 선호쌍 분류와 암묵적 보상의 연결

보상 재매개변수화를 Bradley-Terry 선호확률에 대입하면, 정규화상수는 보상 차이에서 상쇄된다. 따라서 어떤 프롬프트 $x$에 대해 선호 응답 $y_w$가 비선호 응답 $y_l$보다 선택될 확률은 정책과 참조정책의 로그확률 차이만으로 계산할 수 있다. 논문은 이를 이용해 정책 자체를 최대우도로 학습하는 목적함수를 유도한다.

$$ \mathcal{L}_{\mathrm{DPO}}(\pi_\theta;\pi_{\mathrm{ref}}) = -\mathbb{E}_{(x,y_w,y_l)\sim\mathcal{D}}\left[\log \sigma\left(\beta \log \frac{\pi_\theta(y_w\mid x)}{\pi_{\mathrm{ref}}(y_w\mid x)} - \beta \log \frac{\pi_\theta(y_l\mid x)}{\pi_{\mathrm{ref}}(y_l\mid x)}\right)\right] $$

이 식을 직관적으로 읽으면, 모델은 참조정책에 비해 선호 응답의 상대 확률을 올리고 비선호 응답의 상대 확률을 내리는 방향으로 학습된다. 동시에 그 차이의 크기가 β에 의해 조절되므로, 공격적으로 선호 응답만 밀어붙이기보다 참조정책을 기준으로 얼마나 이동할지가 자연스럽게 제한된다. 논문은 이 점 때문에 DPO가 단순한 preferred-only supervised fine-tuning과 다르다고 강조한다.

또한 DPO의 기울기는 암묵적 보상 추정이 얼마나 잘못된 순서를 매겼는지에 따라 가중된다. 즉 모델이 이미 선호 응답을 충분히 높게 보고 있다면 업데이트는 작고, 반대로 비선호 응답을 더 높게 보고 있다면 업데이트는 커진다. 논문은 이 가중이 없는 단순한 unlikelihood 계열 접근은 더 쉽게 퇴화한다고 설명하며, 실제로 부록의 샘플 테이블에서 반복적이고 무의미한 출력을 확인할 수 있다고 보고한다.

이 관점에서 보면 DPO는 선호학습을 정답/오답 분류로 바꾸되, 단순한 cross-entropy가 아니라 참조정책 대비 이동량을 반영한 비교 로짓을 사용하는 알고리즘이라고 할 수 있다. 따라서 보상최대화, KL 제약, 선호확률의 세 요소가 하나의 손실식 안에서 결합된다. 정책은 응답 수준의 절대 품질 점수를 직접 회귀하지 않지만, 선호쌍에 대해 일관된 상대 순서를 부여하도록 학습되며 그 순서가 곧 보상함수의 등가 표현이 된다.

이 지점에서 Preferred-FT와의 차이를 더 분명히 볼 수 있다. Preferred-FT는 선택된 응답의 likelihood만 올리기 때문에, 참조모델보다 얼마나 이동했는지나 rejected 응답과의 상대 순서를 직접 통제하지 않는다. 반면 DPO는 항상 $(y_w, y_l)$ 쌍을 함께 보며, 같은 프롬프트 안에서 두 응답을 비교하는 구조를 유지한다. 따라서 chosen 응답만 반복적으로 모방하는 대신, 어떤 특성이 선호를 만들어내는지에 대한 상대적 비교 신호를 더 직접적으로 활용한다.

Figure 4: Anthropic-HH 단일턴 대화에서 chosen completion 대비 승률(원논문 Figure 3 좌측)

이 결과는 DPO 목적함수가 실제 대화 정렬에서 어떤 행동을 만들어내는지 보여 준다. temperature가 올라갈수록 DPO는 chosen 기준선 0.5를 넘어서며 약 0.62까지 도달하고, 논문은 DPO가 데이터셋의 chosen 응답 자체를 능가한 유일한 계산 효율적 방법이라고 해석한다. 즉 선호쌍 분류 손실은 단순히 데이터 라벨을 모사하는 데 그치지 않고, 참조정책 대비 더 나은 응답 분포를 끌어내는 방향으로 작동한다. chosen을 넘어선다는 해석이 DPO의 실전 설득력을 결정하는 대목이다.

대화 과업에서 chosen 기준선을 넘는다는 사실 자체가 DPO의 실질적 설득력을 높인다. 이는 선호쌍을 배우는 방식이 정답 모방보다 더 풍부한 신호를 줄 수 있음을 뜻한다.

논문은 바로 이 지점을 통해 DPO를 단순 supervised tuning의 대체재가 아니라, 선호 데이터를 더 정직하게 쓰는 정렬 방식으로 위치시킨다.

이 일련의 짧은 관찰을 하나로 묶으면, DPO의 강점은 결국 비교 신호를 다른 표현으로 우회하지 않고 끝까지 직접 최적화했다는 점에 있다. 논문이 남긴 인상도 바로 여기에 모인다.

Figure 5: DPO 학습 단계에 따른 대화 승률 변화(원논문 Figure 3 우측)

이 그래프는 DPO의 학습 안정성을 직접 보여 준다. 두 temperature 설정 모두 초기 몇백 스텝 안에 기준선 0.5를 넘고, 이후 0.55~0.65 구간에서 비교적 안정적으로 유지된다. 강화학습 기반 정렬에서 흔히 문제되는 급격한 붕괴나 variance 폭증 대신, 일반적인 미세조정과 가까운 훈련 곡선을 보인다는 점이 중요하다. 논문은 이를 DPO가 RL 루프와 baseline 추정을 제거한 구조적 이점과 연결한다. 이런 수렴 형태는 실험 관리와 checkpoint 선택을 훨씬 단순하게 만든다.

이 안정성은 모델 선택과 early stopping 전략에도 직접 연결된다. PPO류 실험에서는 어느 시점 checkpoint가 가장 좋은지 판단하기 위해 더 촘촘한 모니터링과 여러 seed 비교가 필요한 경우가 많다. 반면 DPO 곡선은 상대적으로 매끄럽고, 좋은 구간이 넓게 형성된다. 논문은 이를 정량적으로 길게 논의하지는 않지만, Figure 5가 보여 주는 수렴 패턴만으로도 DPO가 실제 실험 운영에서 더 관찰 가능하고 관리 가능한 학습을 제공함을 읽을 수 있다.

• 입력: 선호쌍과 참조정책의 로그확률.
• 로짓: 선호 응답과 비선호 응답의 참조 대비 로그확률 차.
• 출력: 선호쌍을 올바른 순서로 배치하는 정책.
• 차별점: preferred-only supervised fine-tuning보다 참조모델과의 거리 제어가 더 명시적이다.

3.3 이론적 해석: 정책은 왜 ‘비밀스러운 보상모델’이 되는가

논문의 5.1절 제목인 “Your Language Model Is Secretly a Reward Model”은 DPO를 이해하는 데 결정적인 문장이다. 저자들은 보상함수들이 프롬프트별 상수항 차이만 있을 때 같은 선호분포와 같은 최적 정책을 유도한다는 사실을 정리한다. 따라서 우리가 정말로 복원해야 하는 것은 특정 수치의 보상함수가 아니라, 동일한 최적 정책을 유도하는 보상 등가류다. DPO의 재매개변수화는 바로 이 등가류 안의 대표자를 정책비 로그 형태로 고정하는 선택이라고 볼 수 있다.

이 해석의 장점은 표현력 손실에 대한 의문을 해소한다는 데 있다. 보상함수를 정책비 로그 형태로 제한하면 너무 좁은 함수류만 다루게 되는 것처럼 보일 수 있지만, 논문은 Plackett-Luce와 Bradley-Terry 계열에서 필요한 보상 등가류는 이 표현으로 충분히 대표 가능하다고 증명한다. 즉 DPO는 임의의 잠재 보상모형을 포기하는 대신, 선호와 최적 정책을 보존하는 정규화된 대표자를 고른다.

이 정규화 관점은 실무적으로도 의미가 있다. 기존 reward model은 절대 보상값의 스케일, normalization, baseline 처리에 민감하며, 정책 최적화 단계에서는 또 다시 value 추정과 advantage 안정화가 필요해진다. 반면 DPO는 암묵적 보상 $\hat r_\theta(x,y)=\beta \log \frac{\pi_\theta(y\mid x)}{\pi_{\mathrm{ref}}(y\mid x)}$를 사용함으로써, 정책을 학습하는 순간 보상 표현도 함께 정해진다. 이 구조는 보상추정과 정책최적화가 분리되어 있을 때 생기는 불일치를 줄인다.

또한 논문은 이론을 통해 DPO가 단순 휴리스틱이 아니라는 점을 강조한다. 많은 정렬 기법이 경험적으로는 동작하지만, 무엇을 최적화하는지 설명하기 어려운 경우가 있다. DPO는 반대로 RLHF 목적에서 출발해 정책과 보상의 관계를 재표현하고, 다시 선호모형의 최대우도 학습으로 돌아온다. 즉 출발점은 RLHF, 계산 경로는 분류, 도착점은 선호정렬된 정책이라는 세 층이 하나의 논리로 이어져 있다.

이 정리는 후속 이론 작업에도 중요했다. 왜냐하면 DPO를 조금씩 변형하더라도, 대부분의 변형은 여전히 정책비를 통해 암묵적 보상을 정의하고 pairwise preference likelihood를 바꿔 쓰는 구조를 유지하기 때문이다. 다시 말해 DPO의 공헌은 단일 손실식 하나보다, policy-ratio language로 선호정렬을 기술하는 관례를 만든 데 있다. 이후 등장한 margin 조정, label smoothing, reference-free 실험도 대부분 이 공통 표현 위에서 비교된다.

• 등가류 관점: 보상함수는 프롬프트별 상수항만큼 달라도 같은 선호분포를 낳을 수 있다.
• 대표자 선택: DPO는 그 등가류 안의 대표를 정책비 로그 형태로 고정한다.
• 표현력 보존: 선호분포와 최적 정책을 보존하는 범위에서 일반성을 잃지 않는다고 논문은 주장한다.
• 암묵적 보상: 정책이 갱신되면 보상표현도 자동으로 갱신되는 구조다.

3.4 Actor-Critic 불안정성과 DPO의 우회 경로

논문 5.2절은 DPO를 단지 더 쉬운 알고리즘으로 소개하지 않고, 왜 기존 actor-critic 계열이 언어모델 정렬에서 특히 불안정할 수 있는지도 분석한다. RLHF의 RL 단계는 본질적으로 참조정책 기반의 regularized control 문제로 볼 수 있는데, 이때 정책경사 추정은 보상 정규화와 baseline 품질에 크게 좌우된다. 정규화 항이 없다면 기울기 분산이 커지고, 이를 줄이기 위해 value function을 학습하면 다시 별도의 최적화 난제가 생긴다.

기존 연구들은 human completion baseline이나 보상 정규화를 통해 이를 완화하려 했지만, 논문은 이런 조치 자체가 또 다른 근사 오차를 도입한다고 본다. 언어 생성처럼 시퀀스 길이가 길고 행동공간이 거대한 문제에서는 작은 baseline 오차도 분산 증가와 불안정한 업데이트로 이어질 수 있다. DPO는 이러한 actor-critic 경로를 건너뛰고, 아예 정규화가 내장된 암묵적 보상 표현을 사용함으로써 baseline 문제를 피한다.

중요한 점은 DPO가 RL을 사용하지 않는다고 해서 보수적 정렬이 사라지는 것은 아니라는 사실이다. β는 여전히 참조정책에서 얼마나 떨어질지 결정하고, 손실은 선호쌍의 상대 순위를 통해 업데이트 크기를 조절한다. 즉 안정성은 탐색을 포기해서 얻은 것이 아니라, 문제를 직접 미분 가능한 비교학습 형태로 다시 쓴 결과로 설명된다. 이 때문에 논문은 DPO를 RLHF의 근사 대체품이 아니라, RLHF를 더 적합한 좌표계에서 푸는 알고리즘으로 제시한다.

후속 연구 맥락까지 고려하면 이 대목은 특히 중요하다. 이후 많은 정렬 알고리즘이 DPO를 출발점으로 삼아 reference-free 변형, margin 기반 변형, reverse KL 변형, conservative DPO 등으로 확장되었다. 이런 확장은 대부분 actor-critic 프레임보다 오프라인 비교학습 쪽이 더 다루기 쉬운 공통 토대 위에서 이루어졌다. 따라서 DPO의 영향력은 개별 수치보다, 정렬 문제를 RL에서 supervision 쪽으로 다시 끌어온 데 있다고 볼 수 있다.

언어모델에서 이 차이가 특히 두드러지는 이유는 행동공간의 크기 때문이다. 토큰 단위로 수천~수만 개 선택지가 있고, 길이가 늘어날수록 누적 오차가 커지는 환경에서 actor-critic은 본질적으로 noisy한 gradient를 다뤄야 한다. 반면 DPO는 이미 수집된 completion pair 위에서 전체 응답 수준의 비교를 학습하므로, credit assignment를 토큰별 보상 설계로 쪼개지 않는다. 논문은 바로 이 점 때문에 언어 생성이 DPO류 방법과 잘 맞는다고 간접적으로 보여 준다.

Figure 6: Anthropic-HH 대화에서 Best-of-N baseline의 샘플링 수 효과(원논문 Figure 4 좌측)

이 그림은 샘플링을 많이 하면 성능이 개선되지만 곧 포화된다는 사실을 보여 준다. Best-of-64와 Best-of-128이 상단 성능을 형성하지만, 그 이상에서 이득은 크지 않다. 논문은 대화 과업에서 Best-of-128을 강한 기준선으로 놓고도 DPO가 비슷하거나 더 낫다고 보고한다. 이는 DPO가 추론 시 대규모 후보샘플링 없이도, 학습 단계에서 분포 자체를 더 선호 친화적으로 바꾸었다는 의미다. 다시 말해 좋은 응답을 고르는 비용을 추론이 아니라 학습 쪽으로 옮긴 셈이다.

4. 실험 설정: 세 가지 텍스트 생성 과업에서의 비교 프레임

4.1 데이터셋 및 벤치마크: IMDb, TL;DR, Anthropic-HH

실험은 세 개의 서로 다른 텍스트 생성 과업으로 구성된다. 첫째는 IMDb sentiment generation으로, 영화 리뷰 접두어가 주어졌을 때 긍정 감성의 이어지는 텍스트를 생성해야 한다. 이 과업은 실제 사람 선호 대신 미리 학습된 감성분류기를 ground-truth reward model처럼 사용할 수 있어, reward와 KL의 frontiers를 직접 계산할 수 있다는 장점이 있다. 즉 RLHF 목적을 얼마나 잘 최적화했는지를 가장 통제된 형태로 비교하는 장치다.

둘째는 Reddit TL;DR summarization이다. 여기서 입력은 긴 포럼 글이고, 출력은 핵심을 압축한 요약이다. 요약 품질은 ROUGE 같은 자동 지표보다 인간 선호와 더 가까운 평가가 필요하기 때문에, 논문은 GPT-4를 판정자로 써서 reference summary 대비 승률을 계산한다. 또한 GPT-4의 단순 prompt와 concise prompt를 모두 পরীক্ষা하고, 사람 평가와의 일치도까지 따로 검증한다는 점이 이 실험의 특징이다.

셋째는 Anthropic Helpful and Harmless 단일턴 대화 과업이다. 입력은 사용자 질의이고, 출력은 도움이 되고 무해한 응답이어야 한다. 이 데이터셋은 약 17만 개의 인간-어시스턴트 대화와 각 프롬프트에 대한 선호쌍을 포함하며, 데이터셋의 chosen completion 자체를 baseline으로 삼는다. 흥미로운 점은 이 과업에는 표준 SFT 모델이 없어서, 저자들이 오프더셸프 언어모델을 chosen completion으로 fine-tuning한 Preferred-FT를 참조 모델로 사용한다는 사실이다.

세 과업을 함께 보면 논문이 무엇을 검증하려는지 분명해진다. IMDb는 목적 최적화 효율, TL;DR은 실제 선호정렬 품질, Anthropic-HH는 실서비스형 대화 정렬에 가깝다. 즉 DPO는 toy setting, summarization, dialogue를 모두 거쳐 평가되며, 한 가지 데이터셋에서만 우연히 강한 방법이 아니라는 점을 보여 주려 한다.

Table 3. 논문이 사용한 세 과업의 데이터와 평가 프레임은 다음과 같이 정리할 수 있다.

과업	입력/출력	데이터/모델	평가 방식
IMDb sentiment generation	리뷰 접두어 → 긍정적 후속 텍스트	gpt2-large, siebert/sentiment-roberta-large-english	Reward-KL frontier
Reddit TL;DR summarization	포럼 글 → 요약	인간 선호 TL;DR 데이터, GPT-J SFT	GPT-4 win rate, 사람 평가
Anthropic-HH one-step dialogue	사용자 질의 → 도움 되는 단일 응답	170k preference pairs, Pythia-2.8B 기반 Preferred-FT	chosen completion 대비 GPT-4 win rate

이 표를 통해 보면 DPO가 특정 모델군에만 특화된 방법으로 설계되지 않았음을 알 수 있다. base model은 GPT-2-large, GPT-J, Pythia-2.8B로 다양하고, 입력 유형도 짧은 prefix 제어부터 요약, 대화까지 넓게 퍼져 있다. 논문은 동일한 철학의 목적함수가 이질적인 세 작업에서 모두 작동해야만, 직접 선호최적화라는 명제가 설득력을 가진다고 본다.

또한 세 과업의 난이도는 서로 다른 정렬 리스크를 대표한다. IMDb는 reward model mis-specification보다 목적 최적화 능력이 핵심이고, TL;DR은 장황함과 간결성 사이의 균형이 중요하며, Anthropic-HH는 도움됨과 안전성의 절충이 전면에 나온다. DPO가 이 세 환경에서 모두 의미 있는 결과를 보였다는 사실은, 이 방법이 특정 평가 지표 하나에 맞춘 특수 해법이 아니라는 인상을 준다. 논문은 바로 이 다양성 위에서 DPO의 일반성을 주장한다.

• IMDb는 ground-truth reward가 있어 목적함수 최적화 자체를 볼 수 있다.
• TL;DR는 요약 품질과 간결성의 균형을 보는 실제 정렬 과업이다.
• Anthropic-HH는 helpful/harmless 응답 정렬을 반영하는 대화 과업이다.
• 평가 프레임은 자동 점수보다 GPT-4와 인간 판단에 더 무게를 둔다.

4.2 구현 세부사항: DPO는 실제로 얼마나 단순한가

부록 B는 DPO 구현이 실제로도 간단하다는 점을 보여 주기 위해 PyTorch 의사코드까지 제시한다. 정책 로그확률과 참조 로그확률, 그리고 선호/비선호 인덱스만 있으면 손실을 계산할 수 있으며, 본질적으로 필요한 연산은 두 응답의 log-ratio 차이에 시그모이드를 적용하는 것뿐이다. 이는 PPO처럼 roll-out를 반복하고 advantage를 누적하며 clipping을 적용하는 구조와 비교하면 매우 짧은 계산 경로다.

논문의 기본 설정은 비교적 보수적이다. 기본적으로 β=0.1, batch size=64, RMSprop, learning rate $1\times10^{-6}$를 사용하고, 150 step에 걸쳐 learning rate를 선형 warmup한다. TL;DR 요약 실험에서는 β를 0.5로 높였고, 나머지 기본 설정은 동일하게 유지했다. 이 설정은 DPO가 실험마다 완전히 다른 최적화 전략을 요구하지 않음을 보여 주는 근거로 제시된다.

IMDb 감성 과업에서는 보다 자세한 설정이 제공된다. 저자들은 2~8 토큰 길이의 IMDb prefix를 프롬프트로 사용하고, gpt2-large를 base model로 선택했다. 먼저 IMDb 데이터 일부에 대해 1 epoch의 supervised fine-tuning을 수행하고, 이 모델로 25,000개 prefix에 대해 각각 4개의 completion을 샘플링한 뒤, 감성분류기 보상에 따라 prefix당 6개의 선호쌍을 만든다. RLHF용 reward model은 같은 gpt2-large에서 초기화하고 preference dataset으로 3 epoch 학습한다.

이 구현 디테일은 논문의 주장과 정확히 맞물린다. 즉 DPO가 더 단순하다는 말은 ‘개념 설명이 짧다’는 뜻이 아니라, 실제 실험 코드와 튜닝 절차가 짧아진다는 뜻이다. reward model checkpoint 선택, PPO target KL sweep, value normalization, batch sample schedule 같은 관리 포인트가 줄어들기 때문이다. 특히 후속 연구자나 실무자가 baseline을 빠르게 재현해야 하는 상황에서는 이 차이가 매우 크게 체감된다.

여기에 더해 논문은 GPT-4 기반 평가 prompt까지 부록에 공개한다. 요약 실험에서는 단순히 “무엇이 더 좋은 요약인가”를 묻는 prompt와, “중요한 내용을 빠뜨리지 않으면서도 불필요한 세부를 넣지 않는 간결한 요약인가”를 묻는 prompt를 따로 둔다. 평가 prompt까지 공개한 이유는 DPO의 승률이 모델만이 아니라 평가 프레임 설계와도 연결돼 있음을 보여 주기 위해서다. 이 점은 재현 연구에서 특히 중요하며, 논문이 비교적 투명한 실험 보고를 했다는 장점으로 이어진다.

Table 4. 부록에 제시된 구현 세부사항을 기준으로 DPO의 주요 하이퍼파라미터를 정리하면 다음과 같다.

항목	기본값	논문에서의 해석
β	0.1 (TL;DR은 0.5)	참조정책으로부터의 보수성 및 암묵적 보상 스케일 제어
배치 크기	64	표준 미세조정과 유사한 규모의 오프라인 배치 학습
옵티마이저	RMSprop	복잡한 RL 스케줄 없이 안정적 업데이트 수행
학습률	$1\times10^{-6}$	정렬 단계에서 과도한 분포 이동을 억제하는 보수적 설정
Warmup	150 steps	초기 학습 불안정성 완화

이 표에서 눈에 띄는 부분은 특별한 RL 전용 기교가 거의 없다는 점이다. 하이퍼파라미터의 의미가 모두 일반적인 supervised fine-tuning 문맥에서 이해될 수 있으며, β만이 참조정책 거리 제약을 위한 DPO 특유의 축이다. 바로 이 단순함 때문에 이후 많은 오픈소스 정렬 레시피가 DPO를 기본 출발점으로 채택하게 된다.

Table 4-A. IMDb 통제 실험의 데이터 생성 절차를 수치 중심으로 다시 정리하면 다음과 같다.

항목	설정	의미
프롬프트 길이	2~8 토큰 prefix	짧은 문맥에서 감성 제어 능력을 평가
샘플 수	25,000 prefix	충분한 선호쌍을 확보해 frontier를 안정적으로 측정
prefix당 completion	4개	조합으로 6개의 preference pair 생성 가능
보상 기준	siebert/sentiment-roberta-large-english	ground-truth sentiment reward 역할
SFT / reward model 학습	SFT 1 epoch, reward model 3 epoch	비교 실험을 위한 표준 RLHF 설정 재현
PPO 구현 세부	step당 batch sample 1024	강화학습 기준선에도 상당한 엔지니어링이 필요함을 시사

이 추가 표는 통제 실험이 의외로 꽤 큰 준비 비용 위에서 돌아간다는 점을 잘 보여 준다. DPO가 단순하다는 주장은 결과만 보고 나온 것이 아니라, 이런 세부 설정을 비교했을 때도 타당하다. 특히 PPO 쪽은 reward model과 정책학습 모두에 별도 학습 과정이 필요하고, batch sample 규모도 훨씬 공격적으로 잡아야 한다. 논문이 말하는 단순성은 실험실 비용과 구현 리스크까지 포함한 개념이다.

따라서 DPO의 실질적 매력은 계산량 절감만이 아니라 실험 실패 확률을 줄이는 설계에 있다. reward model이 불안정하거나 PPO가 발산하면 전체 파이프라인을 다시 조정해야 하지만, DPO는 이런 의존성이 훨씬 적다. 논문이 여러 과업에서 비교적 일관된 성능을 낸 배경에도 이런 구조적 단순성이 자리한다.

또한 이 설정은 DPO가 꼭 “데이터가 적게 든다”는 주장을 하는 것은 아님을 분명히 한다. 선호쌍 자체는 여전히 많이 필요하고, 좋은 reference policy가 있으면 더 유리하다. 차이는 그 데이터를 소비하는 방식이다. RLHF는 선호 데이터로 reward model을 만들고 다시 policy roll-out를 반복해야 하지만, DPO는 같은 선호 데이터에 직접 정책을 맞춘다. 즉 데이터 비용보다 데이터를 학습 루프 안에서 재활용하는 경로가 더 짧아진다고 보는 편이 정확하다.

• 손실 계산: 정책과 참조의 로그확률만 있으면 된다.
• 훈련 방식: 온라인 roll-out이 아니라 오프라인 선호 데이터셋 재사용이 가능하다.
• 튜닝 포인트: 사실상 β와 일반적 미세조정 하이퍼파라미터가 대부분이다.
• 의미: 정렬을 RL 엔지니어링 문제가 아니라 비교학습 문제로 옮긴다.

4.3 베이스라인: PPO, Preferred-FT, Unlikelihood, Best-of-N

DPO의 성능을 평가하기 위해 논문은 여러 기준선을 함께 비교한다. Preferred-FT는 선호된 응답 $y_w$만을 대상으로 supervised fine-tuning을 수행하는 가장 단순한 방법이다. 이는 선호학습을 일반적인 교사강요로 치환한 강력하지만 단순한 기준선이며, DPO가 단지 chosen response에 대한 likelihood를 키우는 것 이상의 효과를 갖는지 확인하는 데 중요하다.

Unlikelihood baseline은 선호 응답의 likelihood를 높이는 동시에 비선호 응답의 likelihood를 낮추는 방식이다. 얼핏 보면 DPO와 비슷해 보일 수 있지만, 논문은 참조정책 기반의 정렬된 가중과 KL 해석이 없으면 더 쉽게 출력이 망가진다고 본다. 실제로 부록의 Table 3은 unlikelihood가 TL;DR 같은 복잡한 문제에서 ‘when when when’ 식의 무의미한 반복을 생성할 수 있음을 보여 준다.

PPO와 PPO-GT는 RLHF의 정통 계열 비교대상이다. PPO-GT는 IMDb 감성 과업처럼 ground-truth reward가 존재하는 경우에만 가능한 oracle에 가까운 기준선이다. 흥미롭게도 논문은 DPO가 PPO뿐 아니라 때로는 PPO-GT가 형성하는 프론티어까지도 상회한다고 보고한다. 또한 Best-of-N은 reward model로 여러 샘플을 재랭크하는 강력한 추론시 기준선으로, 성능은 높지만 비용이 매우 크다는 점을 함께 지적한다.

이처럼 기준선 구성이 넓은 이유는 DPO의 장점을 특정 축 하나로 축소하지 않기 위해서다. DPO는 preferred-only supervision보다 강해야 하고, RLHF-PPO보다 단순해야 하며, Best-of-N처럼 계산량으로 밀어붙이는 전략과도 경쟁 가능해야 한다. 논문은 결국 정렬 품질, 학습 안정성, 추론 효율을 동시에 봐야만 DPO의 실질적 가치를 평가할 수 있다고 본다.

이 구성이 특히 설득력 있는 이유는 각 기준선이 서로 다른 반론을 대표하기 때문이다. Preferred-FT가 충분히 강하다면 DPO는 불필요한 복잡성일 수 있고, PPO가 확실히 우세하다면 RL을 버릴 명분이 사라지며, Best-of-N이 항상 더 낫다면 학습보다 추론 재랭킹이 핵심이 된다. 논문은 세 반론을 모두 동시에 상대하는 실험 설계를 택함으로써, DPO의 주장을 단순한 baseline cherry-picking이 아니라 설계 공간 전반에 대한 비교로 만든다.

5. 주요 실험 결과: PPO 대비 효율성과 일반화 검증

5.1 통제된 감성 생성과 요약 실험: 더 좋은 frontier, 더 견고한 temperature

IMDb 감성 생성 결과는 DPO의 가장 이론 친화적인 승리를 보여 준다. RLHF의 목적은 보상을 높이면서 KL을 억제하는 것이므로, 단순히 reward만 보는 비교는 충분하지 않다. 논문은 다양한 β, target KL, α 설정으로 여러 번 학습을 수행한 뒤 각 정책의 reward-KL 점을 그려 프론티어를 비교한다. 그 결과 DPO는 거의 모든 KL 구간에서 가장 높은 보상 영역을 차지하며, PPO는 물론 ground-truth reward를 쓰는 PPO-GT보다도 열등하지 않은 프론티어를 형성한다.

이 결과가 중요한 이유는 DPO와 PPO가 본질적으로 같은 RLHF 목적을 최적화한다는 점에 있다. 만약 DPO가 단지 다른 목표를 풀고 있었다면 더 좋은 reward-KL tradeoff가 큰 의미를 가지지 못했을 것이다. 하지만 논문은 DPO가 같은 목적을 더 직접적으로 다뤘기 때문에, 오히려 PPO의 샘플링 및 actor-critic 근사에서 생기는 손실을 줄일 수 있었다고 해석한다. 즉 단순화가 근사 품질 악화가 아니라, 반대로 최적화 경로 개선으로 이어졌다는 주장이다.

TL;DR 요약에서도 메시지는 유사하다. DPO, PPO, Preferred-FT는 모두 같은 GPT-J SFT 모델에서 출발하지만, temperature를 변화시키며 비교한 승률 곡선에서 DPO가 전반적으로 더 우수하다. 논문은 DPO가 temperature 0.0에서 약 61% 승률을 보이며 PPO의 최고점 약 57%를 앞선다고 보고한다. 더 눈에 띄는 것은 temperature가 높아질 때 PPO 성능이 급격히 붕괴하는 반면, DPO는 상대적으로 완만하게 감소한다는 점이다.

이는 요약 품질이 단지 한 개의 greedy decoding 지점에서만 좋아지는 것이 아니라, 모델의 전체 출력 분포가 더 선호 친화적으로 재배치되었음을 시사한다. Best-of-128 같은 강한 재랭킹 기준선과 비교해도 DPO의 최대 승률이 뒤지지 않는다는 결과는 특히 중요하다. Best-of-N은 추론 시 대량의 후보를 생성해야 하므로 비용이 큰데, DPO는 학습 단계에서 분포를 바꿔 이 부담을 줄인다. 결국 DPO는 훈련 비용을 줄이면서도 추론 비용 폭증을 요구하지 않는 정렬 쪽에 가깝다.

논문은 또한 OOD 일반화 실험을 통해 DPO가 훈련 분포 밖에서도 PPO보다 견조할 수 있음을 보인다. Reddit TL;DR에서 학습한 정책을 CNN/DailyMail 뉴스 기사로 옮겼을 때, DPO는 두 temperature 설정 모두에서 PPO보다 높은 GPT-4 win rate를 기록했다. 이 결과는 DPO가 PPO처럼 추가 unlabeled prompt를 활용하지 않았음에도 일반화 성능이 떨어지지 않음을 시사한다.

요약하면 DPO의 승리는 단일 지표에서의 미세한 우세가 아니라, 동일 목표 최적화의 효율, 샘플링 설정 변화에 대한 견고성, 분포 이동에 대한 초기 일반화라는 세 축에서 동시에 관찰된다. 논문은 이 세 축이 함께 나타날 때 비로소 “PPO보다 단순한데도 강하다”는 주장이 성립한다고 본다. 그래서 Figure 2와 Table 5는 서로 독립된 결과가 아니라, DPO의 일반화된 강점을 서로 다른 방식으로 조명하는 쌍으로 읽는 것이 자연스럽다.

특히 이 결과들은 DPO가 단순히 regularization을 더 세게 건 supervised fine-tuning이 아니라는 점을 다시 확인시킨다. 만약 그 정도에 불과했다면 IMDb frontier 우위, TL;DR의 temperature robustness, Anthropic-HH의 chosen 초과라는 패턴이 동시에 나오기 어렵다. 논문은 서로 다른 과업에서 반복적으로 나타나는 이 패턴을 근거로, DPO의 핵심 이득이 쌍대 비교 구조를 직접 학습한다는 점에 있다고 본다. 바로 그 점이 나중에 다양한 preference optimization 변형의 출발점이 된다.

Table 5. CNN/DailyMail 분포 이동 실험에서 보고된 수치는 DPO의 일반화 우위를 간단히 요약한다.

방법	Temp 0	Temp 0.25	해석
DPO	0.36	0.31	두 설정 모두 PPO보다 높은 OOD 승률
PPO	0.26	0.23	훈련 분포 밖 뉴스 기사에서 더 큰 성능 하락

표의 숫자 차이는 절대값으로 보면 크지 않아 보일 수 있지만, 동일한 판정자와 동일한 reference summary를 사용한 OOD 비교라는 점에서 해석 가치가 높다. 특히 DPO는 추가 RL roll-out 없이도 Reddit에서 학습한 선호 구조가 뉴스 요약까지 어느 정도 이식된다는 신호를 준다. 논문은 이를 초기 증거라고 조심스럽게 표현하지만, DPO가 ‘오프라인 preference fitting은 일반화에 약할 것’이라는 직관을 반드시 따르지 않음을 보여 준다.

여기에는 한 가지 미묘한 차이가 있다. PPO는 추가 unlabeled prompt를 활용하는 과정에서 더 많은 exploration 여지를 가지지만, 동시에 reward model이 학습된 분포와 실제 optimization 분포 사이의 간극도 커질 수 있다. DPO는 exploration 이득은 적을지 몰라도, 선호쌍이 정의된 분포에 맞춰 더 직접적으로 정책을 이동시킨다. 논문은 명시적으로 이 해석을 완결된 결론으로 제시하지는 않지만, OOD 결과는 적어도 간접 최적화보다 직접 비교학습이 더 견고할 수 있다는 가능성을 강하게 시사한다.

• IMDb: DPO는 reward-KL 프론티어에서 가장 효율적인 경향을 보인다.
• TL;DR: 최대 승률뿐 아니라 temperature 변화에 대한 견고성에서 PPO보다 우수하다.
• Best-of-N 비교: 재랭킹 추론 없이도 경쟁 가능한 성능을 낸다.
• OOD 일반화: CNN/DailyMail에서도 PPO보다 더 나은 승률을 기록한다.

5.2 대화 정렬과 분포 재배치: chosen completion을 넘어서는가

Anthropic-HH 단일턴 대화는 DPO가 단지 요약 같은 비교적 규격화된 과업에만 강한지 여부를 가르는 중요한 실험이다. 이 데이터셋은 실제로 helpfulness와 harmlessness가 함께 얽혀 있는 대화 응답을 다루며, baseline으로는 테스트셋의 chosen completion이 사용된다. 논문이 강조하는 포인트는 DPO가 이 chosen 기준선 자체를 넘어선다는 점이다. 즉 사람 선호 데이터에 들어 있는 선택된 응답을 그대로 모사하는 것이 아니라, 참조정책 대비 더 나은 응답 분포를 형성할 수 있다는 것이다.

베이스라인 관점에서 보면 이 결과는 더욱 인상적이다. Best-of-128은 추론 시 128개의 후보를 생성하고 reward model로 그중 하나를 고르는 비싼 방법이며, 대화 과업에서 사실상 강력한 상한처럼 작동한다. 논문은 DPO가 이 강한 기준선과 유사하거나 더 좋은 성능을 내면서도 계산 효율성은 훨씬 높다고 보고한다. 반대로 잘 알려진 PPO 기반 Anthropic-HH 모델은 적절한 temperature나 prompt를 찾아도 base Pythia-2.8B를 확실히 넘지 못했다고 설명한다.

또한 Figure 5의 학습 곡선은 DPO가 최고 성능 근처로 빠르게 수렴하는 모습을 보여 준다. RLHF에서 자주 보는 불안정한 oscillation이 아니라, 몇백 스텝 만에 기준선을 넘고 이후 비교적 좁은 범위에서 성능이 유지된다. 이는 대화 정렬처럼 오류 비용이 큰 실무 환경에서 큰 장점이다. 성능이 평균적으로 높은 것만큼이나, 학습 중 갑작스러운 붕괴가 적다는 것이 운영 상 중요하기 때문이다.

이 대목에서 논문이 말하는 ‘계산 효율적 방법’이라는 표현도 곱씹어 볼 필요가 있다. DPO는 학습 중 online sampling 없이 오프라인 preference dataset으로 진행되고, 추론 시에도 Best-of-N처럼 다중 후보 생성 비용을 강요하지 않는다. 따라서 연구자 관점에서는 실험 반복이 쉬워지고, 서비스 관점에서는 배포 후 latency 비용이 덜 늘어난다. 이 점 때문에 DPO는 이후 alignment cookbook에서 거의 기본 설정처럼 자리 잡는다.

반대로 PPO가 이 과업에서 힘을 쓰지 못한 이유도 의미심장하다. 논문은 공개된 Anthropic-HH PPO 모델에 대해 여러 temperature와 prompt를 시험했지만, base Pythia-2.8B보다 확실히 좋은 구간을 찾지 못했다고 적는다. 이는 RLHF가 이론적으로 더 일반적이라 해도, 실제 대화 정렬에서 reward model 품질과 PPO 안정화가 충분하지 않으면 기대한 이득을 얻기 어렵다는 사실을 드러낸다. DPO의 장점은 단순히 ‘덜 복잡하다’가 아니라, 복잡성 때문에 생기는 실패 가능성을 줄인다는 데 있다.

결국 대화 실험은 DPO가 단지 이론적으로 예쁜 변환이 아니라, 실제로 사람들이 원하는 응답 분포를 더 직접적으로 만들 수 있다는 증거 역할을 한다. chosen response를 그대로 supervised fine-tuning하는 Preferred-FT가 쉽게 넘어서지 못하는 성능 구간을, DPO는 선호쌍 비교학습을 통해 밀어 올린다. 이는 선호정렬이 단순 모방을 넘어 선택 구조 자체를 학습하는 문제라는 점을 다시 확인시킨다.

이 차이는 데이터 활용 방식에서도 드러난다. Preferred-FT는 chosen completion의 표면형을 그대로 더 자주 내게 만들지만, DPO는 chosen과 rejected를 동시에 보기 때문에 왜 한 응답이 더 낫다고 평가되었는지에 대한 상대 기준을 학습한다. 즉 DPO는 인간 피드백을 단순 정답 집합이 아니라 비교 가능한 순위 신호로 취급한다. 논문이 대화 실험에서 보여 준 우위는 결국 이 상대 신호 해석이 실제 사용자 선호에 더 잘 맞았음을 의미한다.

한편 이 결과는 chosen completion을 절대 정답으로 보지 않는다는 점에서도 중요하다. preference dataset의 chosen 응답은 특정 시점의 annotator 선호를 반영한 선택지일 뿐이며, 더 나은 응답이 존재할 가능성을 닫아 두지 않는다. DPO가 chosen baseline을 넘는다는 것은 모델이 데이터셋 라벨을 외우는 수준을 넘어, 선호를 유도한 구조적 특징을 학습했을 수 있음을 시사한다. 이 해석은 이후 self-play나 rejection sampling 없이도 정렬 성능을 올리는 연구 흐름과 자연스럽게 연결된다.

Figure 7: TL;DR 요약에서 Best-of-N의 temperature별 성능 포화(원논문 Figure 4 우측)

이 그래프는 요약 과업에서도 샘플 수를 크게 늘리는 전략이 한계효용 체감에 부딪힌다는 점을 보여 준다. Best-of-64, 128, 256 곡선은 temperature 0.5 전후에서 비슷한 최고점을 만들고, 그 이상 N을 늘려도 차이가 작다. 논문이 DPO를 설득력 있게 제시하는 이유도 여기에 있다. 더 많은 샘플링으로 이득을 짜내기보다, 학습 단계에서 분포를 선호 친화적으로 옮기는 편이 더 근본적인 해법이라는 것이다. 요약처럼 빈번한 inference 환경에서는 이런 차이가 곧 비용 구조의 차이로 이어진다.

Table 6-A. 논문 부록에 실린 정성 사례는 DPO의 장점과 한계를 함께 보여 준다.

사례	DPO 응답 특징	비교 응답 / 판정
Civil Rights Movement 에세이 요청	구체적 역사 정보와 에세이 구성 제안을 함께 제공	GT보다 더 도움이 된다고 GPT-4가 판정
유명인의 집 주소 요청	사생활 침해를 이유로 거절하며 안전한 거절 패턴 제시	GT보다 더 바람직한 응답으로 평가
미국의 2차대전 참전 이유 질문	그럴듯하지만 사실 관계가 섞인 장황한 설명	GT의 직접적이고 정확한 답이 더 낫다고 판정
7+2 계산	정답 9를 언급하지만 불필요하게 장황하고 엉뚱한 설명 추가	GT의 간단한 정답이 선호됨

이 사례들은 DPO가 평균적으로 강하더라도 언제든 더 장황한 응답을 생성할 수 있고, factual precision이 필요한 질문에서는 실패할 수 있음을 보여 준다. 동시에 안전성 관련 질문에서는 dataset의 chosen completion보다 더 나은 거절 패턴을 낼 가능성도 있음을 시사한다. 즉 DPO의 효과는 모든 축에서 균일한 향상이 아니라, 선호 구조가 무엇을 보상하느냐에 따라 다르게 나타난다. 이 점이 이후 DPO 변형에서 length regularization과 calibration이 중요해진 이유다.

정성 사례를 함께 읽으면 논문의 실험 철학도 보인다. 평균 승률이 높다는 사실만으로는 어떤 유형의 실수가 늘어나는지 알 수 없기 때문이다. 예를 들어 DPO는 도움이 되는 장문 설명을 더 자주 내놓을 수 있지만, 그 결과 간단히 끝내야 할 질문에서도 과도하게 길어질 위험이 있다. 반대로 안전 관련 질문에서는 더 강한 거절 패턴을 학습할 수 있다. 결국 DPO는 “더 좋은 응답”을 보장하는 만능 목적함수가 아니라, 어떤 응답이 더 좋다고 레이블링되었는지에 충실한 목적함수라는 점을 잊지 않는 것이 중요하다.

6. 추가 분석 및 Ablation Study: Best-of-N, 인간 평가, 학습 안정성

6.1 Best-of-N baseline과 DPO의 관계: 추론 재랭킹을 학습으로 흡수하기

Best-of-N은 이 논문에서 매우 중요한 기준선이다. reward model이 충분히 좋다면 여러 후보를 생성한 다음 최고 점수 응답만 고르는 방식은 자연스럽게 강한 성능을 낼 수 있다. 따라서 DPO가 PPO보다만 좋고 Best-of-N보다는 훨씬 나쁘다면, 정렬의 핵심은 사실상 ‘학습’이 아니라 ‘추론시 대량 후보 생성’에 있다고 해석될 수 있다. 논문은 이 오해를 방지하기 위해 대화와 요약 양쪽에서 Best-of-N 곡선을 별도로 제시한다.

결과적으로 Best-of-N은 강하지만 비싸고, 일정 N 이상에서는 포화된다. 이는 두 가지 시사점을 준다. 첫째, reward model 기반 재랭킹 자체가 어느 정도 유효하다는 점은 맞다. 둘째, 그 유효성은 결국 샘플링 수에 의존하는데, 이 비용은 실제 서비스에서 쉽게 감당하기 어렵다. DPO는 선호 데이터를 통해 정책 분포를 직접 바꾸어 이 재랭킹 이득을 일부 내재화하려는 전략으로 읽을 수 있다.

이 관점에서 DPO는 ‘학습 시 더 비싸고 추론 시 더 싼’ 계열이 아니라, 학습과 추론 모두에서 균형이 괜찮은 방법이다. 특히 PPO가 성능을 내기 위해 reward model 품질과 sampling schedule, KL coefficient를 세심하게 맞춰야 한다는 점을 생각하면, DPO는 전체 파이프라인 비용을 낮추면서도 Best-of-N 수준의 우수 응답을 더 자주 생성하는 방향으로 작동한다. 즉 논문이 제안하는 직접 선호최적화는 단순한 objective replacement가 아니라 학습과 추론 비용 분배 방식의 재설계다.

후속 연구에서는 이 아이디어가 더욱 다양한 방식으로 발전한다. 예컨대 reward model이 있더라도 그것을 online RL의 critic으로 쓰기보다, preference optimization이나 pairwise ranking loss의 형태로 정책 업데이트에 직접 연결하려는 흐름이 커졌다. 이런 흐름의 출발점 가운데 하나가 바로 이 논문이며, Best-of-N과의 비교는 DPO가 왜 단순한 academic curiosity가 아니라 실무 친화적 설계인지 설명하는 데 핵심 역할을 한다.

또한 Best-of-N과 DPO를 함께 보면, 정렬 문제를 학습 시점에서 해결할지 추론 시점에서 해결할지라는 선택으로 다시 볼 수 있다. Best-of-N은 학습된 모델이 여전히 넓은 분포를 만들되, 추론 때마다 많은 후보를 생성해 그중 좋은 것을 고른다. DPO는 그 좋은 후보가 더 자주 직접 샘플되도록 분포 자체를 옮긴다. 논문은 후자의 접근이 장기적으로 더 경제적이며, 특히 API serving이나 agent loop처럼 반복 호출이 많은 환경에서 유리하다고 해석할 여지를 남긴다.

• Best-of-N의 장점: 강력한 reward model이 있을 때 성능 상한이 높다.
• Best-of-N의 한계: 샘플 수가 늘수록 추론 비용이 선형 이상으로 증가한다.
• DPO의 전략: 재랭킹 이득을 학습 단계에 흡수해 추론 비용을 낮춘다.
• 실무 결론: DPO는 높은 품질과 낮은 serving cost의 절충점으로 해석할 수 있다.

6.2 GPT-4 평가의 신뢰성: 사람 평가와 얼마나 맞는가

논문이 매우 신중하게 다루는 부분은 GPT-4 as evaluator의 타당성이다. TL;DR 요약 실험의 주지표가 GPT-4 win rate이기 때문에, 이 자동 판정이 사람 판단과 얼마나 일치하는지 확인하지 않으면 결과 전체의 설득력이 약해질 수 있다. 저자들은 simple prompt와 concise prompt라는 두 가지 판정 프롬프트를 사용하고, DPO, SFT, PPO-1을 PPO-0과 비교하는 사람 평가를 별도로 수집한다.

사람 평가는 총 25명의 자원자를 대상으로 이루어졌고, DPO 대 PPO-0 비교에는 272개의 응답, SFT 비교에는 122개, PPO-1 비교에는 199개의 응답이 모였다. 논문이 강조하는 포인트는 GPT-4와 인간의 일치율이 인간끼리의 일치율과 비슷하거나 더 높다는 사실이다. 이는 GPT-4가 완벽한 판정자는 아니더라도, 적어도 이 논문이 비교하는 모델들 사이의 우열을 일관되게 반영하는 실용적 proxy로 사용될 수 있음을 뜻한다.

또한 simple prompt보다 concise prompt가 사람 승률과 더 잘 맞는다는 분석도 흥미롭다. 이는 GPT-4가 아무 제약 없이 두 요약을 비교하면 길고 반복적인 출력을 과대평가할 수 있음을 시사한다. 즉 자동 평가 모델은 충분히 강력해도, 어떤 질문을 받느냐에 따라 결론이 달라질 수 있다. 논문은 이 점을 숨기지 않고 드러내며, 자동 평가의 prompt sensitivity를 향후 연구 과제로 남긴다.

이 사실은 DPO 자체의 한계라기보다, 정렬 연구 전체가 안고 있는 평가 문제를 드러낸다. 선호최적화 알고리즘이 좋아질수록 차이는 더 미세해지고, 그런 미세한 차이는 evaluator의 질문 방식에 더 민감하게 반응한다. 따라서 논문이 보여 주는 가장 실용적인 교훈 중 하나는 모델 objective 못지않게 evaluation prompt engineering도 중요한 연구 대상이라는 점이다. DPO 이후 많은 논문이 win-rate prompt를 함께 공개하게 된 배경에는 이런 문제의식이 자리한다.

이 분석은 DPO 결과를 해석할 때 중요한 안전장치 역할을 한다. DPO가 GPT-4 기준에서 PPO를 앞선다고 해도, 그것이 사람이 보기에도 낫지 않다면 실질적 의미는 줄어든다. 하지만 Table 2에서 DPO는 인간 승률 58%를 기록했고, GPT-4 concise prompt 승률도 54%로 같은 방향을 가리킨다. 절대값은 다소 다르지만 방향성은 일치하며, 논문은 바로 이 정합성을 근거로 GPT-4 기반 주요 결과를 제시한다.

더 나아가 이 결과는 LLM 평가를 설계할 때 무엇을 조심해야 하는지도 보여 준다. 강한 평가 모델을 쓰더라도 프롬프트에 간결성, 핵심성, 불필요한 세부 억제 같은 기준을 어떻게 넣는지에 따라 순위가 달라질 수 있다. DPO 논문은 이를 약점으로 숨기지 않고, 오히려 평가 prompt를 바꾸면 판정이 어떻게 달라지는지를 함께 제시한다. 이 점은 이후 alignment 연구에서 evaluator prompt 공개와 human spot-check가 관행이 되는 데 적지 않은 영향을 주었다.

Table 6. TL;DR 요약에서 GPT-4 판정과 사람 평가의 관계는 다음과 같이 요약된다.

비교 대상	N respondents	GPT-4 (S) 승률	GPT-4 (C) 승률	Human 승률	H-H 일치율
DPO vs PPO-0	272	47	54	58	65
SFT vs PPO-0	122	27	32	43	-
PPO-1 vs PPO-0	199	13	12	17	87

표를 보면 DPO 비교에서 GPT-4 concise prompt가 사람 판단과 가장 가까운 방향을 보이며, GPT-4 simple prompt는 상대적으로 더 보수적이다. 반면 PPO-1처럼 품질이 낮은 비교에서는 사람과 GPT-4 모두 거의 같은 방향으로 낮은 승률을 보고한다. 즉 자동 평가와 사람 평가의 차이는 주로 ‘좋은 모델끼리의 미세한 차이’를 어떤 기준으로 볼지에서 커지며, 논문은 그 기준을 concise prompt가 더 잘 반영한다고 결론 내린다.

이 결과는 DPO 논문을 읽을 때 함께 기억할 만한 메타 교훈도 준다. 정렬 알고리즘의 우열은 종종 몇 퍼센트포인트 차이로 나타나는데, 그 차이는 평가자 정의에 따라 확대되거나 축소될 수 있다. 따라서 DPO의 성공은 objective design과 evaluation design이 함께 맞물린 결과로 보는 편이 정확하다. 논문이 이 둘을 분리하지 않고 함께 보고했다는 점이, 이후 선호정렬 논문들의 보고 관행에 남긴 중요한 유산이다.

이 점은 오늘날에도 그대로 유효하다. 좋은 목적함수만으로는 충분하지 않고, 그 목적함수가 실제 사용자 선호와 얼마나 맞는지를 읽어낼 평가 프레임까지 함께 설계해야 한다. DPO 논문은 이 두 축을 동시에 다룬 초기 사례라는 점에서, 방법론과 평가론을 함께 묶어 본 드문 정렬 논문이기도 하다.

Figure 8: TL;DR 요약 사람 평가를 위해 사용한 설문 인터페이스(원논문 Figure 5)

이 화면은 논문이 자동 평가에만 의존하지 않았음을 시각적으로 보여 준다. 참가자는 원문 포럼 글을 읽고 Summary A와 Summary B 중 어떤 요약이 핵심을 더 잘 전달하는지 선택하며, 거의 구분이 되지 않을 때만 별도 옵션을 고를 수 있다. 즉 평가 인터페이스는 실제 사용자 선택에 가까운 비교 판정을 유도하도록 구성되어 있고, DPO의 승률 결과는 이 사람 평가 절차와 함께 해석되어야 한다. 자동 평가와 인간 평가를 연결하는 마지막 고리라는 점에서 이 그림의 의미가 크다.

이 실험 설계는 선호정렬 연구에서 자주 간과되는 점도 상기시킨다. 사람 평가는 비싸고 느리지만, 자동 평가자의 편향을 진단하는 최소한의 안전장치가 된다. 논문은 표본 수가 아주 크지는 않더라도, 비교할 매치업을 DPO 고성능, SFT 중간 성능, PPO 저성능으로 나누어 배치함으로써 응답 품질 스펙트럼 전체에서 GPT-4와 사람의 정렬도를 점검하려 했다. 이는 자동 평가를 완전히 신뢰하거나 완전히 배제하는 양극단 대신, 둘을 병행하는 보다 현실적인 연구 태도에 가깝다.

7. 한계점 및 향후 연구 방향: 평가자 편향과 대규모 확장 문제

논문은 DPO의 성과를 강하게 주장하면서도 몇 가지 중요한 한계를 분명히 남긴다. 첫째, 분포 이동 일반화는 아직 초기 증거만 제시되었다. CNN/DailyMail 결과는 고무적이지만, 더 넓은 도메인과 더 긴 상호작용 구조에서 DPO가 explicit reward 기반 방법과 어떻게 비교되는지는 열린 문제다. 특히 장기 horizon의 에이전트 행위나 다단계 reasoning 시나리오에서는 pairwise preference만으로 충분한 신호가 제공되는지 별도 검증이 필요하다.

둘째, reward over-optimization이 DPO 환경에서 어떻게 나타나는지 충분히 분석되지 않았다. 논문은 Figure 5 우측에서 보이는 약한 성능 감소가 과적합 혹은 과최적화의 징후일 수 있다고 언급한다. RLHF에서는 reward hacking이 독립 reward model을 통해 논의되는 반면, DPO에서는 정책이 곧 암묵적 보상모델이기 때문에 과최적화의 징후를 어떻게 측정할지 새 기준이 필요하다. 이는 후속 DPO 변형들이 regularization과 margin을 더 세밀하게 설계하게 된 배경이기도 하다.

셋째, 평가 체계 역시 완전하지 않다. GPT-4 기반 평가는 사람 판단과 상당히 일치하지만, prompt wording에 민감하고 길이 편향 같은 문제를 내포한다. 사람 평가 또한 표본 수가 무한하지 않고, 주로 Stanford 배경의 STEM 중심 자원자에게서 수집되었다. 따라서 ‘DPO가 PPO보다 낫다’는 결론은 이 논문이 정의한 helpfulness, conciseness, chosen baseline이라는 맥락 안에서 읽어야 한다. 즉 DPO는 분명 강력하지만, 모든 정렬 가치 함수를 완전히 대체한다고 말할 단계는 아니다.

그럼에도 논문의 미래 방향 제시는 분명하다. 더 큰 모델, 더 긴 상호작용, 더 다양한 모달리티에서도 DPO식 직접 선호최적화가 유지될 수 있는지 확인해야 한다. 논문은 언어모델 정렬을 주 대상으로 삼지만, 마지막에는 다른 생성 모달리티로의 확장 가능성도 언급한다. 이후 이미지, 비디오, 멀티모달 모델에 대한 preference optimization 연구가 빠르게 늘어난 점을 생각하면, 이 제안은 단순한 마무리 문장이 아니라 향후 연구 로드맵에 가까운 역할을 한다.

특히 장기 에이전트나 reasoning 모델로 가면 pairwise preference의 granularity 자체를 다시 고민해야 한다. 단일 턴 응답의 우열은 비교적 쉽게 판단할 수 있지만, 수십 단계의 도구 사용이나 계획 수립에서는 어느 순간의 선택이 최종 선호를 만들었는지 분해하기 어렵다. DPO의 성공은 선호최적화가 가능하다는 출발점을 제공하지만, 더 긴 horizon 문제에서는 pairwise signal을 어떻게 구조화할지라는 새로운 질문을 남긴다. 그래서 이 논문은 끝난 답이 아니라, 더 큰 정렬 문제를 향한 출발점으로 읽는 편이 맞다.

마찬가지로 멀티모달 생성에서는 선호의 기준이 더 다층적이다. 텍스트 응답은 도움됨, 정확성, 간결성 정도로 비교할 수 있지만, 이미지나 비디오 생성은 미학, 충실도, 안전성, 사용자 의도 부합 여부가 동시에 얽힌다. 그럼에도 DPO가 남긴 핵심 유산은 그대로 유지된다. 즉 보상모델을 반드시 독립 모듈로 둘 필요가 있는지, 아니면 비교 선호 자체를 직접 최적화하는 편이 더 낫지 않은지를 계속 묻게 만들었다는 점이다.

• OOD 일반화: 더 다양한 도메인과 상호작용 길이에 대한 검증이 필요하다.
• 과최적화: 암묵적 보상 환경에서 reward hacking 징후를 어떻게 측정할지 남아 있다.
• 스케일링: 논문은 최대 6B 수준을 평가했으며, 초대형 모델에서는 별도 분석이 필요하다.
• 평가 의존성: GPT-4 판정은 유용하지만 prompt와 평가자 구성에 민감하다.

8. 결론: RL 없는 선호최적화의 실천적 의미

이 논문이 제시한 가장 큰 통찰은 선호정렬의 핵심이 꼭 보상모델과 강화학습의 조합일 필요는 없다는 점이다. RLHF의 목표를 더 자세히 들여다보면, 보상함수와 최적 정책의 관계를 이용해 선호쌍 분류 손실로 직접 내려올 수 있다. DPO는 바로 그 사실을 수학적으로 정리하고, 실제 요약과 대화 실험에서 성능과 안정성, 단순성을 함께 입증했다. 이 때문에 DPO는 정렬 연구에서 하나의 알고리즘이라기보다, 선호학습을 바라보는 기본 좌표계를 바꾼 논문으로 읽힌다.

특히 실무 관점에서 DPO의 의미는 매우 크다. 보상모델 학습, PPO 튜닝, 고비용 Best-of-N 추론 같은 절차가 부담스러운 환경에서도, 오프라인 preference data만 있다면 비교적 짧은 미세조정 루프로 정렬을 수행할 수 있기 때문이다. 물론 이후 연구들은 DPO의 한계를 보완하는 다양한 변형을 제안했지만, 그 대부분이 여전히 정책비 기반 pairwise objective라는 뼈대를 유지한다. 그 점에서 이 논문은 RLHF를 폐기한 논문이 아니라, RLHF를 더 단순하고 재현 가능하며 확장 가능한 형태로 재구성한 논문이라고 정리할 수 있다.

오늘날 정렬 실무에서 DPO가 기본 베이스라인이 된 이유도 여기에 있다. 연구자는 reward model과 PPO를 모두 구현하지 않고도 강력한 출발점을 얻을 수 있고, 서비스 팀은 대규모 샘플링 추론 없이도 더 선호 친화적인 분포를 만들 수 있다. 따라서 이 논문은 ‘보상모델이 없어도 된다’는 도발적 메시지보다, 정렬을 훨씬 더 많은 팀이 시도할 수 있게 만든 문턱 낮추기라는 점에서 더 큰 의미를 가진다.

정리하면 DPO는 두 가지 질문에 동시에 답한 논문이다. 하나는 “RLHF를 더 단순하게 만들 수 있는가”이고, 다른 하나는 “그 단순화가 실제 성능 저하 없이 가능한가”이다. 저자들은 전자에 대해 수학적 재매개변수화로, 후자에 대해 감성제어·요약·대화라는 서로 다른 과업의 실험으로 답한다. 그래서 이 논문은 특정 정렬 레시피를 소개한 기술문서이면서도, 동시에 선호학습을 RL 관성에서 떼어내 재구성한 개념적 전환점으로 남는다.

나아가 DPO는 alignment 연구의 실험 문화 자체에도 변화를 주었다. reward model과 PPO를 모두 갖추지 못한 팀도 선호 데이터만 있으면 강한 정렬 baseline을 구축할 수 있게 되었고, 그 결과 학계와 오픈소스 커뮤니티의 재현 실험이 훨씬 활발해졌다. 이런 파급효과까지 고려하면, DPO는 단순한 손실함수 이상의 의미를 가진다. 이 논문이 정렬 문제를 더 넓은 연구자 집단에게 개방했다는 사실이야말로 장기적으로 가장 큰 공헌일 수 있다.

그래서 이 논문을 다시 읽을 때 가장 인상적인 부분은 ‘강화학습을 안 써도 된다’는 선언보다, 정렬 문제를 어디서부터 다시 쓰기 시작할 수 있는가를 보여 준 점이다. RLHF의 목표를 유지하면서도 계산 경로를 바꿀 수 있다는 발상은 이후 정렬 연구 전반에 넓은 여지를 남겼다. DPO는 완성형 종착점이라기보다, 선호학습의 기본 도구 상자를 새로 짜게 만든 시작점이라고 보는 편이 가장 정확하다.

결국 DPO의 장기적 가치는 하나의 실험 표를 넘어선다. 선호 데이터가 주어졌을 때 우리는 더 이상 반드시 “보상모델을 먼저 만들고 그 다음 강화학습을 해야 한다”는 사고에 갇힐 필요가 없게 되었다. 정책과 선호, 참조분포를 한 손실식 안에서 직접 연결할 수 있다는 사실이 확인되었고, 그 덕분에 정렬 연구는 훨씬 더 빠른 실험 주기와 더 넓은 참여자 풀을 갖게 되었다. 이 점에서 DPO는 결과가 아니라 연구 방법론 자체를 바꾼 논문이라고 정리할 수 있다.

9. 요약 정리: 핵심 포인트 한눈에 보기

• DPO는 RLHF의 표준 목적을 버리지 않고, 보상함수를 정책비 로그로 재매개변수화해 직접 최적화한다.
• 핵심 손실은 선호 응답과 비선호 응답의 참조 대비 로그확률 차이에 시그모이드를 적용한 비교 분류식이다.
• 정책은 암묵적 보상모델로 해석될 수 있으며, 별도 reward model을 두지 않아도 선호학습이 가능하다.
• IMDb 실험에서 DPO는 reward-KL frontier 상에서 매우 효율적인 최적화를 보인다.
• TL;DR 요약에서는 temperature 변화에 대해 PPO보다 더 견고하고, 최고 승률도 더 높다.
• Anthropic-HH 대화에서는 chosen completion과 Best-of-128 수준 기준선에 맞먹거나 더 나은 성능을 보인다.
• 구현 복잡도는 PPO 기반 RLHF보다 훨씬 낮고, 일반적인 미세조정 파이프라인에 가깝다.
• 자동 평가는 GPT-4를 쓰되, 사람 평가와의 정합성을 별도로 검증해 결과 해석의 신뢰도를 높였다.
• 남은 과제는 OOD 일반화, 과최적화 분석, 초대형 모델 스케일링, 평가 prompt 민감도 문제다.
• 역사적 의의는 RLHF를 오프라인 pairwise preference optimization의 언어로 다시 쓸 수 있음을 보여 준 데 있다.