[arXiv 2607.28609] OSReward: 컴퓨터 사용 에이전트 보상 모델을 플랫폼 전반에서 평가하기

OSReward: Instituting Standardized Evaluation for Cross-Platform Computer-Use Reward Models

https://arxiv.org/abs/2607.28609

Qiushi Sun, Kanzhi Cheng, Yian Wang, Bowen Yang, Hang Yan, Liheng Chen, Fangzhi Xu, Zichen Ding, Nuo Chen, Jialin Cao, Xingdong Gong, Zehao Li, Kaiming Jin, Xinfeng Yuan, Zhoumianze Liu, Jingyang Gong, Zhangyue Yin, Jiahui Gao, Zhiyong Wu, Tianbao Xie, Jianbing Zhang, Ben Kao, Lingpeng Kong | The University of Hong Kong, Nanjing University, National University of Singapore, University of Science and Technology of China, Xi'an Jiaotong University, University of Oxford, Fudan University | arXiv:2607.28609v1 | 2026년 7월

---

컴퓨터 사용 에이전트가 실제 운영체제와 앱을 다루기 시작하면서, 성공 여부를 판정하는 보상 모델은 학습 파이프라인의 보조 도구를 넘어 핵심 인프라가 됐다. 그러나 화면, 행동, 추론이 길게 얽힌 궤적을 시각언어모델이 얼마나 정확히 심판하는지에 대해서는 플랫폼을 가로지르는 인간 골드 기준이 부족했다. OSReward는 웹·Android·Ubuntu·Windows에서 새로 수집한 1,019개 궤적에 다단계 인간 판정을 붙여 이 공백을 측정한다.

평가 결과는 강한 범용 모델도 실패한 실행을 성공으로 받아들이는 관대성 편향을 공유하며, 어려운 부분집합에서는 최고 정확도조차 70% 아래로 내려간다는 사실을 보여 준다. 저자들은 321,631개의 judge instance에서 추린 OS-Shepherd-100K로 9B와 35B 공개 보상 모델을 학습해, 상용 judge에 가까운 신호를 30~60배 낮은 비용으로 제공한다고 보고한다. 핵심은 모델 순위표 자체보다 어떤 증거가 판정을 움직이고, 저비용 reward model을 학습에 넣을 때 어디에 검증·보류·사람 개입을 배치해야 하는지에 있다.

1. 서론: 자동 보상 검증의 공백

1.1 CUA 궤적이 보상 신호가 되는 지점

컴퓨터 사용 에이전트(CUA)는 웹, 모바일 앱, 데스크톱 소프트웨어를 화면으로 인식하고 클릭, 입력, 스크롤, 명령행 실행 같은 행동을 이어 가며 사용자의 과업을 수행한다. 이때 궤적은 단순한 최종 답변에 그치지 않고 과업 지시 뒤에 상태, 행동, 추론이 시간순으로 교차하는 기록이다. 따라서 한 실행의 성공 여부를 판정하려면 에이전트가 “완료했다”고 말했는지보다 환경이 실제로 지시된 목표 상태에 도달했는지를 확인해야 한다.

이 성공 판정은 평가 점수 하나에만 쓰이지 않는다. 대규모로 수집한 궤적에서 학습할 표본을 고르는 데이터 큐레이션, 정책을 갱신하는 강화학습, 합성 경험을 축적하는 자기개선 과정이 모두 궤적 수준의 보상 신호를 소비한다. 같은 기록에 대해 안정적으로 재현되는 판정이 없다면 벤치마크의 성능 비교와 학습 데이터의 품질 관리가 동시에 흔들리므로, 검증기는 CUA 확장의 기반 구성요소가 된다.

1.2 수작업 검증기와 인간 평가가 남기는 확장성 공백

기존 표준 환경은 과업별로 사람이 작성한 검증기를 붙여 재현 가능한 평가를 제공해 왔다. 그러나 이런 규칙은 파일 내용이나 애플리케이션 상태처럼 미리 지정한 결과만 검사할 수 있고, 저자가 예상해 코드로 표현한 과업에 적용 범위가 묶인다. 라이브 환경이 사라진 정적 말뭉치나 과거에 수집한 궤적에는 검사할 백엔드 자체가 없으며, 화면 기록만으로 판단해야 하는 개방형 과업에는 규칙 기반 검증기를 작성하기도 어렵다.

인간 주석은 복합적인 성공 조건을 읽을 수 있지만 필요한 처리량을 감당하지 못한다. OSReward의 1,019개 골드 궤적만 해도 세 명의 독립 판정, 불일치에 대한 메타 리뷰, 난도 높은 부분집합의 재검증을 합쳐 약 800인시가 들었다. 평가와 큐레이션을 넘어 수십만 또는 수백만 번의 보상 호출이 필요한 학습 단계에서는 같은 절차를 반복하기 어려우므로, 논문은 모델 기반 자동 판정을 사실상 실용적인 경로로 설정한다.

1.3 VLM judge를 다시 평가해야 하는 이유

이 공백을 메우기 위해 최근 파이프라인은 시각언어모델(VLM)을 judge로 두고 궤적의 성공과 실패를 판정한다. VLM judge는 궤적 합성의 자동 평가자, 데이터 필터, 학습용 reward model, 비평형 autorater로 이미 활용되고 있다. 문제는 CUA를 채점하는 모델 자체가 얼마나 신뢰할 수 있는지, 특히 서로 다른 플랫폼과 긴 실행에서 같은 기준을 유지하는지를 체계적으로 검증한 근거가 부족했다는 데 있다.

CUA 궤적 평가는 텍스트 답변 평가보다 증거 구조가 복잡하다. judge는 여러 단계의 스크린샷과 행동, 에이전트의 생각을 함께 읽되, 그중 일부 장면에만 나타난 완료 증거나 실패 신호를 놓치지 않아야 한다. 더구나 에이전트의 자기보고와 화면 상태가 충돌할 수 있으므로, 자연스러운 성공 서술을 따라가는 대신 실제 환경 변화에 판정을 고정해야 한다.

논문의 예비 관찰에서는 가장 강한 VLM judge조차 기존 데스크톱 벤치마크 검증기와 약 4분의 1의 판정에서 불일치했다. 이 수치만으로 어느 쪽이 틀렸는지는 정할 수 없는데, 기존 검증기의 노이즈와 과업 자체의 모호성도 불일치 원인이 될 수 있기 때문이다. OSReward는 이 귀속 문제를 줄이기 위해 기존 rollout과 자동 라벨을 재사용하지 않고, 환경 준비부터 지시 작성, 실행, 인간 골드 판정까지 새로 통제한 벤치마크를 구축한다.

1.4 OSReward가 설정한 검증 대상과 범위

OSReward의 직접적인 평가 대상은 과업을 수행하는 에이전트 자체보다 그 궤적을 판정하는 judge다. 이를 위해 웹, Android, Ubuntu, Windows에서 새로 수집한 장기 궤적에 사람이 확정한 성공·실패 verdict를 붙이고, 에이전트 백본과 행동 양식을 여러 계열로 분산한다. 논문은 이 구성이 judge 오류를 수집 장애나 기존 검증기 오류와 뒤섞지 않고 비교하기 위한 표준화된 기반이라고 설명한다.

하나의 골드 집합은 세 관점으로 제공된다. 전체 OSReward는 플랫폼과 과업의 폭을 담고, OSReward-Hard는 인간 판정자도 처음에 갈렸던 실제 난례를 모으며, OSReward-Multi는 성공 궤적에 의도 정렬과 효율성 등급을 더한다. 뒤의 두 집합은 전체 집합 안에 중첩되며, 이 글의 방법론 범위에서는 이들을 만드는 교차 플랫폼 수집과 삼중 인간 주석 절차에 초점을 둔다.

2. 배경 및 관련 연구: CUA 궤적 평가와 VLM judge

2.1 화면 grounding에서 장기 과업 수행으로 넓어진 CUA

CUA 연구는 원시 화면에서 지시가 가리키는 요소를 찾는 grounding에서 출발해 실제 애플리케이션을 처음부터 끝까지 조작하는 네이티브 GUI action model로 확장되어 왔다. 동시에 웹·모바일·데스크톱을 아우르는 공개 데이터와 서로 다른 전문 에이전트를 조합하는 시스템이 등장하면서, 한두 번의 클릭보다 긴 연속 실행이 주요 평가 단위가 되었다. 이 변화는 최종 화면만 보는 평가보다 행동과 상태의 전개 전체를 읽는 궤적 평가를 요구한다.

표준화된 환경은 같은 초기 상태와 과업을 재현하는 데 기여했지만, 대개 각 과업에 맞춘 수작업 검증기에 의존한다. 반면 실제 사용 과업에는 화면 밖의 결과를 코드로 읽기 어렵거나 성공 조건이 개방적인 경우가 있으며, 데이터 수집과 강화학습은 기존 검증기가 다룬 범위를 빠르게 넘어선다. 논문이 제시하는 이상적인 judge는 특정 과업 스크립트에 갇히지 않고, 다양한 길이와 행동 공간을 가진 궤적을 일반적이고 안정적으로 판정해야 한다.

2.2 궤적 judge가 읽어야 하는 세 종류의 증거

한 단계의 CUA 기록에는 보통 상태를 나타내는 스크린샷, 다음 행동을 정당화하는 생각, 실제로 실행한 행동이 짝을 이룬다. 성공 여부는 마지막 장면에 항상 명시되지 않으며, 중간 단계에서 저장된 파일, 잠깐 표시된 오류 팝업, 되돌려진 변경처럼 흩어진 단서로 결정될 수 있다. 따라서 judge는 시각 상태, 텍스트 추론, 행동 이력을 하나의 시간축으로 결합해야 한다.

이 구조는 일반적인 LLM-as-a-judge나 멀티모달 응답 채점과 구별된다. 텍스트 응답의 유창성이나 최종 이미지의 그럴듯함만으로는 사용자의 제약을 지켰는지, 필요한 환경 조작을 실제로 수행했는지, 완료 전에 중단했는지를 알 수 없다. 특히 우연히 정답인 값을 말했더라도 환경에서 그 값을 얻거나 확인하지 않았다면 OSReward의 엄격한 기준에서는 실패다.

플랫폼 차이도 판정 난도를 바꾼다. 모바일은 비교적 짧은 터치 중심 실행이 많지만 데스크톱은 여러 창과 전문 애플리케이션, 파일, 명령행을 오가며 최대 100단계까지 이어질 수 있고, 웹은 라이브 사이트의 로딩·차단·세션 상태를 포함한다. 단일 플랫폼에서 얻은 judge 신뢰도만으로는 행동 공간과 실행 길이가 다른 플랫폼에 대한 성능을 보장하기 어렵다는 것이 논문의 문제 설정이다.

2.3 reward model과 autorater로 확산된 VLM 판정

관련 연구는 VLM judge를 궤적 합성 결과의 채점과 필터링에 사용하고, 그 판정을 학습 신호로 삼는 reward model이나 critic형 autorater도 개발해 왔다. 이 접근은 라이브 환경마다 별도의 검증 함수를 작성하지 않고 화면과 행동 기록에서 직접 verdict를 낼 수 있다는 점에서 확장성이 높다. 그러나 생성 모델의 판단을 다시 보상으로 쓰려면, 성공을 과대 인정하거나 특정 에이전트의 서술 양식에 끌리는 편향까지 측정해야 한다.

최근 연구가 모델 기반 reward의 신뢰성 문제를 다루기 시작했지만, 논문이 정리한 초기 벤치마크들은 고립된 단일 플랫폼에 머물거나 기존 벤치마크의 지시와 궤적을 재사용한다. 재사용 데이터는 rollout을 만든 백본, 행동 예산, 수집 설정을 그대로 물려받고, 골드 라벨도 불완전한 자동 검증기의 오류를 포함할 수 있다. 지시가 애초에 모호하면 명확한 정답 verdict가 없으므로 judge의 오답과 데이터의 결함을 분리하기도 어렵다.

2.4 기존 평가의 교란 요인과 OSReward의 위치

기존 궤적만 모아 새 judge를 비교하면 낮은 일치도가 judge의 시각 이해 부족 때문인지, 실행 중 환경이 멈췄기 때문인지, 원래 라벨이 틀렸기 때문인지 확정하기 어렵다. 또한 한 에이전트의 궤적만 사용하면 고유한 생각 서술, 행동 문법, 종료 표현에 평가가 편중된다. OSReward는 fresh trajectory, human-gold verdict, cross-platform coverage를 함께 요구해 이 세 교란을 줄이는 방향을 택한다.

논문은 OSReward를 서로 다른 플랫폼에서 새로 수집한 인간 골드 궤적으로 VLM judge의 신뢰성을 재는 첫 체계적 시도로 규정한다. 이 주장의 범위는 모든 디지털 과업에 대한 완전한 검증을 선언하는 데 있지 않고, 통제된 네 플랫폼과 엄격히 선별한 1,019개 궤적에서 judge 간 비교가 가능하도록 만드는 데 있다. 별도의 OS-Shepherd 학습 말뭉치는 이 벤치마크와 완전히 분리되므로, OSReward의 인간 라벨이 reward model 훈련 데이터로 되돌아가는 구성도 피한다.

3. 방법론: cross-platform benchmark 구축과 3중 human annotation

3.1 기존 rollout 재사용을 피한 설계 원칙

방법론의 목표는 현실적인 CUA 궤적과 judge를 평가할 만큼 신뢰도 높은 골드 verdict의 쌍을 만드는 것이다. 연구진은 기존 벤치마크의 off-the-shelf rollout을 합치는 대신 네 플랫폼의 환경, 지시, 수집 harness, 전처리, 주석을 end-to-end로 운영했다. 환경 형식을 통일하면 플랫폼별 judge 점수를 비교할 수 있고, 이후 reward model에도 일관된 궤적 표현을 제공할 수 있다.

3.2 네 플랫폼을 현실적인 시작 상태로 준비하는 방식

데스크톱과 모바일 환경은 기본 이미지에 애플리케이션만 설치한 빈 기계 대신 실제 사용 흔적을 가진 상태로 초기화된다. 사용자 프로필, 편집할 실제 파일, 앱 데이터베이스, 로그인 세션과 함께 유사한 파일이나 메시지 같은 방해 요소를 넣어, 에이전트가 목표 대상을 구별하도록 만든다. 이 준비는 성공이 단순한 완료 선언을 넘어 환경의 구체적인 변화로 드러나게 하고, 실패할 수 있는 현실적 분기까지 제공한다.

웹 환경은 rollout마다 격리된 headless Chromium 세션을 제공하는 Playwright 브라우저 서비스이며, 기본 viewport는 $1920\times1080$이다. 관찰과 조작은 DOM 식별자 대신 스크린샷과 좌표에 기반하고, 모델마다 다른 좌표 표현은 adapter가 viewport 픽셀로 변환한다. 라이브 사이트의 자동화 차단에 대응해 stealth 처리, 도메인별 동시성 제한과 cooldown, CAPTCHA·로그인 벽 탐지, 검색 엔진 fallback, 화면 안정성 확인을 적용하고 회복 불가능한 실행만 제거한다.

Windows는 일상 도구부터 IDE, 데이터베이스, 미디어·3D 편집 도구까지 약 20개 애플리케이션과 ffmpeg 같은 명령행 유틸리티를 갖추며, 실제 수집 데이터는 23개 애플리케이션을 포괄한다. 수집 중 해상도를 2K와 4K 사이에서 바꾸어 화면 배치의 다양성을 높이고, GUI 중심 에이전트는 50단계 또는 100단계 예산으로 실행된다. 벤치마크의 Windows 부분은 대규모 flywheel 훈련 자료와 달리 사람이 작성하고 동료가 검토한 지시에서 나온 105개 인간 검증 궤적이다.

Ubuntu에는 개발, 문서, 그래픽, 미디어, 과학, 개인 도구를 포함한 약 30개 애플리케이션과 Python·shell 도구가 준비된다. 약 20개 파일 형식마다 공개 벤치마크와 말뭉치에서 가져온 실제 파일 100~500개를 채워 문서 편집, 코드 저장소, 오디오·비디오, 3D 장면을 현실적인 출발점으로 사용한다. 순수 GUI와 GUI+CLI 실행이 함께 포함되므로, 시각 조작만 하는 궤적과 Python 또는 Bash를 섞는 궤적을 같은 기준으로 판정할 수 있다.

모바일은 Pixel 6a 기반 Android emulator에서 파일, 사용 기록, 앱 데이터베이스, 검색·열람 이력, 사진을 초기화하고 decoy 메시지와 닮은 파일을 섞는다. Gmail, 지도, 메모, 사진처럼 로그인이 필요한 앱에는 사람의 감독 아래 운영되는 동기화 계정을 사용한다. 415개의 원시 지시 중 226개를 고품질 prompt로 선별하고 여러 Gemini 및 Qwen 계열 실행 에이전트로 321개 원시 궤적을 만든 뒤, freeze·ADB 연결 손실·호스트 메모리 한계로 불완전한 실행은 인간 주석 전에 버린다.

그림 1. 현실적 환경과 검증된 지시에서 다양한 agent backbone의 궤적을 수집하는 과정

연구진은 먼저 웹·Windows·Ubuntu·Android 환경을 실제 사용 상태에 가깝게 준비하고, 주석자가 그 환경을 직접 탐색한 뒤 실행 가능한 지시를 작성한다. 저자와 다른 주석자가 모호하거나 근거가 없거나 답할 수 없는 후보를 걸러 낸다. 통과한 지시는 Claude·Gemini·Kimi·Qwen 네 계열 실행 에이전트에 배분되어 성공과 실패가 모두 포함된 원시 궤적으로 변환된다. 각 rollout은 플랫폼별 adapter를 거쳐 공통 trajectory schema로 정규화되므로, 인간 주석과 모델별 judge 비교가 같은 입력 단위에서 수행된다.

표 1. 플랫폼별 수집 인프라의 핵심 수치

플랫폼	환경·관찰	소스에 보고된 규모·예산
Web	격리 Chromium, screenshot·coordinate 기반	$1920\times1080$, 기본 15 action·난과업 30 action
Windows	2K·4K, GUI 중심	약 20개 설치 앱, 23개 앱 수집, 50·100 step cap
Ubuntu	GUI와 GUI+CLI	약 30개 앱, 약 20개 파일 형식, 형식당 100~500개 파일, 50~80 step cap
Android	Pixel 6a emulator, 초기화 앱 상태	지시 415개→226개, 원시 궤적 321개

표의 수치는 벤치마크와 훈련 규모를 혼동하지 않도록 플랫폼 인프라의 보고값만 묶은 것이다. 특히 Windows의 수천 개 flywheel 지시와 Ubuntu의 자동 생성 지시는 OS-Shepherd 훈련용이며, OSReward 평가 항목은 사람이 쓰고 교차 검토한 지시만 사용한다. 네 플랫폼은 화면 해상도, 행동 공간, 단계 예산이 다르지만 최종 궤적 표현과 인간 판정 절차는 공통으로 유지된다.

3.3 환경에 근거한 지시와 다양한 backbone의 rollout

주석자는 준비된 환경을 직접 탐색하고, 그 안에서 실제로 수행할 수 있으며 결과를 판단할 수 있는 지시를 작성한다. 아이디어를 얻기 위해 AI 도구나 소프트웨어 설명서를 사용할 수 있지만 출처와 관계없이 모든 초안은 인간의 유효성 검사를 거친다. 약 1,500개 후보 가운데 저자와 다른 주석자의 peer cross-check를 통과한 약 800개만 rollout 단계로 넘어가며, 여러 앱을 잇는 장기 과업도 합성으로 우회하지 않고 같은 작성·검토 절차를 따른다.

각 생존 지시는 한 개에서 세 개의 실행 에이전트가 수행하고, backbone은 Claude, Gemini, Kimi, Qwen 계열에 걸친다. 계열마다 행동 표현, 생각의 길이, 실패 양상이 다르므로 이 분산은 특정 인터페이스 문체를 judge가 외우는 위험을 낮춘다. 능력 차이에서 실제 성공과 실제 실패가 함께 생기며, 이는 실패 표본이 부족해 judge가 성공 쪽으로 치우치는 평가 구성을 피하는 장치다.

수집 직후 자동 pre-filter는 지속적인 anti-bot 차단, 네트워크 장애, 멈춘 실행처럼 에이전트 능력과 무관한 심각한 문제를 제거한다. 단, 웹 에이전트가 처음의 차단을 재시도로 우회해 정상적으로 계속한 궤적은 유효한 실행으로 남는다. 이 경계는 최종 FAIL이 수집 시스템의 고장보다 과업 수행 실패를 나타내게 하면서도, 현실적인 회복 행동까지 지나치게 삭제하지 않기 위한 것이다.

3.4 세 명의 독립 판정과 senior meta-review

골드 verdict는 CUA에 익숙한 컴퓨터과학 대학원생 주석자 6명과 경험 있는 CUA 연구자인 meta-reviewer 3명이 만든다. 주석자는 플랫폼을 나누어 맡기 전에 환경을 직접 조작해 각 애플리케이션이 할 수 있는 일과 할 수 없는 일을 익힌다. 전용 웹사이트는 궤적을 단계별로 재생하며, 판정과 함께 그 근거를 글로 남기게 해 즉흥적인 결정을 억제하고 이후 조정의 증거를 제공한다.

pre-filter를 통과한 각 궤적은 세 명이 서로 독립적으로 전체 멀티모달 문맥을 읽는다. 이들은 마지막 화면만 보지 않고 모든 스크린샷, 생각, 행동을 검토하며, 에이전트가 환경에서 답을 획득하거나 확인하지 않았다면 답 자체가 맞아도 FAIL로 둔다. 세 명이 만장일치하면 verdict가 확정되고, 의견이 갈린 궤적은 단순 다수결로 끝내지 않는다.

불일치 사례는 두 명의 senior reviewer가 함께 궤적과 기존 주석 근거를 재검토해 최종 판정을 내리는 meta-review로 올라간다. 이는 한 독자의 판단이 골드 라벨이 되는 상황을 피하고, 애매한 성공 서술보다 실제 환경 증거에 기준을 맞추는 단계다. 남은 품질 문제로 확정적 판정이 불가능한 궤적은 억지로 라벨을 붙이지 않고 완전히 제외한다.

그림 2. 3중 독립 주석, 불일치 meta-review, hard subset 재검증으로 이어지는 판정 절차

자동 필터 뒤의 모든 궤적에는 세 명이 독립적으로 SUCCESS 또는 FAIL을 부여하고 판정 근거를 기록한다. 만장일치 사례는 곧바로 확정되지만, 세 의견이 갈린 사례는 두 senior reviewer의 공동 심의로 올라가며 단순 과반표를 쓰지 않는다. 이 1차 합의와 메타 리뷰 뒤에도 남은 품질 문제는 제거하고, Hard 후보에는 별도의 재검증을 한 번 더 적용한다. 이 단계는 challenge subset의 난도를 단순 라벨 노이즈와 분리하며, 1,019개 gold 판정의 근거를 설명문과 심의 기록에 남긴다.

표 2. 지시 작성부터 골드 집합과 Hard 재검증까지의 수집 funnel

단계	입력·결과	판정 원칙
지시 작성·peer screening	약 1,500개→약 800개	모호·비근거·수행 불가 지시 제거
자동 pre-filter 이후	주석 대상 1,128개	환경·네트워크·지속 차단 오류 제거
3인 독립 판정	만장일치 75%, pairwise agreement 83.3%	calibrated Krippendorff $\alpha=0.797$
meta-review	불일치 282개, 25%	senior reviewer 2인의 공동 심의
잔여 품질 제거·골드 확정	109개 제거→1,019개	SUCCESS 440개, FAIL 579개
Hard 재검증	후보 373개→유지 284개·복귀 89개	오라벨 18개 정정

1차 독립 판정의 만장일치율은 75%, 쌍별 일치율은 83.3%이며 보정 Krippendorff의 $\alpha$는 0.797이다. 나머지 282개가 meta-review로 갔고, 판정 과정에서 잔여 품질 문제가 발견된 109개는 주석 대상 1,128개에서 제외되었다. 최종 1,019개라는 수치는 세 표의 합의에 더해 심의와 제외 기준을 거친 결과다.

Hard 후보 검토는 독립 주석에서 의견이 갈렸다는 사실만으로 난례를 확정하지 않는다. 373개를 다시 살펴 284개만 남기고, 실제 난도 차이가 아니거나 플랫폼·성공/실패 비율 목표에 맞지 않는 89개는 전체 집합으로 돌려보냈다. 이 재검토에서 기존 SUCCESS/FAIL이 잘못된 18개 라벨도 고쳐, challenge set의 어려움이 단순한 주석 오류에서 오지 않도록 했다.

3.5 하나의 골드 집합을 읽는 세 가지 benchmark view

전체 OSReward는 네 플랫폼의 1,019개 궤적으로 구성되며 SUCCESS 440개, FAIL 579개로 각각 약 43%와 57%다. 일상적인 작업부터 전문 workflow, GUI-only부터 GUI+CLI, 열두 단계 안팎의 비교적 짧은 실행부터 100단계 실행까지 포함한다. 실패 궤적은 성공 궤적보다 뚜렷하게 길고, 실패 중 86%에는 reasoning-and-planning 오류가 태그되어 있어 장기 기록에서의 검증 부담을 드러낸다.

OSReward-Hard는 전체 안에서 284개를 고른 challenge subset이며 대체로 인간 주석자가 처음에 갈린 궤적에서 출발한다. 성공처럼 읽히지만 실제로 실패한 실행이나, 복잡한 경로로 성공해 사람과 모델의 판단이 갈리는 실행을 별도의 senior review로 다시 확인한다. 구성은 SUCCESS 약 30%, FAIL 약 70%로 실패 비중을 의도적으로 높여 false success에 쉽게 속는 judge의 오류를 진단하도록 설계했다.

OSReward-Multi는 binary verdict를 대체하지 않고 성공한 440개 궤적의 수행 품질을 추가로 평가한다. alignment는 행동이 사용자 의도와 제약을 벗어나지 않았는지, efficiency는 목표에 이르는 경로가 불필요한 탐색과 반복 없이 간결했는지를 각각 $0$, $0.5$, $1$ rubric으로 본다. 실패 궤적에는 두 점수를 부여하지 않으며, 공개 alignment 축에서는 안전 문제로 분리된 $0$ 사례 하나를 제거해 439개가 남는다.

그림 3. 전체 OSReward의 결과·플랫폼·길이 구성과 중첩된 Hard 및 Multi 관점

최종 골드 집합은 1,019개이며 SUCCESS 440개와 FAIL 579개로 나뉘고, 네 플랫폼과 GUI-only·GUI+CLI 실행을 함께 담는다. 그 안의 Hard 284개는 약 30 대 70의 성공·실패 구성으로 어려운 실패 판정을 강조한다. Multi는 성공 궤적을 대상으로 binary 완료 여부 너머의 의도 정렬과 실행 효율을 사람이 등급화한 중첩 관점이다. 세 view는 전체·난례·성공 품질로 겹쳐 있으므로, Full 정확도 하나가 Hard의 실패 탐지와 Multi의 등급화 능력을 대신하지 않는다.

표 3. OSReward의 세 benchmark view와 human label 구성

View	대상 수	라벨 구성	역할
OSReward	1,019	SUCCESS 440(43%), FAIL 579(57%)	플랫폼·과업 폭을 담은 전체 집합
OSReward-Hard	284	SUCCESS 약 30%, FAIL 약 70%	재검증된 난례 진단
OSReward-Multi	성공 궤적 440	alignment·efficiency $0/0.5/1$	성공 실행의 품질 세분화
공개 alignment	439	$0.5$: 59, $1.0$: 380	$0$ 안전 우려 사례 1개 제거

alignment에서 $1$은 모든 행동이 과업에 직접 기여하고 불필요한 사용자 상태 변경이 없는 경우이며, $0.5$는 되돌렸거나 영향이 미미한 한두 번의 이탈을 허용한다. 실제로 지속되는 의도 위반은 과업을 완료했어도 $0$이며, 논문은 유일한 $0$ 실행을 safety concern으로 분리해 공개 축에서 제거했다. 빈 공간 클릭이나 중복 스크롤처럼 상태를 바꾸지 않는 탐색은 alignment 대신 efficiency에서 감점한다.

efficiency의 $1$은 뚜렷한 단축키와 검색 기능을 사용하고 불필요한 창 전환이 없는 준전문가 경로다. $0.5$는 잘못된 메뉴를 잠깐 열거나 짧은 스크롤을 여러 번 하는 정도의 가벼운 시행착오를, $0$은 반복 행동과 긴 우회가 실행을 지배하는 경우를 뜻한다. 두 축은 클래스 불균형이 평균을 부풀리지 않도록 이후 평가에서 macro-recall로 보고된다.

3.6 실패 taxonomy와 공개 데이터의 품질 경계

FAIL 궤적에는 원인을 복수 선택할 수 있는 taxonomy가 붙는다. reasoning-and-planning은 잘못된 과업 분해, 도메인 지식 부족, 조기 종료, 행동 loop를 포함하고, action error는 올바른 계획을 부정확한 좌표·키·문법으로 실행한 경우다. perception error는 로딩 상태나 팝업, 화면 문자를 잘못 읽는 문제이며, memory error는 긴 이력에서 이미 얻은 정보를 잊거나 갱신하지 못하는 문제다.

에이전트 책임 밖의 외부 요인이나 비결정적 시스템 상태는 others로 따로 기록되며 네 가지 의미 오류 비율에서는 제외된다. 하나의 긴 실행에는 여러 오류가 누적될 수 있으므로 failure share는 상호 배타적인 분포가 아닌 multi-label 통계다. 마지막으로 공개되는 모든 궤적은 라이브 웹사이트와 로그인 화면을 포함할 가능성을 고려해 인간 주석 단계에서 개인식별정보를 검사했고, 그러한 정보가 확인된 항목은 릴리스에 포함하지 않았다.

4. 실험 설정: 데이터셋·구현·베이스라인 — 같은 증거와 판정 규칙으로 27개 VLM judge를 겨룬다

4.1 데이터셋 구성: 하나의 human-gold를 세 가지 난도로 읽는다

OSReward의 모수는 웹·모바일·Ubuntu·Windows에서 수집한 1,019개 trajectory이며, 정답 구성은 SUCCESS 440개와 FAIL 579개다. 모든 trajectory는 세 명이 독립 판정하고, 의견이 갈린 항목은 두 명의 senior reviewer가 함께 meta-review하여 최종 gold를 정했다. 1,128개 주석 대상 중 잔여 품질 문제가 있는 109개를 버렸고, 주석·재검토·Hard 재검증에는 약 800 human-hour가 들었다.

아래 표는 서로 다른 새 데이터셋 세 개라기보다 동일 gold의 중첩된 세 view를 비교한다. Full은 폭넓은 평균 성능, Hard는 deceptive failure에 대한 진단력, Multi는 성공 이후의 품질 등급화를 각각 겨냥한다. 따라서 한 judge의 binary accuracy와 quality grading을 같은 종류의 지표처럼 합쳐 해석해서는 안 된다.

표 4-1. OSReward의 세 가지 평가 view

View	규모	정답 구성	gold 신호	주된 용도
OSReward Full	1,019	SUCCESS 440 / FAIL 579	binary verdict	전체 정확도와 recall
OSReward-Hard	284	SUCCESS/FAIL 약 30/70	재검증 binary verdict	deceptive case 진단
OSReward-Multi	성공 440	alignment 439 / efficiency 440	alignment·efficiency level	성공 trajectory의 품질 평가

Full의 43/57 class mix는 한쪽 label만 내는 전략의 raw accuracy를 어느 정도 높일 수 있으므로 balanced accuracy를 함께 봐야 한다. Hard는 실패 비중을 의도적으로 높여, 완료했다는 말만 믿는 lenient judge를 더 강하게 드러낸다. Multi는 FAIL trajectory에 품질 점수를 부여하지 않으므로 binary task의 대체물이 아닌 성공 사례에만 붙는 보조 평가다.

4.2 구현 프로토콜: 마지막 다섯 화면과 전체 text history를 고정한다

각 judge는 user instruction, step별 reasoning과 action text, trajectory의 마지막 $N$개 visual state를 받고 SUCCESS 또는 FAIL과 짧은 근거를 출력한다. main setting은 $N=5$, red click marker 포함, full text history, greedy decoding이며 task별 harness·tool access·step supervision은 제공하지 않는다. OSReward-Multi에서는 judge가 SUCCESS를 출력한 경우에만 alignment와 efficiency를 추가로 매긴다.

다음 표는 구현에서 바뀌지 않는 부분과 분석 때만 바꾸는 부분을 나눈다. 이 구분을 지켜야 model rank 변화와 prompt 조건 변화가 섞이지 않는다. 특히 rare unscored run의 처리와 recall의 분모가 다르므로, accuracy와 recall을 역산해 동일 표본 수라고 가정하면 안 된다.

표 4-2. 공통 judging protocol과 통제된 변형

항목	Main setting	분석용 변형	평가 처리
시각 evidence	마지막 5 screenshots	마지막 3, 처음 1+마지막 2, 마지막 $N=1\ldots16$	한 조건씩 변경
행동 표시	red click marker 포함	marker 제거	나머지 입력 고정
text evidence	전체 thought+action history	thought 제거, thought+action 제거	입력 ablation 12 judges
decoding	greedy	$T=0.7$ 재표집	aggregate와 label flip 동시 측정
미응답	rare unscored run	변경 없음	Acc에서는 error, recall에서는 scored trajectory만 사용

이 protocol은 judge에게 마지막 화면만 보여 주는 단순 endpoint verifier보다 많은 정보를 주지만, 전체 screenshot sequence를 주는 방식은 아니다. 대신 모든 reasoning·action text를 유지해 장기 trajectory의 실행 맥락을 전달한다. 그러므로 뒤에서 시각 입력의 영향이 작게 나온 결과는 “화면이 원래 불필요하다”는 뜻이 아닌 이 evidence 조합에서 판정 변화가 작았다는 조건부 결론이다.

4.3 비교군과 지표: accuracy의 크기와 오류의 방향을 함께 본다

reference set은 OpenAI, Anthropic, Gemini, Qwen, Doubao, Kimi, Intern 계열의 27개 VLM이며 closed frontier, closed efficient tier, large open-weight, small open VL을 아우른다. Claude-Opus-4-6과 Claude-Sonnet-4-6은 xhigh/max, 두 Qwen arm은 default/thinking, GPT-5.5는 medium/high/xhigh reasoning effort를 별도 분석한다. main leaderboard는 각 model의 공통 main setting 결과만 사용하고, OS-Shepherd-9B와 OS-Shepherd-35B-A3B는 동일 protocol의 비교 행으로 추가한다.

$\mathrm{sRec}$은 실제 성공 중 SUCCESS로 받아들인 비율이고, 낮으면 strict bias를 뜻한다. $\mathrm{fRec}$은 실제 실패 중 FAIL로 잡은 비율이고, 낮으면 lenient bias를 뜻하며 $\mathrm{BalAcc}=(\mathrm{sRec}+\mathrm{fRec})/2$다. Multi의 macro-recall은 출력 level을 그대로 쓸 때의 class-balanced 성능이고, AUC는 threshold와 무관한 pairwise ranking accuracy이며 constant level judge는 둘 다 50.0을 얻는다.

5. 주요 실험 결과: 27개 judge와 OS-Shepherd 비교 — 90% 천장 아래에서 드러난 격차

5.1 Main leaderboard: frontier도 90% 정확도를 넘지 못한다

Full accuracy 1위는 Claude-Opus-4-8의 89.7이고 GPT-5.5와 Claude-Opus-4-6이 각각 89.5다. 그러나 balanced accuracy 1위는 Claude-Opus-4-6의 90.2이고, Claude-Opus-4-8은 90.0, GPT-5.5는 89.8이어서 metric을 바꾸면 선두가 바뀐다. open-weight reference 최고 Full accuracy는 Kimi-K2.5의 85.9이며 Qwen3.5-397B-A17B가 85.8로 뒤따른다.

다음 leaderboard는 단일 승자를 확정하기보다 top tier와 긴 저성능 tail을 보여 준다. Full의 상위 세 model 차이는 매우 작지만 Hard에서는 failure recall 유지 여부가 model을 크게 갈라놓는다. OS-Shepherd 행은 reference 27개와 같은 입력·prompt·decoding으로 측정했으므로 직접 비교할 수 있다.

표 5-1. 27개 reference judge와 OS-Shepherd의 OSReward / OSReward-Hard 결과(%)

Judge	Access	OSReward				OSReward-Hard
		Acc	sRec	fRec	BalAcc	Acc	sRec	fRec	BalAcc
Claude-Opus-4-8	closed	89.7	91.1	88.9	90.0	69.7	69.8	69.7	69.7
GPT-5.5	closed	89.5	91.8	87.8	89.8	67.3	66.3	67.7	67.0
Claude-Opus-4-6	closed	89.5	92.7	87.7	90.2	67.3	72.1	65.2	68.6
Gemini-3.1-Pro	closed	87.9	90.2	86.2	88.2	61.6	61.6	61.6	61.6
Gemini-3.5-Flash	closed	87.8	95.7	81.8	88.8	59.5	81.4	50.0	65.7
Claude-Sonnet-4-6	closed	87.7	97.5	80.3	88.9	59.2	90.7	45.5	68.1
GPT-5	closed	87.4	86.8	87.9	87.4	58.1	43.0	64.6	53.8
GPT-5.4	closed	87.1	87.3	87.0	87.1	63.0	62.8	63.1	63.0
Gemini-3-Flash	closed	87.0	96.6	79.8	88.2	57.0	86.0	44.4	65.2
GPT-5-mini	closed	86.1	93.8	80.2	87.0	56.3	79.1	46.5	62.8
Kimi-K2.5	open weights	85.9	95.5	79.2	87.3	54.8	83.7	42.1	62.9
Qwen3.5-397B-A17B	open weights	85.8	95.2	78.6	86.9	58.5	91.9	43.9	67.9
GPT-5.4-mini	closed	85.2	82.5	87.2	84.9	58.1	48.2	62.4	55.3
Claude-Haiku-4-5	closed	84.5	80.9	87.2	84.0	59.5	47.7	64.6	56.2
GPT-5.2	closed	83.9	73.0	92.2	82.6	63.0	30.2	77.3	53.8
Gemini-2.5-Flash	closed	83.3	95.5	74.0	84.8	48.9	90.7	30.8	60.8
Doubao-2.0-Lite	closed	83.3	98.5	72.1	85.3	45.5	96.1	24.3	60.2
GPT-5-nano	closed	82.3	97.0	71.1	84.1	45.4	95.3	23.7	59.5
Intern-S1-Pro	open weights	82.3	92.3	74.7	83.5	43.7	70.9	31.8	51.4
Qwen3.5-35B-A3B	open weights	82.2	92.4	74.5	83.5	51.1	83.7	36.9	60.3
Qwen3.5-27B	open weights	82.0	97.4	70.5	84.0	44.2	92.9	23.2	58.0
GPT-4o	closed	81.0	96.8	69.0	82.9	39.4	90.7	17.2	53.9
Intern-S2-Preview	open weights	80.6	98.4	66.9	82.7	40.3	94.2	16.8	55.5
Qwen3.5-122B-A10B	open weights	79.6	96.8	66.4	81.6	39.4	89.5	17.7	53.6
Qwen3-VL-8B	open weights	77.1	99.8	59.9	79.8	36.2	100.0	8.2	54.1
Qwen3-VL-235B	open weights	74.0	99.1	54.9	77.0	31.4	97.7	2.5	50.1
Qwen3-VL-30B	open weights	69.4	99.8	46.3	73.0	31.1	98.8	1.5	50.2
OS-Shepherd-9B	open weights + data	86.1	86.6	86.0	86.3	60.2	66.3	57.6	61.9
OS-Shepherd-35B-A3B	open weights + data	85.6	85.0	86.2	85.6	62.7	68.6	60.1	64.3

closed model의 우위는 분명하지만 open-weight 전체가 한 덩어리로 뒤처진다고 보는 것도 부정확하다. 큰 open judge는 선두와 수 포인트 안쪽까지 접근하고, 평균 격차는 작은 open VL model의 긴 tail에 크게 좌우된다. 더 중요한 미해결점은 frontier조차 training reward의 실무 기준으로 흔히 기대하는 90% binary accuracy를 넘지 못했다는 사실이다.

5.2 Leniency bias: 성공을 잘 찾는 대신 실패를 놓친다

각 점을 $(\mathrm{fRec},\mathrm{sRec})$에 놓으면 같은 accuracy 뒤에 숨은 operating point가 드러난다. 큰 cluster는 성공 recall은 높지만 실패 recall이 낮아 실패 trajectory까지 통과시키는 lenient 영역에 모인다. GPT-5.2와 Claude-Haiku-4-5 같은 더 strict한 예외는 실패를 더 잡는 대신 실제 성공을 거부한다.

그림 4. Full과 Hard의 strict–lenient plane

가로축은 실제 실패를 잡는 $\mathrm{fRec}$, 세로축은 실제 성공을 받아들이는 $\mathrm{sRec}$이며 대각선은 두 recall이 같은 지점이다. Full에서 다수 judge가 높은 sRec·낮은 fRec의 lenient 쪽에 놓이고, Hard에서는 그 간격이 더 커진다. Hard의 fRec 범위는 거의 0%에서 77%까지 벌어지며 Claude-Opus-4-8과 GPT-5.5만 약 70%의 두 recall을 함께 유지한다.

5.3 Error composition: incomplete task의 과잉 수용이 공통 실패다

논문은 모든 오판을 over-accept와 over-reject로 나누고, 각각 task incomplete·wrong action·error suppressed와 strict on path·strict on deviation·ambiguous completion의 세 유형으로 세분했다. strong VLM labeler가 1차 분류하고 사람이 다시 확인했으며, blocked rule 관련 잔여 0.6%는 error-composition 그림에서 제외했다. 이 taxonomy는 오답 수보다 오답이 어느 방향으로 발생했는지를 추적한다.

오류가 model family마다 제각각이라면 더 다양한 ensemble이 자연스러운 해결책이 된다. 그러나 모든 family에서 같은 유형이 우세하면 vote는 동일한 blind spot을 반복할 가능성이 높다. 아래 분포는 CUA judge의 주된 문제를 일반 reasoning 부족보다 “완료를 실제 화면에서 검증하지 않는 것”으로 좁힌다.

그림 5. 대표 7개 judge의 세부 오류 구성

대표 7개 judge 모두에서 실제로 끝나지 않은 task를 성공으로 받는 task-incomplete over-accept가 가장 큰 오류다. pooled error의 약 3분의 2를 이 한 유형이 차지하고, 어느 judge에서도 전체 오판의 48% 아래로 내려가지 않는다. 전체 over-accept는 over-reject의 약 3배이며, strongest judge만 보아도 그 비율은 약 2배다. wrong action, error suppressed, strict-on-path 같은 나머지 유형은 모델별 비중이 달라도 task-incomplete가 1순위라는 공통 패턴을 뒤집지 못한다.

5.4 OSReward-Hard: 평균 90%의 외관이 실패 중심 조건에서 무너진다

Hard는 284개이며 SUCCESS/FAIL 비율이 약 30/70인 challenge subset이다. 모든 reference judge의 Full 대비 accuracy가 20–43 percentage point 떨어지고, 최고 Claude-Opus-4-8도 69.7, judge 평균은 52에 그친다. always-FAIL predictor는 이 class mix에서 raw accuracy 약 70을 얻지만 balanced accuracy는 50이므로 Hard에서는 recall 분해가 특히 중요하다.

그림 6. Hard의 platform·failure type별 평균 정확도

막대는 OSReward-Hard에서 27개 judge의 평균 binary accuracy를 platform과 실패 유형별로 나눈 값이다. platform 중 Windows가 가장 어렵고 mobile이 가장 쉬우며, 실패 유형에서는 화면 읽기에 직접 의존하는 perception과 action error가 planning-and-reasoning error보다 더 잡기 어렵다. failure type은 multi-label이므로 유형별 count의 합은 실패 trajectory 수보다 크다.

5.5 OSReward-Multi: 순위화보다 출력 level의 calibration이 더 약하다

Multi는 성공 440개에 대해 alignment와 efficiency를 평가하며, alignment는 439개만 유효하다. judge가 positive trajectory를 FAIL로 판정하면 두 품질 축을 모두 잃은 것으로 처리된다. Multi와 AUC는 두 축의 unweighted mean이고, AUC의 tie는 0.5로 계산한다.

아래 표의 macro-recall은 지금 나온 level을 reward로 바로 쓸 수 있는지를, AUC는 threshold를 다시 맞추면 상대 순서를 구분할 잠재력이 있는지를 묻는다. 두 값의 차이가 크면 perception이 전혀 없다고 보기보다 score threshold가 치우쳤다고 볼 수 있다. 이 차이를 binary accuracy 하락과 구별해야 fine-grained reward의 병목을 정확히 찾을 수 있다.

표 5-2. OSReward-Multi 결과(%, AUC 내림차순)

Judge	Align macro-recall	Effic macro-recall	Multi macro-recall	AUC
GPT-5.5	58.7	68.2	63.5	66.7
Claude-Opus-4-8	52.9	68.7	60.8	65.6
Claude-Sonnet-4-6	53.2	62.6	57.9	61.9
Gemini-3.5-Flash	47.6	71.4	59.5	60.8
OS-Shepherd-35B-A3B	47.7	65.8	56.8	60.7
OS-Shepherd-9B	44.1	54.0	49.0	58.5
Gemini-3-Flash	50.6	61.5	56.0	55.8

가장 좋은 GPT-5.5도 Multi macro-recall이 low-sixties에 머물러 Full binary 판정보다 품질 등급화가 훨씬 어렵다. 대체로 AUC가 macro-recall보다 높으므로 level 사이의 상대적 구분은 있으나 출력 threshold가 맞지 않는다. 특히 alignment는 judge가 거의 모든 run에 최고점을 주는 경향이 강하고, wasted step이 text history에 드러나는 efficiency보다 약하다.

5.6 OS-Shepherd 비교: 작은 open judge가 lenient base의 operating point를 옮긴다

OS-Shepherd-9B는 Qwen3.5-9B, OS-Shepherd-35B-A3B는 Qwen3.5-35B-A3B에서 시작하고 같은 corpus와 SFT+RL recipe를 쓴다. 9B의 Full Acc는 76.7에서 86.1로 9.4 point, Hard Acc는 39.4에서 60.2로 20.8 point 상승한다. 35B-A3B의 Full Acc는 82.2에서 85.6으로 3.4 point, Hard Acc는 51.1에서 62.7로 11.6 point 상승한다.

다음 표에서 핵심은 accuracy 상승과 함께 sRec와 fRec가 서로 가까워지는 방향이다. untuned base는 거의 모든 것을 SUCCESS로 받아 sRec가 높고 fRec가 낮지만, 학습 모델은 실패를 잡으면서도 균형선을 유지한다. 이는 크기 증가만으로는 얻기 어려운 operating-point 이동이 corpus와 training recipe에서 왔음을 시사한다.

표 5-3. OS-Shepherd와 untuned base의 성능(%)

Model	OSReward				OSReward-Hard
	Acc	sRec	fRec	BalAcc	Acc	sRec	fRec	BalAcc
Qwen3.5-9B base	76.7	98.9	59.9	79.4	39.4	97.7	14.1	55.9
OS-Shepherd-9B	86.1	86.6	86.0	86.3	60.2	66.3	57.6	61.9
Qwen3.5-35B-A3B base	82.2	92.4	74.5	83.5	51.1	83.7	36.9	60.3
OS-Shepherd-35B-A3B	85.6	85.0	86.2	85.6	62.7	68.6	60.1	64.3

9B는 Hard fRec를 크게 회복해 cheap lenient field가 놓치는 false success를 실제로 거부한다. 35B-A3B는 9B보다 Hard balanced accuracy가 2.4 point 높지만 Full accuracy는 오히려 0.5 point 낮아, 네 배의 parameter가 일관된 큰 이득을 주지는 않는다. 두 model의 유사한 위치는 이 결과가 단순 scale보다 failure-rich supervision의 효과라는 해석을 지지한다.

6. 추가 분석 및 Ablation Study: 화면보다 text history가 판정을 더 크게 움직인다

6.1 Input ablation: visual tweak는 작고 text 제거는 크다

input ablation은 roster 안의 12개 judge를 다시 실행해 한 input component씩 제거했으며 heatmap에는 가독성을 위해 Intern-S1-Pro를 뺀 11개만 표시했다. 마지막 5장을 3장으로 줄이거나 처음 1장+마지막 2장으로 바꿀 때 accuracy 변화는 0.5 point 미만이고 click marker 제거도 성능을 해치지 않았다. 하지만 이 visual setting들도 개별 verdict의 5–7%를 main setting과 다르게 뒤집었다.

그림 7. Main setting 대비 model별 input ablation

heatmap은 각 setting과 judge 조합의 main-setting 대비 binary accuracy 변화량을 표시한다. thought와 action text를 함께 제거하면 평균 7.2 point 하락하고 verdict의 22.7%가 뒤집히며, thought만 빼고 action을 남기면 하락은 1.8 point, flip은 11.6%다. visual 구성 변화는 0.5 point 미만이고 개별 flip은 5–7%여서 text 제거와 뚜렷이 구분된다.

다음 표는 논문이 직접 보고한 평균 변화와 flip을 분리해 정리한다. 범위나 부등호로 보고된 visual 결과를 임의의 단일 숫자로 바꾸지 않았다. trailing-frame sweep처럼 flip이 별도로 제시되지 않은 조건도 미보고로 남겨 precision을 과장하지 않는다.

표 6-1. Input ablation의 정확도 변화와 label churn

변형	정확도 효과	Main 대비 verdict flip	source가 지지하는 결론
Last-5 → Last-3	변화 절댓값 0.5 pp 미만	visual 조건 공통 5–7%	aggregate 영향 작음
Last-5 → First-1 + Last-2	변화 절댓값 0.5 pp 미만	visual 조건 공통 5–7%	aggregate 영향 작음
Red click marker 제거	하락 없음	visual 조건 공통 5–7%	marker 불필요
Trailing $N=1\ldots16$ sweep	judge별 2–3 pp 범위, 추세 없음	미보고	$N=5$–$9$에서 모두 각자 최적 근처
Thought 제거, action 유지	평균 −1.8 pp	11.6%	reasoning text의 추가 신호
Thought+action text 제거	평균 −7.2 pp	22.7%	가장 큰 ablation

시각 입력의 평균 효과가 작아도 5–7% label churn은 reward dataset 구축에서 무시하기 어렵다. 다만 동일 입력을 sampling한 자체 noise와 비교하면 visual churn은 특별히 큰 현상이 아니다. 반대로 text 전체 제거의 22.7% flip은 그 noise floor를 훨씬 넘어 판정 근거가 실제로 바뀐 것으로 볼 수 있다.

6.2 Model-side ablation: 더 오래 생각하거나 투표해도 frontier는 거의 움직이지 않는다

paired thinking 실험의 gain은 weakest arm의 +2.83 point에서 strongest arm의 +0.39 point까지 model이 강해질수록 작아졌다. GPT-5.5 reasoning effort는 medium 88.99, high 89.50, xhigh 90.36으로 단조 증가하지만 폭은 작다. 동일 judge와 동일 input을 $T=0.7$로 다섯 번 재실행하면 aggregate accuracy는 안정적인 반면 개별 verdict의 6–9%가 바뀐다.

다음 값은 “thinking이 전혀 효과 없다”는 뜻보다 부족한 deliberation을 보충하는 효과가 약한 model에 집중된다는 뜻이다. 이미 강한 frontier에는 단순 compute 확대의 marginal gain이 작다. 특히 Qwen3-VL-8B의 표기 delta는 thinking arm의 약 6% rejection 때문에 전체 accuracy의 단순 뺄셈이 아닌 intersection-paired 값이다.

표 6-2. Thinking 및 reasoning-effort ablation

Model	낮은 setting Acc	높은 setting Acc	paired $\Delta$
Qwen3-VL-8B	no thinking 77.1	thinking 81.7	+2.83
Qwen3.5-397B-A17B	no thinking 85.8	thinking 86.7	+0.89
Claude-Sonnet-4-6	xhigh 87.7	max 88.5	+0.59
Claude-Opus-4-6	xhigh 89.5	max 90.0	+0.39
GPT-5.5	medium 88.99 / high 89.50	xhigh 90.36	effort sweep

약한 judge는 생각을 늘려 일부 ground를 회복하지만 top judge의 ceiling은 거의 그대로다. greedy 대신 sampling을 쓰면 평균 점수는 유지되어도 개별 reward가 흔들리므로, online RL labeler에는 deterministic decoding이 더 안전한 기본값이다. model-side knob는 신뢰성 문제를 완전히 해결하기보다 이미 있는 능력의 operating variance를 조절한다.

top judge 사이 pairwise Cohen의 $\kappa$는 약 0.71이고, family 내부 binary $\kappa$는 0.731, family 사이 값은 0.709다. top-3 majority vote는 best single judge보다 약 1 point 높지만 비용은 여러 배이며, pooled judge 중 하나라도 맞으면 정답으로 치는 oracle은 99.2%에 이른다. 즉 pool 안에는 거의 항상 정답이 있지만 단순 vote는 trajectory마다 누구를 믿어야 할지 선택하지 못한다.

6.3 OS-Shepherd-100K: agreement는 투표가 아니라 선별 장치로 쓴다

training용 raw pool은 321,631 judge instances이고 약 82K의 judged trajectory에서 agreement filter가 69,663개 unique trajectory를 남긴다. SFT에는 96,621 samples가 쓰이며 label mix는 SUCCESS 58.7%, FAIL 41.3%이고, RL에는 반복 sampling disagreement로 찾은 약 3.1K mined samples가 쓰인다. 전체 corpus는 335K개가 넘는 distinct screenshot을 포함하고 trajectory length median은 12 step, p90은 25, 최대는 131이다.

그림 8. Trajectory 수집에서 agreement-filtered training set까지

pipeline은 self-collected와 OpenCUA·OpenMobile·ScaleCUA 등의 open-source trajectory를 strong VLM ensemble로 판정한 뒤 high-agreement 항목만 유지한다. 321,631 judge instances가 약 82K judged trajectory를 덮고, filter는 약 85%인 69,663 unique trajectory를 남겨 96,621 SFT samples로 만든다. 각 sample은 verdict와 함께 label과 모순되지 않는 judge reasoning도 포함한다.

아래 platform 표는 retained sample이 아닌 filtering 전 judge-instance pool의 coverage를 나타낸다. 따라서 platform share를 곧바로 SFT sample 비율로 읽으면 안 된다. 실제 retained sample은 desktop 50.5%, web 44.2%, mobile 5.4%로 별도 집계된다.

표 6-3. OS-Shepherd judge-instance pool의 platform 구성

Platform	Instances	Share
Web	119,469	37%
Windows	62,053	19%
macOS	45,028	14%
Ubuntu (GUI only)	34,355	11%
Ubuntu (GUI + CLI)	29,785	9%
Mobile	30,941	10%
Total	321,631	100%

coverage는 web을 포함해 Windows·macOS·Ubuntu·mobile을 포함해 한 agent style이나 platform shortcut에 과적합할 위험을 줄인다. Ubuntu data의 약 46%는 GUI action과 command-line step을 섞어 향후 hybrid workflow도 포함한다. macOS portion은 reused OpenCUA에서만 오며 OSReward benchmark 자체에는 macOS가 없다는 provenance 차이는 유지해야 한다.

SFT는 agreement-filtered 96.6K samples를 사용하고 세 epoch를 실행하되 성능이 plateau한 one-epoch checkpoint를 보존한다. RL은 2.9K train과 0.2K validation, batch 16, learning rate $1\mathrm{e}{-6}$, example당 8 rollout, $T=1.0$, top-$p=1.0$, 약 150 step의 단일 GRPO pass다. prompt cap은 24,576 token, response cap은 512이며 vision tower는 freeze하고 32대 NVIDIA H200에서 language backbone만 갱신한다.

6.4 Cost analysis: 신뢰성은 살 수 있지만 training call volume에는 비싸다

아래 비교는 Full에서 비슷한 accuracy tier를 형성한 model들이 Hard에서는 얼마나 갈라지는지 보여 준다. 값싼 model을 고를 때 Full의 소폭 차이만 보면 실제 false-success 대응력의 손실을 과소평가한다. self-hosted model의 금액은 실제 청구액이 아닌 동일 workload를 API 가격처럼 환산한 값이라는 점도 구분해야 한다.

표 6-4. Full-set 판정 비용과 Full / Hard accuracy

Judge	Weights	Cost ($)	Full Acc	Hard Acc
Claude-Opus-4-8	closed	86.04	89.7	69.7
GPT-5.5	closed	45.44	89.5	67.3
Kimi-K2.5	open	20.37	85.9	54.8
Qwen3.5-397B-A17B	open	7.96	85.8	58.5
GPT-5.4-mini	closed	6.20	85.2	58.1
GPT-5-mini	closed	2.17	86.1	56.3
Gemini-3-Flash	closed	2.02	87.0	57.0
OS-Shepherd-9B	open	1.36	86.1	60.2
Qwen3.5-9B base	open	1.36	76.7	39.4

OS-Shepherd-9B는 같은 base와 같은 추정 비용에서 Hard accuracy를 크게 높여, 이득이 더 비싼 inference보다 학습에서 왔음을 보여 준다. Full accuracy만 보면 더 싼 tier로 내려가는 trade-off가 완만하지만 Hard에서는 affordable general judge가 빠르게 무너진다. 따라서 Pareto frontier는 비용과 Full 성능보다 비용과 Hard failure detection으로 그릴 때 reward model의 실용성을 더 잘 드러낸다.

그림 9. 비용–Hard accuracy 평면의 OS-Shepherd

Hard 비용–정확도 평면에서 Claude-Opus-4-8은 69.7%를 위해 full set당 $86.04, GPT-5.5는 67.3%를 위해 $45.44가 든다. OS-Shepherd-9B는 $1.36에서 60.2%를 기록해 같은 가격대 general judge보다 Hard에 강하고 frontier 비용 대비 약 30–60배 낮다. open self-hosting에서는 $1.36도 API-equivalent이며 실제 marginal cost는 보유 GPU time이다.

200 updates, batch 16, update당 16 rollouts인 modest online RL도 $200\times16\times16=51{,}200$ judge calls를 만든다. OSReward 평균 trajectory cost를 적용하면 Claude-Opus-4-8은 약 $4,000, GPT-5.5는 약 $2,300, OS-Shepherd-9B는 약 $68이다. 한 번의 run에서 생긴 30–60배 차이는 hyperparameter 탐색과 반복 실험 횟수만큼 누적된다.

이 비용 계보는 benchmark 한 번의 청구액과 학습 단계의 호출량을 분리해서 읽어야 한다. 논문이 제시한 51,200회 예시는 modest online RL 한 설정만 계산한 것이며, 실제 개발에서는 checkpoint 비교, prompt 변경, 실패 재평가가 반복되어 총 호출량이 더 커질 수 있다. 반면 9B 공개 모델의 1.36달러는 2026년 5월 시장 요율을 적용한 API-equivalent 추정치이므로, 자체 호스팅 환경에서는 GPU 점유시간과 batch 처리율을 별도로 측정해야 한다. 따라서 운영 의사결정은 단일 accuracy당 가격보다 Hard failure recall, 동일 궤적의 반복 판정 안정성, 사람이 다시 볼 표본 수를 함께 예산화하는 방식이 적절하다.

6.5 Held-out 분석: 학습된 failure-catching은 세 외부 benchmark로 이동한다

논문은 동일 judge를 AndroidWorld, WebArena, OSWorld의 human-written verifier와 비교하고 약 90% agreement를 verifier 대체 가능성의 working bar로 둔다. best judge는 mobile에서 그 기준에 접근하고 web에서는 약 6 point 안쪽까지 오지만 desktop에서는 크게 못 미치며, 이 platform 순서는 모든 judge에서 같다. 다만 verifier도 false positive와 false negative를 가지므로 여기서 측정한 값은 ground-truth accuracy와 구분되는 verifier agreement다.

OSWorld에서 pooled eight-judge error의 88%는 false positive다. trajectory가 16 step을 넘으면 accuracy는 0.76에서 0.57로 내려가고 false-positive rate는 0.20에서 0.37로 올라간다. 마지막 다섯 screenshot만으로 긴 task의 실제 완료를 확인하기 어려워지는 현상이 Full과 Hard에서 관찰한 leniency를 외부 desktop data에서도 재현한다.

OS-Shepherd 두 model은 OSWorld와 AndroidWorld에서 best open judge이고 WebArena에서는 frontier cluster에 위치한다. 세 benchmark 모두에서 9B보다 약 44배 큰 Qwen3.5-397B-A17B까지 포함한 general open model을 앞선다는 결과는 failure-focused recipe의 size efficiency를 뒷받침한다. benchmark task나 trajectory는 training 또는 OSReward에 들어가지 않았지만, verifier 자체의 불완전성 때문에 이 결과를 절대 정확도로 확대해서는 안 된다.

7. 한계점 및 향후 연구 방향 — 벤치마크 합의에서 배포 가능한 검증으로

7.1 외부 검증기와의 합의는 정답 정확도가 아니다

OSReward의 자체 평가에는 다단계 사람이 확정한 1,019개 궤적이 쓰이지만, AndroidWorld·WebArena·OSWorld로 나간 일반화 실험의 기준은 각 벤치마크에 이미 들어 있는 사람이 작성한 검증기다. 논문도 이 검증기에 거짓 양성과 거짓 음성이 있으며 이를 교정하지 않았다고 명시한다. 따라서 외부 결과는 모델과 검증기의 합의율이지, 독립적으로 재판정한 실제 정확도가 아니다. 저자들이 검증기 대체 가능성의 실용적 기준으로 약 90% 합의를 놓은 것은 이해할 수 있으나, 그 선 아래의 차이가 심판 모델의 오류인지 기존 검증기의 오류인지 현재 자료만으로는 분해되지 않는다.

이 구분은 데스크톱에서 특히 중요하다. 모든 심판이 모바일에서는 기준선에 가까워지고, 웹에서는 약 6%p 모자라며, 데스크톱에서는 크게 떨어지는 동일한 순서를 보였다. 이는 모델 계열보다 플랫폼의 관측 가능성과 작업 구조가 결과를 좌우한다는 신호다. 다만 기존 검증기도 불완전하므로 “데스크톱 심판이 그만큼 틀린다”라고 곧바로 해석해서는 안 된다. 향후 연구는 세 외부 벤치마크에서 불일치 사례를 별도 전문가가 원환경 상태, 산출 파일, 이벤트 로그까지 보고 재판정한 adjudicated gold를 만들어야 한다. 그러면 심판 오류, 태스크 명세 오류, 검증기 오류를 각각 추정하고 플랫폼별 보정값도 제시할 수 있다.

7.2 긴 데스크톱 작업에서는 판단 능력과 관측 손실이 뒤섞인다

부록의 OSWorld 분석은 심판 오류의 88%가 실패를 성공으로 받는 거짓 양성이며, 검증하기 어려운 애플리케이션 영역과 긴 궤적에 몰린다고 보고한다. 16단계를 넘으면 정확도는 0.76에서 0.57로 내려가고 거짓 양성률은 0.20에서 0.37로 오른다. 논문이 제시하는 직접 원인은 마지막 다섯 장의 스크린샷만으로 긴 작업의 완료를 확인하기 어렵다는 점이다. 스크린샷 수를 1~16장으로 바꾼 추가 실험에서도 일관된 상승 추세가 없고, 각 모델은 2~3%p 범위에서 흔들렸다. 즉 고정 개수의 끝 화면을 단순히 더 넣는 방식은 상태 전이에서 사라진 증거, 보이지 않는 파일 내용, 애플리케이션 내부 상태를 복원하지 못한다.

이 한계는 OSReward가 발견한 “화면보다 에이전트의 텍스트 서사를 따른다”는 편향과 결합한다. 최종 상태를 입증할 시각 증거가 부족할수록 심판은 에이전트가 남긴 완료 선언에 기대기 쉽고, 그 결과 leniency bias가 커진다. 따라서 후속 시스템은 모든 프레임을 무차별 입력하기보다 태스크의 성공 조건을 원자적 주장으로 나누고, 주장마다 전후 스크린샷·접근성 트리·파일 해시·애플리케이션 이벤트·CLI 출력 중 필요한 증거를 검색해야 한다. 증거가 없을 때는 성공/실패를 억지로 고르지 않고 “관측 불충분”으로 보류한 뒤, 원환경 검증이나 사람 검토로 넘기는 선택적 예측도 함께 평가해야 한다.

7.3 범위, 난도 구성, 다축 라벨이 대표성을 제한한다

데이터는 웹·모바일·Ubuntu·Windows의 네 플랫폼, 여러 실제 애플리케이션, GUI와 GUI+CLI 흐름, 최대 100단계까지 넓게 설계됐다. 그럼에도 외부 일반화 근거는 AndroidWorld·WebArena·OSWorld 세 벤치마크에 한정된다. 이들의 태스크와 궤적은 학습에도 OSReward에도 들어가지 않았다는 점은 강한 장점이지만, 결과가 동적 라이브 웹, 새로운 운영체제 버전, 인증·권한 전환, 원격 데스크톱, 보조공학 UI 같은 배포 조건까지 자동으로 확장되지는 않는다. 특히 “플랫폼 주도” 결과가 확인된 만큼, 새로운 플랫폼을 단순한 추가 표본으로 보지 말고 별도 분포로 다뤄야 한다.

OSReward-Hard 역시 평균 배포 난도를 대표하는 표본이 아닌, 주로 최초 주석자들이 의견을 달리한 후보를 메타 리뷰어가 다시 확인해 만든 진단용 집합이다. 전체 집합의 높은 수치와 Hard의 70% 미만 최고 성능 사이 간극은 실제 약점을 드러내지만, Hard 점수를 전체 트래픽 오류율로 환산할 수는 없다. 반대로 Hard에 반복 최적화하면 현재 심판들이 공통으로 어려워하는 유형에 과적합할 위험도 있다. 출시 시점과 UI 버전을 분리한 시간축 홀드아웃, 신규 애플리케이션 홀드아웃, 자연 발생률을 보존한 운영 표본, 의도적으로 균형을 맞춘 스트레스 표본을 함께 보고해야 한다.

다축 평가는 더 좁다. OSReward-Multi는 성공 궤적 440개에만 정렬성 수준 0.5/1.0과 효율성 수준 0.5 이하/1.0을 붙이며, 심판이 먼저 성공이라고 해야 두 축을 출력한다. 따라서 실패 궤적의 불필요한 행동, 부분 완료의 효율, 심각도가 다른 범위 밖 부작용은 현재 체계에서 세밀하게 표현되지 않는다. 상수 수준만 내도 50점이 되는 설정과 AUC-매크로 재현율 차이는 순위 능력과 임계값 보정을 나누는 데 유용하지만, 실제 운영에 필요한 연속 비용·위험·복구 가능성을 충분히 담지는 못한다. 후속 데이터는 실패를 포함한 모든 궤적에 부작용의 종류와 심각도, 지연·행동 수·자원 비용, 복구 여부를 독립 축으로 라벨링할 필요가 있다.

7.4 전이 성과의 인과 해석과 운영 비용을 더 엄격히 검증해야 한다

OS-Shepherd-9B와 35B는 세 외부 벤치마크에서 과도한 성공 판정을 줄였고, 9B는 OSWorld와 AndroidWorld에서 가장 좋은 공개 심판이며 WebArena에서도 전선 집단에 들었다. 특히 성공이 많은 OSWorld·AndroidWorld에서는 일반 Qwen 심판보다 실제 실패를 더 많이 잡았고, 실패가 많은 WebArena에서는 보정된 운영점을 보였다. 크기가 30B에서 397B로 커져도 일반 Qwen 계열의 관대함이 남고 동일 레시피의 9B와 35B가 가까웠다는 결과는 단순 규모보다 학습 방식의 영향을 지지한다.

그러나 외부 실험은 완성된 학습 레시피의 전이를 보여 줄 뿐, 논문도 그 결과만으로 강화학습 단계의 독립 효과를 분리하지 못한다고 선을 긋는다. 성공 인식이 일부 줄어드는 대신 실패 재현율이 늘고 균형 정확도는 대체로 평평하므로, “편향 제거”는 단일한 절대 향상보다 운영 임계점 이동으로 읽어야 한다. 다음 실험에서는 같은 SFT 체크포인트에 대해 거짓 성공 표적 RL 유무, 실패 유형별 샘플링, 라벨 생성 심판, 클래스 사전확률을 요인별로 통제하고, 플랫폼별 calibration error와 risk-coverage 곡선을 함께 보고해야 한다. 그래야 어떤 단계가 일반화를 만들었고 어느 비용의 거짓 음성을 치렀는지 알 수 있다.

현재 증거가 답하는 질문	남은 공백	우선할 후속 평가
독립 벤치마크 검증기와 얼마나 일치하는가	검증기 자체 오류와 진짜 정답	불일치 전수 재판정과 오류원 분해
거짓 성공 억제가 다른 세 벤치마크로 전이되는가	RL 단계의 독립적 인과 효과	요인 통제 ablation과 플랫폼별 calibration
현재 가격표에서 정확도-비용 전선이 어떤가	자체 호스팅의 지연, 메모리, 에너지, 유지비	동일 하드웨어 처리량과 총소유비용 측정
다섯 장 전후의 끝 화면으로 판단 가능한가	긴 작업의 중간 상태와 비시각 산출물 증거	주장별 증거 검색, 보류, 환경 조회 평가

비용 주장에도 경계가 필요하다. 공개 가중치 모델의 비용은 2026년 5월 유사 크기 모델의 시장 요율로 환산됐고, 전체 세트에서 OS-Shepherd-9B는 약 1.36달러로 계산됐다. 이는 API 비교에는 유용하지만 자체 배포의 GPU 점유, 입력 전처리, 대기시간, 실패 재시도, 모델 업데이트 비용까지 측정한 총소유비용은 아니다. 또한 온도 0.7의 5회 자기일관성 실험에서 평균 정확도는 안정적이어도 궤적별 판정 뒤집힘은 심판마다 1.5배 차이가 났다. 학습 보상으로 수백만 번 호출할 때는 평균 정확도와 함께 동일 입력 반복 안정성, 지연 분포, 보류율, 재검토 비용을 포함한 서비스 수준 지표가 필요하다.

8. 내 해석: 약점 1 + 후속 제안 1 — 심판보다 먼저 증거 경로를 설계해야 한다

8.1 약점: 관측 불완전성과 추론 실패를 하나의 오답으로 센다

운영자 관점에서 내가 꼽는 핵심 약점은 심판이 볼 수 없는 상태 때문에 난 오답과, 충분한 증거를 보고도 잘못 추론한 오답이 같은 정확도 칸에 들어간다는 점이다. 긴 OSWorld 궤적에서 마지막 다섯 화면이 완료를 입증하지 못하는데도 이진 판정을 강제하면, reward model의 능력보다 로깅 정책의 손실을 재게 된다. 위키의 Trajectory Reward Model이 궤적 전체를 보상 단위로 본다는 관점, Computer Use Agents가 강조하는 재현 가능한 행동 로그와 시각 근거 보존은 바로 이 혼동을 경고한다.

8.2 후속 제안: 증거 완결성 적응형 심판을 운영 단위로 만든다

내가 후속으로 제안하는 것은 증거 완결성 적응형 심판이다. 1단계가 성공 조건별로 필요한 증거와 현재 로그의 누락을 판정하고, 2단계가 관련 시점의 화면·접근성 트리·파일 산출물·이벤트를 동적으로 회수해 성공, 실패, 관측 불충분을 출력한다. 보류 건은 환경 검증기나 사람에게 보내고 그 비용까지 risk-coverage 곡선에 포함한다. 또한 Computer Use Agent Reliability의 repeated-run 관점에 맞춰 같은 태스크의 반복 궤적과 동일 궤적의 반복 판정을 함께 측정한다. 이렇게 하면 에이전트 실행 변동, 증거 수집 변동, 심판 판정 변동을 분리해 어느 계층을 고쳐야 하는지 운영자가 결정할 수 있다.

9. 결론 — 저비용 보상 모델의 성과와 검증 책임을 함께 읽기

OSReward의 가장 중요한 결론은 CUA를 평가하고 학습시키는 VLM 심판 자체도 별도의 검증 대상이라는 것이다. 네 플랫폼에서 수집한 1,019개 사람 확정 궤적, 주석자 불일치에서 출발한 OSReward-Hard, 성공 궤적의 정렬성과 효율을 덧붙인 OSReward-Multi는 평균 정확도 뒤에 숨은 실패 구조를 드러낸다. 27개 심판은 대체로 실패한 실행을 성공으로 받아들이며, 화면 근거보다 에이전트 텍스트 기록에 끌리고, 어려운 사례에서는 최고 모델조차 70% 아래로 내려간다. 추가 사고는 약한 모델에만 제한적으로 도움을 주고, 스크린샷 수의 단순 증가는 일관된 해결책이 되지 않았다.

OS-Shepherd는 이 진단을 학습 목표로 되돌린 실용적 결과다. 9B와 35B 공개 모델은 거짓 성공 저항성을 독립 벤치마크로 옮겼고, 9B는 전체 세트에서 86.1%, Hard에서 60.2%를 기록하며 논문 계산상 약 1.36달러의 낮은 비용 지점에 놓였다. 하지만 최전선 심판의 정확도에는 아직 못 미치며, 외부 수치는 불완전한 기존 검증기와의 합의이고, 긴 데스크톱 작업에서는 관측 부족이 계속 병목이다. 그러므로 이 연구의 적절한 도착점은 “검증이 해결됐다”는 선언보다, 공개적이고 저렴한 보상 신호를 확보한 뒤 증거 완결성, 보정, 보류와 사람 이관까지 포함하는 다음 검증 체계를 설계할 수 있게 됐다는 데 있다.

10. 요약 정리 — OSReward를 해석할 때 남겨야 할 아홉 가지 기준

• OSReward는 웹·모바일·Ubuntu·Windows에서 수집한 1,019개 사람 확정 궤적으로 CUA 심판 자체의 신뢰도를 평가한다.
• OSReward-Hard는 주석자들이 갈린 사례를 재검토한 진단 세트이므로, 전체 집합 점수와 실제 운영 오류율을 대신하지 않는다.
• 핵심 실패는 완료하지 못한 실행을 성공으로 받는 거짓 성공이며, 심판이 화면보다 에이전트의 텍스트 서사에 끌리는 현상과 연결된다.
• 외부 일반화는 AndroidWorld·WebArena·OSWorld에서 확인됐지만, 기준이 불완전한 기존 검증기이므로 수치는 정답 정확도와 구분되는 합의율이다.
• OSWorld에서 오류의 88%가 거짓 양성이었고, 16단계 이후 정확도 하락과 거짓 양성률 상승은 긴 작업의 증거 부족을 보여 준다.
• OS-Shepherd의 장점은 모델 크기 확대보다 실패 재현율을 높이는 학습된 운영점에 있으며, 9B 모델도 세 외부 벤치마크로 이 성향을 옮겼다.
• 완성 모델의 전이는 확인됐어도 강화학습 단계만의 인과 효과는 분리되지 않았으므로 통제된 ablation이 더 필요하다.
• 향후 평가는 독립 재판정 gold, 주장별 증거 회수, 관측 불충분 보류, 플랫폼별 보정, 반복 판정 안정성을 함께 측정해야 한다.
• 저비용 공개 reward model은 중요한 기반이지만, 배포 신뢰성은 모델 점수에 증거 수집·환경 검증·사람 이관 비용을 더해 판단해야 한다.