[arXiv 2607.01084] OpenAgent: 정적 도구 학습이 열린 환경에서 깨지는 이유

Can Agents Generalize to the Open World? Unveiling the Fragility of Static Training in Tool Use

논문 링크: https://arxiv.org/abs/2607.01084

Song-Lin Lv, Weiming Wu, Rui Zhu, Zi-Jian Cheng, Lan-Zhe Guo | School of Intelligence Science and Technology, Nanjing University; National Key Laboratory for Novel Software Technology, Nanjing University | ICML 2026

---

1. 서론: 정적 도구 학습은 왜 열린 환경에서 취약한가

OpenAgent 논문이 겨냥하는 질문은 단순하다. 도구 사용 에이전트가 정해진 벤치마크에서 높은 점수를 얻었을 때, 그 정책이 정말 도구의 의미와 관찰값의 역할을 이해한 것인가, 또는 학습 중 반복적으로 본 이름, 오류 형식, 호출 순서, 답안 양식을 외운 것인가. 저자들은 이 차이를 열린 세계 일반화 문제로 재정의한다. 여기서 열린 세계란 웹 API가 우연히 느리거나 네트워크가 불안정한 상황만을 뜻하지 않는다. 사용자 질의의 표현, 도구 이름과 스키마, 관찰 피드백, 과업 도메인이 학습 분포 밖으로 조금씩 이동할 때도 에이전트가 여전히 의미 기반으로 행동을 재구성해야 하는 조건을 가리킨다.

최근 도구 사용 에이전트 연구는 Supervised Fine-Tuning과 Reinforcement Learning을 통해 함수 호출 형식, 다단계 검색, 오류 복구를 빠르게 개선해 왔다. 그러나 많은 성공은 닫힌 평가 환경에서 확인된다. 훈련과 평가가 같은 도구명, 같은 인자명, 같은 피드백 관습, 같은 도메인 규칙을 공유하면 모델은 실제로는 취약한 정책을 안정적으로 보이게 만들 수 있다. OpenAgent는 이런 착시를 분해하기 위해 훈련 분포와 평가 분포 사이의 이동을 질의 Q, 행동 또는 도구 A, 관찰 O, 도메인 D 네 축으로 나누고, 각 이동이 순차 의사결정 궤적 전체에 어떤 누적 손상을 만드는지 측정한다.

Figure 1. 닫힌 설정에서의 SFT와 RL 성능

닫힌 설정 결과는 기존 기대와 잘 맞는다. 같은 도구 체계와 같은 관찰 문법이 유지되면 SFT와 RL은 모두 기본 모델보다 높은 수행을 보인다. 중요한 점은 이 그림이 논문의 결론을 약화하지 않는다는 데 있다. 저자들은 정적 학습이 무용하다고 주장하지 않고, 정적 학습의 성공이 열린 분포 이동에 대한 내성을 보장하지 않는다는 간극을 드러낸다. 따라서 이 그림은 출발선이 아니라 이후 열린 평가와 대비되는 기준선으로 읽어야 한다. 이 패턴을 기준선으로 두면 열린 환경에서의 하락이 더 잘 보인다. 닫힌 환경 학습 자체가 실패했다는 뜻보다, 학습 분포가 변하지 않는다는 가정이 깨지는 순간 무엇이 약해지는지 비교할 수 있기 때문이다.

도구 사용 에이전트는 한 번 답을 생성하는 모델보다 더 엄격한 일반화 능력을 요구한다. 에이전트는 첫 호출에서 도구를 선택하고, 반환된 관찰을 읽고, 다음 호출을 조정하며, 필요하면 실패를 선언한다. 첫 단계에서 질의의 의미를 잘못 읽거나 도구 이름을 표면적으로 매칭하면 그 결과가 대화 히스토리에 들어가고, 이후 단계의 상태 추정 자체를 오염시킨다. OpenAgent의 핵심은 이처럼 작은 외부 변화가 단일 예측 오류로 끝나지 않고, 전체 툴 체인에서 누적되는 방식을 실험적으로 관찰하는 데 있다.

논문의 문제의식은 실제 운영 환경에도 직결된다. 서비스 API는 이름이 바뀌고, 반환 필드는 추가되며, null이나 오류 코드의 의미는 문서보다 먼저 변한다. 지도, 예약, 결제, 고객지원처럼 외부 상태를 조회하는 에이전트에서는 동일한 사용자 의도를 처리하더라도 호출 가능한 도구와 관찰 포맷이 달라질 수 있다. 따라서 좋은 도구 사용 정책은 정답 궤적을 복제하는 능력에 머물 수 없다. 새 스키마를 읽고, 실패 신호를 해석하며, 풀 수 없는 요청을 거절하는 경계 판단까지 포함해야 한다.

구분	닫힌 도구 학습의 전형	OpenAgent가 묻는 열린 조건
질의	훈련에서 본 문장 구조와 동일한 정보 요구	표현, 조건, 규칙이 변해도 의미를 유지하는지
도구	고정된 함수명과 인자명에 맞춘 호출	새 이름, 새 스키마, 리다이렉션을 읽고 재매핑하는지
관찰	예상 가능한 성공 응답 위주로 후속 행동 생성	오류, null, 치명 실패, 부분 결과를 상태로 반영하는지
도메인	학습 도메인의 규칙과 엔티티에 고정	다른 업무 규칙으로 이동해도 도구 사용 원리를 전이하는지

이 표는 OpenAgent의 출발점을 압축한다. 닫힌 학습은 정해진 인터페이스에서 작동하는 숙련도를 높이지만, 운영 환경의 변화는 인터페이스 전체보다 일부 축에서 발생하는 경우가 많다. 그래서 논문은 하나의 거대한 리더보드 점수 하나보다 이동 축과 실패 위치를 세밀하게 나눈다. 에이전트가 어느 축에서 깨지는지 알아야 개선법도 데이터 증강, 보상 설계, 런타임 검증, 도구 계약 관리 중 무엇을 강화해야 하는지 판단할 수 있다.

정적 학습의 두 얼굴

SFT는 정답 궤적을 모방하므로 안정적인 호출 형식과 빠른 수렴을 제공한다. 훈련 데이터가 충분하면 도구 선택, 인자 채우기, 답안 형식 준수에서 크게 좋아진다. 문제는 이 안정성이 표면 기호에 과도하게 묶일 때 나타난다. 도구명과 관찰 문자열이 바뀌면 모델은 의미를 재해석하기보다 기존 문자열 앵커를 찾아가려 한다. 저자들이 말하는 symbolic anchoring과 open-loop trajectory overfitting이 바로 이 현상이다. 에이전트는 이전에 보던 루트를 따라가며, 중간 관찰이 그 루트를 부정해도 충분히 경로를 수정하지 못한다.

RL은 보상 신호를 통해 결과 중심의 조정을 배운다. OpenAgent의 결과에 따르면 RL은 SFT보다 의미 접지와 명시적 리다이렉션 처리에서 더 나은 면을 보인다. 관찰이 지금 호출한 도구 대신 다른 도구를 사용하라고 알려주면, RL 정책은 그 피드백을 따라 새 행동을 선택하는 경우가 많다. 그러나 RL도 만능은 아니다. 논리 규칙이 반전되거나, 애초에 풀 수 없는 조건과 치명 오류가 주어지면 경계 판단이 약해진다. 특히 sparse answer reward와 format reward가 답을 끝까지 완성하는 방향으로 작용하면, 실패를 감지하고도 그럴듯한 답을 지어내는 completion bias가 생긴다.

2. 배경 및 관련 연구: tool-use agent 평가가 놓친 분포 이동

논문에서 OpenAgent는 Tool-Use Agent in Open-World의 약칭에 가깝다. 에이전트는 사용자 질의 Q를 받고, 사용 가능한 도구 집합에서 행동 A를 고르며, 도구 호출 결과인 관찰 O를 받아 다음 상태로 넘어간다. 이 과정은 최종 답변 또는 거절에 도달할 때까지 반복된다. 도메인 D는 과업 규칙, 데이터베이스 의미, 엔티티 공간, 성공 조건을 포괄한다. 네 요소가 모두 훈련 때와 같으면 닫힌 설정이고, 하나 이상이 통제된 방식으로 바뀌면 열린 설정이 된다.

형식화에서 중요한 점은 분포 이동이 입력 한 줄의 변형으로 환원되지 않는다는 것이다. 질의 Q가 바뀌면 첫 행동 선택이 달라져야 하고, 도구 A가 바뀌면 같은 의미의 기능을 새 스키마에 맞춰 호출해야 한다. 관찰 O가 바뀌면 피드백 해석과 오류 복구가 필요하며, 도메인 D가 바뀌면 이전 도메인에서 통하던 규칙을 그대로 적용하지 말아야 한다. 네 축은 독립적으로 분석할 수 있지만 실제 궤적에서는 서로 얽힌다. 도구 이름을 잘못 읽으면 관찰도 엉뚱해지고, 그 관찰을 근거로 도메인 추론도 비뚤어진다.

Figure 2. OpenAgent의 Q, A, O, D 이동 축

그림은 열린 세계 변화를 네 축으로 분리한다. 질의 변화는 표현과 조건을 흔들고, 행동 변화는 도구 이름과 인자 구조를 흔든다. 관찰 변화는 오류와 반환값 해석을 시험하며, 도메인 변화는 규칙 전이를 요구한다. 이 분해 덕분에 OpenAgent는 단순한 난이도 증가를 넘어 어떤 종류의 이동이 정책을 무너뜨리는지 추적할 수 있다. 네 축은 실제 궤적에서 서로 증폭되므로 축별 진단이 전체 실패 해석의 기준점이 된다. 네 축은 실제 요청에서 서로 섞이지만, 평가에서는 분리되어야 원인을 찾을 수 있다. 특히 행동 A와 관찰 O의 변화는 한 번의 잘못된 호출로 끝나지 않고 다음 history에 남아 연쇄 오류를 만든다.

순차 의사결정 관점에서 보면 도구 사용 에이전트의 취약성은 더 뚜렷해진다. 일반적인 언어 모델 평가에서는 한 번의 출력이 틀리면 그 예제가 실패로 끝난다. 에이전트 평가에서는 첫 오류가 히스토리의 일부가 되어 다음 프롬프트에 다시 들어간다. 잘못된 좌표 조회, 틀린 전화번호 조회, 무시된 null 반환은 모두 이후 도구 선택의 조건이 된다. 따라서 열린 환경의 작은 perturbation은 단일 스텝의 오류율보다 더 큰 최종 성능 하락을 만들 수 있다.

축	논문에서의 의미	실패 양상	필요 능력
Q	사용자 요구의 표현, 조건, 지시 변화	키워드 매칭 실패, 조건 누락, 지시 오독	강건한 지시 이해와 조건 추적
A	도구명, 스키마, 인자 의미 변화	기존 함수명 고집, 잘못된 인자 삽입	스키마 읽기와 의미 기반 도구 선택
O	도구 반환값, 오류, null, 리다이렉션 변화	오류 무시, 실패 후 환각 답변	피드백 반영과 복구 계획
D	도메인 규칙과 엔티티 공간 변화	옛 규칙 전이, 불가능 조건 오판	규칙 재학습과 경계 인식

OpenAgent가 특히 설득력 있는 이유는 실패를 모델 크기나 데이터 규모의 추상적 부족으로만 설명하지 않는다는 점이다. 같은 Qwen2.5-7B-Instruct 기반에서 SFT와 RL을 비교하고, 같은 샌드박스 데이터베이스에서 변수를 통제하며, 각 이동 유형의 효과를 따로 본다. 이렇게 하면 특정 학습법이 어떤 오류를 줄이고 어떤 오류를 남기는지 보인다. 예를 들어 RL은 명시적 리다이렉션을 더 잘 따르지만, 논리 반전 조건에서는 여전히 큰 손실을 보인다. SFT는 포맷 안정성은 강하지만 의미 함정과 identity erasure에서 기호 앵커에 묶인다.

오픈월드 일반화는 단순 외삽이 아니다

많은 벤치마크에서 일반화는 보지 못한 질의에 대한 정확도라는 형태로 측정된다. OpenAgent는 여기에 도구 인터페이스와 관찰 채널을 포함한다. 사용자가 같은 질문을 하더라도 Name을 poi_name으로 바꾸거나, 전화번호 조회 도구가 caller_id_lookup이라는 이름으로 나타나거나, 좌표 검색이 실패하면서 다른 도구 사용을 권하면 정책은 다시 접지해야 한다. 이런 재접지는 단어 뜻만 알면 되는 문제가 아니다. 현재 히스토리에서 어떤 정보가 이미 확보되었고, 어떤 도구가 그 정보를 새 인자로 요구하며, 어떤 오류가 치명적인지 판단해야 한다.

결국 OpenAgent의 열린 세계는 에이전트가 자기 행동의 전제와 관찰의 신뢰도를 계속 갱신해야 하는 공간이다. 정적 학습은 과거 궤적의 평균적 성공 패턴을 잘 저장하지만, 그 패턴이 깨지는 순간에는 폐쇄 루프 제어가 필요하다. 논문은 이 폐쇄 루프 능력을 네 계층으로 나누어 진단한다. 지각 계층은 지시와 도구 의미를 읽는지, 상호작용 계층은 관찰 피드백에 따라 행동을 바꾸는지, 추론 계층은 규칙과 논리 구조를 재구성하는지, 내재화 계층은 풀 수 없음과 도메인 전이를 정책 내부에 흡수하는지 묻는다.

2.3 정적 벤치마크와 열린 환경 평가의 차이

기존 tool-use benchmark는 대체로 주어진 도구 설명을 읽고 정해진 answer format을 맞히는 능력을 본다. 그 자체는 중요하지만, 운영 환경에서 더 자주 발생하는 문제는 도구 표면의 비정상성이다. 같은 API가 이름만 바뀌거나, 인자 키가 version update로 달라지거나, 문서에는 남아 있지만 실제 호출에서는 deprecated error를 내는 경우가 있다. OpenAgent는 이런 변화가 단일 입력 노이즈를 넘어 에이전트-환경 loop 전체를 흔든다는 점을 전면에 둔다.

이 관점은 tool-use 연구에서 흔히 쓰이는 success rate 중심 평가를 보완한다. 성공률은 최종 답이 맞았는지 보여 주지만, 답에 도달하는 동안 모델이 어떤 실패 신호를 무시했는지, 어떤 새 도구를 탐색했는지, 불가능한 요청에서 멈출 수 있었는지는 드러내지 않는다. 그래서 논문은 TER, AES, ATCL, RR처럼 trajectory 내부의 행동을 읽는 지표를 함께 둔다. 이러한 지표 설계 덕분에 SFT의 궤적 재생과 RL의 feedback-conditioned adaptation을 같은 최종 정답률 안에 묻어 두지 않고 분리해서 볼 수 있다.

또 하나 중요한 배경은 Model Context Protocol과 function calling ecosystem의 확산이다. 도구가 많아질수록 에이전트가 사용하는 interface는 더 표준화되는 듯 보이지만, 실제로는 provider마다 schema naming, error payload, retry convention, permission boundary가 다르다. OpenAgent의 네 축 분해는 이런 현실을 단순한 API 품질 문제를 넘어 학습된 정책의 일반화 문제로 바꿔 묻는다. 즉 좋은 agent harness를 붙이기 전에도, base policy가 현재 문서와 현재 관찰을 다시 읽을 수 있어야 한다는 전제를 검증한다.

3. 방법론: OpenAgent와 네 축의 환경 변화

OpenAgent의 평가 환경은 실시간 웹 API 대신 통제된 synthetic sandbox다. 저자들은 POI와 지리 정보 도구를 중심으로 작은 세계를 만들고, 그 안에서 주소명, 전화번호, 행정구역, 좌표, 카테고리 같은 필드를 조회하도록 한다. 실제 API를 바로 쓰면 네트워크 실패, 서비스 정책 변화, 외부 DB 품질 같은 변수가 섞인다. 논문은 모델의 열린 세계 적응 능력 자체를 보려 하므로, 라이브 API 노이즈를 제거하고 perturbation의 종류와 강도를 직접 통제한다.

샌드박스의 POI 데이터베이스 필드는 Address Name, Phone Number, Adname, Coordinates, Category로 구성된다. 예시는 exotlwnk, 00000000, chaoyang, 116.413486,39.992582, C1처럼 난수화된 이름과 실제 같은 좌표를 결합한다. 또 다른 예로 cqhecbvi, 00000001, haidian, 116.318014,40.029475, C2와 rjztnhhg, 00000002, changping, 116.303367,40.160994, C2가 제시된다. 이런 난수 이름은 세계지식 암기를 배제하고 도구 관찰을 통해서만 정답을 얻도록 만드는 장치다.

Address Name	Phone Number	Adname	Coordinates	Category
exotlwnk	00000000	chaoyang	116.413486,39.992582	C1
cqhecbvi	00000001	haidian	116.318014,40.029475	C2
rjztnhhg	00000002	changping	116.303367,40.160994	C2

도구 목록도 단순하지만 연쇄성이 있다. search_map_coordinates는 이름에서 좌표를 찾고, administrativedivisionquery는 이름에서 행정구역을 찾는다. fetch_poi_category는 이름에서 카테고리를 반환하고, find_contact_at_coords는 좌표에서 전화번호를 찾는다. caller_id_lookup은 전화번호에서 이름을 역조회한다. calculate_distance_by_coords는 두 좌표의 거리를 계산하며, get_adult_cost_by_name과 get_child_cost_by_name은 이름에서 가격을 조회한다. 단일 도구만으로 끝나는 과제도 있지만, 많은 과제는 여러 도구 결과를 조합해야 한다.

Figure 3. 네 계층 진단 평가 아키텍처

평가 아키텍처는 POI 샌드박스 위에 네 계층의 진단 과제를 얹는다. 같은 기본 데이터와 도구를 쓰되, 질의 표현, 도구 스키마, 관찰 피드백, 도메인 규칙을 서로 다른 방식으로 흔든다. 그 결과 모델이 단순히 POI 문제를 잘 푸는지보다 어느 계층의 적응 능력을 갖추었는지 분리해서 확인할 수 있다. 구조가 고정되어 있어 학습법 간 비교와 perturbation 효과 분석도 깔끔해진다. 네 계층 구조는 shallow format compliance부터 solvability 판단까지 점진적으로 깊어진다. 따라서 모델이 어떤 tier까지 일반화하는지 보면 단순 tool calling 능력과 운영 안정성을 구분할 수 있다.

도구	입력	출력	역할
search_map_coordinates	Name	Coords	장소명을 좌표로 접지
administrativedivisionquery	Name	District	행정구역 조회
fetch_poi_category	Name	Category	분류 정보 확인
find_contact_at_coords	Coords	Tel	좌표 기반 연락처 조회
caller_id_lookup	Tel	Name	전화번호 역조회
calculate_distance_by_coords	Coords x2	Distance	두 지점 거리 계산
get_adult_cost_by_name	Name	Price	성인 가격 조회
get_child_cost_by_name	Name	Price	아동 가격 조회

데이터 규모는 학습 6,050개, 평가 880개다. 백본은 Qwen2.5-7B-Instruct이며, SFT는 full-parameter fine-tuning으로 수행된다. RL은 GRPO를 사용하고, 보상은 sparse answer reward와 format reward를 결합한다. RL 환경은 풍부한 설명 피드백을 제공하지 않고 기본 오류 코드만 돌려준다. 이 설정은 모델이 상세한 교사 해설을 받으며 적응하는 상황보다, 제한된 도구 반환값 속에서 행동을 조정해야 하는 현실적 압박을 반영한다.

항목	설정	해석 포인트
학습 데이터	6,050 samples	정적 궤적 학습의 기준 형성
평가 데이터	880 samples	통제된 열린 이동 진단
백본	Qwen2.5-7B-Instruct	같은 모델에서 SFT와 RL 비교
SFT	Full-parameter fine-tuning	정답 궤적 모방과 포맷 안정성
RL	GRPO, sparse answer reward, format reward	결과 중심 개선과 보상 편향 동시 관찰
환경 피드백	기본 오류 코드 중심	설명 없이 실패 신호를 해석해야 함

왜 POI 샌드박스인가

POI 과제는 도구 사용 평가에 적합한 균형을 가진다. 엔티티 조회, 좌표 변환, 거리 계산, 전화번호 역조회, 가격 조회처럼 각 도구의 의미가 명확하면서도 여러 도구를 조합해야 하는 문제가 많다. 또한 난수화된 이름과 숫자 필드를 사용하면 사전 지식으로 맞힐 수 없고, 관찰값을 실제 상태로 반영해야 한다. 도구 스키마를 바꾸거나 피드백을 바꾸는 실험도 비교적 깨끗하게 만들 수 있다.

물론 synthetic sandbox는 실제 웹의 복잡성을 모두 대변하지 않는다. 저자들도 이 한계를 완전히 숨기지 않는다. 대신 논문은 샌드박스에서 원인을 분해한 뒤, real API validation을 통해 방향성이 실제 API 조건에서도 유지되는지 확인한다. 즉 샌드박스는 최종 목적지보다 진단 현미경에 가깝다. 라이브 API의 우발성을 걷어낸 뒤 모델 정책의 구조적 취약성을 보는 장치이며, 그 취약성이 실제 환경에서 사라지는지 별도로 검증하는 흐름이다.

3.4 궤적 누적 관점에서 본 OpenAgent의 핵심

OpenAgent 형식화에서 가장 중요한 수식적 직관은 history $h_t=(q,a_1,o_1,\ldots,a_{t-1},o_{t-1})$에 있다. 도구 사용 정책 $\pi(a_t|h_t)$는 현재 질의만 보고 행동하지 않고, 이전 도구 호출과 관찰을 모두 조건으로 다음 행동을 고른다. 따라서 query shift가 첫 행동을 바꾸고, action-space shift가 오류 관찰을 만들며, observation shift가 다시 다음 행동의 조건을 바꾸는 식으로 변화가 누적된다. 이 구조 때문에 OpenAgent의 실패는 단순한 robustness drop보다 trajectory-level compounding error에 가깝다.

논문이 네 축을 Q, A, O, D로 나눈 것도 이 누적 구조를 읽기 쉽게 만들기 위해서다. Q 축은 사용자의 표현과 조건이 어떻게 흔들리는지, A 축은 도구 이름·설명·입출력 schema가 어떻게 흔들리는지, O 축은 반환값과 오류가 어떻게 정책을 수정하게 만드는지, D 축은 같은 추상 절차가 다른 업무 domain으로 옮겨갈 수 있는지를 묻는다. 네 축은 서로 독립된 checklist보다, 실제 실행에서는 한 요청 안에서 함께 섞이는 open environment profile이다.

이 구조는 수동 prompt engineering으로도 완전히 해결하기 어렵다. 프롬프트에 "도구 설명을 잘 읽어라"라고 적어도 학습된 정책이 익숙한 tool name을 먼저 붙잡으면 semantic trap에서 같은 실수가 반복된다. 반대로 "오류가 나면 대체 도구를 찾아라"라고 적어도 null return과 fatal error를 구분하지 못하면 무한 재시도나 무근거 답변이 나온다. OpenAgent는 이런 규칙을 prompt instruction 수준보다 학습 분포와 평가 task의 차이로 다룬다.

4. 실험 설정: 통제된 POI 샌드박스와 학습 프로토콜

첫 번째 계층은 Perception이다. 여기서 지각은 이미지나 센서 입력을 뜻하지 않고, 텍스트 지시와 도구 설명을 읽어 현재 과업의 의미를 파악하는 능력을 뜻한다. 세부 항목은 instruction robustness, schema adaptability, semantic grounding으로 나뉜다. semantic grounding 안에는 symbolic drift, semantic trap, identity erasure 같은 공격적 변형이 포함된다. 표면 문자열이 바뀌었을 때 모델이 여전히 기능 의미를 따라가는지, 또는 익숙한 심볼에 매달리는지를 본다.

instruction robustness는 사용자의 표현과 지시 구조가 달라져도 같은 요구를 이해하는지 점검한다. schema adaptability는 같은 기능이 다른 이름과 인자 형식으로 주어졌을 때 새 스키마를 읽고 맞춰 호출하는지 본다. semantic grounding은 더 어렵다. 도구 이름이 그럴듯하지만 실제 의미는 다르거나, 기존 이름이 사라지거나, 엔티티 식별자가 의미 없는 기호로 바뀌는 상황에서 진짜 대응 관계를 찾아야 한다. 이때 SFT는 자주 보던 이름과 궤적을 강하게 붙잡는 경향을 보인다.

Figure 4. Tier 1 지각 계층의 성능 변화와 TER

Tier 1 결과는 정적 모방의 약점을 선명하게 보여준다. SFT는 닫힌 환경에서 호출 형식을 잘 익히지만, 의미 함정과 identity erasure에서는 기존 심볼을 기준으로 행동을 고정한다. RL은 상대적으로 의미 접지가 낫지만 완전히 안정적이지는 않다. 도구 설명이 표면 기대와 충돌할 때, 두 학습법 모두 TER 증가와 성능 하락을 겪는다. 이 그림의 핵심은 accuracy delta와 TER를 함께 본다는 점이다. 정확도만 떨어진 데 더해 잘못된 도구 호출 비율이 올라가면, 모델이 의미 설명보다 익숙한 심볼에 묶였다는 해석이 가능해진다.

Tier 1 항목	변형 방식	주요 관찰
Instruction robustness	질의 표현과 조건 배열 변화	표현 변화만으로도 조건 누락과 순서 오해가 증가
Schema adaptability	도구명, 필드명, 인자 구조 변화	SFT는 기존 스키마 관성, RL은 일부 재매핑 능력
Symbolic drift	표면 기호가 기존 의미에서 미세하게 이동	심볼 앵커가 강한 정책에서 오류 누적
Semantic trap	이름은 익숙하나 실제 기능이 다른 함정	SFT의 표면 매칭 취약성이 크게 노출
Identity erasure	식별 단서 제거 또는 난수화	도구 관찰에 의존하지 않으면 추론 경로 붕괴

Tool Error Rate, 즉 TER는 N_error / N_total로 정의된다. 도구 호출 전체 중 오류 호출의 비율이다. Perception 계층에서 TER가 중요해지는 이유는 지각 오류가 대부분 잘못된 도구 호출로 드러나기 때문이다. 사용자가 원하는 값은 전화번호인데 좌표 도구를 반복해서 부르거나, 새 스키마의 인자명을 읽지 못해 빈 필드를 넣는 식이다. 이런 오류는 최종 답만 보면 단순 오답으로 보이지만, TER를 보면 실패가 도구 선택 단계에서 시작되었음을 알 수 있다.

SFT의 symbolic anchoring은 학습 데이터가 클수록 더 미묘해진다. 많은 궤적을 본 모델은 특정 도구명과 특정 관찰 포맷을 매우 잘 기억한다. 닫힌 벤치마크에서는 이것이 장점이 된다. 하지만 semantic trap처럼 이름과 기능의 결합을 의도적으로 바꾸면 그 기억이 독이 된다. 모델은 문서화된 새 설명보다 과거에 학습한 이름의 관성을 신뢰하고, 틀린 도구를 호출한 뒤에도 익숙한 답안 템플릿을 유지한다.

RL의 장점은 피드백과 결과를 통해 의미적 단서를 더 적극적으로 쓰는 데 있다. 그러나 RL도 도구 설명을 추상적으로 검증하는 완전한 메타 정책을 얻은 것은 아니다. 보상이 최종 답과 형식에 집중되면, 도구 의미가 미묘하게 바뀐 상황에서도 빠르게 답을 완성하려는 압력이 남는다. 따라서 Perception 계층의 교훈은 SFT와 RL 중 하나를 고르는 문제가 아니다. 도구 설명을 실제 행동 전제와 연결하고, 표면 기호가 바뀌어도 기능 관계를 다시 확인하도록 학습 데이터를 설계해야 한다.

지각 실패는 조용히 시작된다

지각 실패의 위험은 초반에 눈에 띄지 않는다는 점이다. 에이전트가 익숙한 함수명을 호출하면 로그는 얼핏 정상처럼 보인다. 호출 형식도 맞고, 인자 타입도 맞으며, 결과도 어떤 문자열을 반환할 수 있다. 그러나 그 도구가 현재 질의의 의미와 맞지 않으면 후속 관찰은 잘못된 상태를 강화한다. OpenAgent는 이런 조용한 실패를 TER와 계층별 과제로 드러낸다. 단순 정답률만 보면 놓치기 쉬운 구조적 오류가 로그 수준에서 분해된다.

4.4 실험 통제가 주는 해석상의 장점

샌드박스 설계의 장점은 한 번에 하나의 실패면을 분리해 볼 수 있다는 점이다. 라이브 API에서는 latency, temporary outage, documentation mismatch, access permission, model decoding noise가 동시에 나타난다. 그러면 어떤 원인 때문에 agent가 실패했는지 분해하기 어렵다. 반대로 OpenAgent sandbox는 같은 POI logic 위에서 schema keyword만 바꾸거나, 반환 format만 바꾸거나, 도구 dependency만 뒤집는다. 이 덕분에 성능 하락이 환경 shift의 어느 축에서 발생했는지 더 깨끗하게 읽힌다.

훈련과 평가 variation을 엄격히 분리한 점도 중요하다. 테스트 perturbation pattern이 학습에 들어가 있으면 agent가 열린 환경을 일반화했다기보다 새로운 closed set을 외웠을 가능성이 생긴다. 논문은 6,050개 training sample과 880개 evaluation sample을 나누면서 test variation이 train phase에 나타나지 않도록 통제했다고 설명한다. 따라서 보고된 하락과 회복은 단순한 template memorization 여부를 넘어 분포 밖 조건에서의 policy adaptation을 읽는 근거로 쓰일 수 있다.

RL 설정에서도 해석상 공정성을 확보하려는 장치가 보인다. RL 환경은 실패 시 상세한 guidance를 주지 않고 기본 error code만 제공한다. 만약 RL이 더 자세한 실패 설명을 받았다면 SFT와의 비교가 reward paradigm의 차이보다 feedback richness의 차이로 해석될 수 있다. 논문은 이런 차이를 줄인 상태에서 SFT와 RL을 비교하고, 이후 Tier 2에서 explicit redirection이 들어왔을 때 두 정책이 어떻게 달라지는지 따로 분석한다.

5. 주요 실험 결과: SFT와 RL이 열린 조건에서 갈라지는 지점

두 번째 계층은 Interaction이다. 여기서 핵심은 관찰 O를 단순한 결과 문자열보다 다음 행동을 바꾸는 피드백으로 쓰는지다. 세부 항목은 format adaptability, error 또는 null returns, tool/value redirection으로 구성된다. 도구 호출이 실패하거나 null을 반환했을 때, 에이전트는 같은 호출을 반복할 수 있고, 다른 도구를 찾아갈 수 있으며, 더 이상 풀 수 없다고 판단할 수도 있다. 상호작용 계층은 이 갈림길에서 정책이 폐쇄 루프처럼 작동하는지 본다.

format adaptability는 반환 형식이 예상과 달라져도 값을 추출하는 능력을 묻는다. 예를 들어 좌표가 문자열 대신 구조화된 필드로 오거나, 전화번호가 다른 키 아래에 들어가면 모델은 새 포맷을 읽어야 한다. error/null returns는 도구가 실패했거나 값이 없다고 말할 때 그 의미를 반영하는지 본다. tool/value redirection은 더 적극적이다. 관찰이 특정 도구나 값을 다시 사용하라고 유도할 때, 모델이 이전 계획을 수정해 리다이렉션을 따르는지 측정한다.

Figure 5. Tier 2 상호작용 계층의 성능 변화와 AES

상호작용 계층에서 RL은 명시적 리다이렉션에 비교적 강한 모습을 보인다. 관찰이 다른 도구나 값을 가리킬 때, 보상 학습을 거친 정책은 계획을 수정하는 경향이 있다. 반대로 SFT는 정답 궤적을 재생하는 힘이 커서, 실패 피드백이 들어와도 원래 경로를 반복할 수 있다. AES는 새 도구 탐색의 적극성을 보여주는 보조 신호로 쓰인다. 그림은 명시적 guidance와 모호한 null 신호가 다른 실패를 만든다는 점을 보여 준다. RL은 리다이렉션처럼 해석 가능한 피드백에는 강하지만, 무정보 반환에서는 탐색 방향을 잡기 어렵다.

Active Exploration Score, AES는 e^{-(n_old-1)}로 정의된다. 여기서 n_old는 이미 사용한 도구를 반복하는 정도와 관련된 값으로 해석할 수 있다. 점수는 불필요한 반복을 줄이고 새 대안을 탐색할수록 높아지는 방향을 갖는다. Average Tool Chain Length, ATCL은 평균 도구 체인 길이를 측정한다. ATCL이 무조건 짧다고 좋은 것은 아니다. 필요한 탐색을 수행하지 못해 조기 답변하는 경우도 있고, 같은 실패를 반복해 길어지는 경우도 있다. 따라서 AES, ATCL, TER, 최종 정답률을 함께 봐야 상호작용 품질이 보인다.

Metric	정의	진단 의미
Tool Error Rate	TER = N_error / N_total	전체 도구 호출 중 오류 비율, 지각과 스키마 실패를 드러냄
Active Exploration Score	AES = e^{-(n_old-1)}	기존 도구 반복 대신 대안을 탐색하는 정도
Average Tool Chain Length	ATCL = 평균 도구 호출 길이	필요한 탐색, 반복 오류, 조기 답변을 함께 해석
Refusal Rate	RR = 거절 응답 비율	불가능 조건과 치명 오류에서 능동 거절을 보는 지표

상호작용 실패는 SFT의 open-loop trajectory overfitting과 잘 연결된다. SFT 모델은 훈련에서 본 성공 궤적의 평균을 따라간다. 도구가 정상적으로 값을 주면 이 전략은 효율적이다. 그러나 오류 코드가 반환되거나 값이 비어 있으면 과거 성공 경로가 현재 히스토리와 충돌한다. 좋은 에이전트는 이 충돌을 감지해 계획을 바꿔야 한다. 취약한 에이전트는 관찰을 장식처럼 붙여 놓고 다음 호출이나 최종 답을 이전 패턴대로 생성한다.

RL이 리다이렉션에서 더 나은 이유는 보상 학습이 관찰 기반 행동 수정의 가치를 어느 정도 강화하기 때문이다. 명시적 피드백이 주어졌을 때 그 피드백을 따르면 최종 정답률이 올라가므로 정책이 적응한다. 하지만 이 이점은 피드백이 명확할 때 크다. 오류가 모호하거나, null이 진짜 부재를 뜻하는지 다른 도구를 써야 함을 뜻하는지 판단해야 할 때는 RL도 흔들린다. 기본 오류 코드만 제공하는 환경은 이 한계를 확인하기에 적절하다.

관찰값은 데이터가 아니라 제어 신호다

도구 반환값을 단순한 정보 소스로 보면 실패한다. 관찰은 현재 계획이 맞는지 틀리는지 알려주는 제어 신호다. null은 존재하지 않음을 뜻할 수도 있고, 입력 인자가 틀렸음을 뜻할 수도 있다. error는 재시도할 오류일 수도 있고, 종료해야 할 치명 조건일 수도 있다. OpenAgent의 Tier 2는 에이전트가 이 차이를 구분하는지 확인한다. 실제 서비스에서는 이 계층이 장애 대응 비용을 좌우한다. 같은 실패 호출을 반복하면 API 비용이 늘고, 사용자에게 잘못된 확신을 주며, downstream 시스템까지 오염시킨다.

5.4 결과를 읽을 때 주의할 점

Tier 1과 Tier 2 결과를 함께 보면, RL이 모든 열린 조건에서 우월하다는 단순한 결론은 나오지 않는다. RL은 도구 설명과 관찰 피드백을 더 잘 활용하는 경향이 있지만, 그 능력은 주어진 reward가 어떤 행동을 강화했는지에 의존한다. 반대로 SFT는 깨끗한 demonstration을 많이 보면 closed-set accuracy와 format compliance가 좋아질 수 있으나, demonstration 안에 error recovery와 refusal trajectory가 없으면 환경 변화 앞에서 같은 성공 경로를 반복한다. 중요한 대비점은 학습 방식의 장점이 특정 shift 축에서만 드러난다는 점이다.

특히 semantic trap은 도구 사용 agent 평가에서 강한 진단력을 갖는다. 도구 이름은 익숙하지만 설명이 바뀌어 사용 금지를 가리킬 때, 모델이 이름을 믿는지 설명을 읽는지 구분할 수 있다. identity erasure는 더 강하다. 의미 있는 tool name을 Tool_a2fb 같은 식별자로 바꾸면 surface cue가 사라진다. 여기서 성능이 유지되려면 모델이 tool description, input type, output type, 현재 query의 필요 정보를 연결해야 한다. 이 실험은 symbolic anchoring이 단순한 오류율 증가보다 구조적 한계임을 보여 준다.

Tier 2의 explicit redirection은 agent를 폐쇄형 answer generator보다 interactive controller로 보게 만든다. 관찰이 "이 도구는 더 이상 쓰지 말고 새 도구를 사용하라"고 알려 주면, 다음 action distribution은 이전 계획에서 벗어나야 한다. SFT가 이 신호를 무시하거나 성공 관찰처럼 처리한다면, 모델은 tool output을 상태 update보다 narrative continuation의 일부로 취급한 셈이다. RL의 상대적 강점은 바로 이 지점, 즉 관찰을 다음 행동의 원인으로 쓰는 능력에서 나온다.

6. 추가 분석 및 Ablation Study: 추론 실패와 PAFT 보강의 의미

세 번째 계층은 Reasoning이다. 도구를 올바르게 고르고 관찰을 읽는 것만으로 충분하지 않은 과제들이 있다. 사용자 요청이 조건부 규칙을 포함하거나, 여러 도구 결과를 비교해야 하거나, 불필요한 중간 단계를 줄여야 하는 경우다. OpenAgent는 rule reasoning, trace simplification, logic inversion으로 추론 계층을 구성한다. 이 계층은 에이전트가 훈련 궤적의 표면 순서를 넘어 과업의 논리 구조를 다루는지 묻는다.

rule reasoning은 특정 조건이 만족될 때 다른 계산이나 조회를 수행하는 능력이다. 예를 들어 같은 행정구역이면 한 규칙을 적용하고, 다른 카테고리면 다른 비용 규칙을 적용하는 식이다. trace simplification은 불필요한 도구 호출을 줄이고 핵심 경로를 선택하는 능력이다. 학습 데이터가 장황한 경로를 포함하면 SFT는 그 길이를 모방할 수 있다. 반대로 필요한 단계가 줄어든 상황에서는 더 짧은 경로가 맞다. logic inversion은 가장 까다롭다. 기존 규칙의 방향을 뒤집거나 조건의 참거짓 의미를 바꾸면, 모델은 암기한 규칙을 그대로 적용하면 안 된다.

Figure 6. Tier 3 추론 계층 비교

추론 계층은 SFT와 RL 모두에게 까다롭다. RL은 일부 상호작용 과제에서 보였던 강점을 그대로 유지하지 못하고, logic inversion에서 뚜렷한 하락을 보인다. 이는 관찰 피드백을 따르는 능력과 규칙 자체를 재구성하는 능력이 다르다는 뜻이다. 도구를 잘 호출해도 조건의 방향을 잘못 해석하면 최종 답은 틀린다. 이 결과는 관찰 피드백 적응과 규칙 재구성이 별개 능력임을 보여 준다. 새 도구를 쓰는 능력이 있어도 dependency graph가 반전되면 정책은 과거 실행 순서로 되돌아갈 수 있다.

Tier 3 항목	시험하는 능력	정적 학습의 취약점
Rule reasoning	도구 결과를 규칙 조건에 맞게 적용	조건 누락, 규칙 우선순위 혼동
Trace simplification	불필요한 호출을 줄이고 직접 경로 선택	훈련 궤적 길이와 순서 모방
Logic inversion	조건의 방향 또는 판정 의미 변화 반영	기존 규칙을 자동 적용해 반대 결론 도출

논리 반전에서의 하락은 보상 설계의 한계를 잘 보여준다. GRPO와 sparse answer reward는 최종 답이 맞으면 긍정 신호를 준다. 그러나 학습 중 대부분의 규칙이 한 방향으로 제시되면, 정책은 그 방향을 강하게 일반화한다. 평가에서 규칙이 반전되면 모델은 새 지시를 읽어야 하지만, 이전 규칙이 워낙 강한 prior로 작동한다. SFT는 궤적 모방 때문에, RL은 성공 경험으로 굳어진 행동 가치 때문에 각각 다른 경로로 같은 취약성에 도달한다.

trace simplification은 운영 효율성과도 관련된다. 불필요한 도구 호출은 비용과 지연을 만든다. 그러나 단순히 호출 수를 줄이는 보상만 주면 필요한 검증까지 생략될 수 있다. OpenAgent가 ATCL을 별도 지표로 두는 이유가 여기에 있다. 평균 체인 길이는 단독 목표보다 품질 진단 신호다. 짧고 정확한 경로는 바람직하지만, 짧고 환각적인 답변은 나쁘다. 길고 신중한 경로도 필요한 경우가 있지만, 같은 실패를 반복해 길어진 경로는 더 나쁘다.

추론 실패와 도구 실패의 차이

추론 실패는 로그상 더 혼란스럽다. 도구 호출은 모두 성공했고 반환값도 맞는데 최종 답이 틀릴 수 있기 때문이다. 예를 들어 두 장소의 카테고리와 거리를 정확히 조회했어도, 적용해야 할 할인 규칙을 반대로 읽으면 결과는 실패다. 이런 경우 TER만으로는 문제를 찾기 어렵다. Reasoning 계층은 최종 답과 중간 경로를 함께 분석해야 한다. 모델이 도구를 잘 다뤘는지와 규칙을 잘 적용했는지는 분리된 능력이며, OpenAgent는 둘을 같은 정확도 숫자에 묻어 버리지 않는다.

이 계층의 메시지는 도구 사용 에이전트 개발에서 중요하다. 도구 호출 기능이 안정화되었다고 해서 업무 자동화가 완성되는 것은 아니다. 실제 비즈니스 규칙은 자주 바뀌고, 예외 조건은 문서 뒤쪽에 있으며, 과거 규칙과 새 규칙이 충돌할 수 있다. 에이전트가 규칙 문장을 현재 컨텍스트에 맞춰 재해석하지 못하면, 도구가 아무리 정확해도 결과는 틀린다. OpenAgent는 도구 호출 엔진과 규칙 추론 엔진을 동시에 평가해야 한다는 점을 실험으로 보여준다.

6.4 PAFT와 ablation을 추론 실패에 붙여 읽기

Tier 3 결과는 PAFT가 왜 trajectory-level augmentation을 택하는지 설명해 준다. logic inversion은 단순한 이름 바꾸기나 format shift를 넘어 의존관계 자체를 다시 구성해야 하는 과제다. 이때 모델이 성공하려면 현재 도구 문서를 읽고, 어떤 output이 다음 tool의 input이 되는지 새 graph를 그려야 한다. clean trajectory만 반복해서 본 SFT는 이런 graph 재구성을 충분히 연습하지 못한다. PAFT의 EFP와 SRP가 직접적으로 모든 logic inversion을 해결하지는 못해도, 모델이 현재 조건에서 다시 접지하는 습관을 배우게 한다.

Ablation 표에서 component별 효과가 분리되는 점도 중요하다. EFP only는 Tier 2에서 강하지만 Tier 4 refusal에는 거의 도움이 되지 않는다. 오류 피드백을 읽는 훈련만으로는 "멈춰야 할 때"를 배우기 어렵기 때문이다. SBP only는 Tier 4 RR을 크게 올리지만 Tier 1 symbolic trap을 충분히 다루지 못한다. SRP only는 도구 표면 변화에 유리하지만 fatal error refusal을 해결하지 못한다. 이 결과는 열린 환경 robustness가 단일 데이터 증강으로 끝나지 않고, 피드백·경계·표상을 각각 학습해야 함을 보여 준다.

alpha 결과도 운영적으로 해석할 수 있다. perturbation ratio가 낮으면 모델이 실패 상태를 충분히 보지 못하고, 너무 높으면 정상 문제 해결 signal이 희석된다. 논문에서 alpha=0.3이 기본값으로 가장 균형이 좋게 나온 것은 clean success trajectory와 perturbed recovery trajectory의 비율을 함께 맞춰야 한다는 뜻이다. 실제 agent 학습에서도 모든 데이터를 실패 사례로 채우면 과잉 방어적 정책이 되고, 성공 사례만 주면 open-loop 정책이 된다. PAFT는 이 둘 사이의 robustness-data mixture를 실험적으로 찾는 접근이다.

7. 한계점 및 향후 연구 방향: 샌드박스 진단과 실제 API 운영 사이

네 번째 계층은 Internalization이다. 이 계층은 가장 운영적인 질문을 던진다. 에이전트가 과업을 끝까지 풀 수 없다는 사실을 내부 정책으로 받아들일 수 있는가. 세부 항목은 missing condition과 fatal error에 대한 active refusal, 그리고 domain transfer다. 많은 에이전트는 실패를 감지하는 것과 실패를 선언하는 것을 혼동한다. 관찰이 치명 오류를 알려도 최종 답안 형식에 맞춰 뭔가를 생성한다. OpenAgent는 이런 boundary blindness를 명시적으로 측정한다.

Refusal Rate, RR은 거절 응답 비율이다. 그러나 거절률은 높을수록 항상 좋은 지표가 아니다. 풀 수 있는 문제에서 거절하면 회피이고, 풀 수 없는 문제에서 답을 지어내면 환각이다. Tier 4는 missing condition이나 fatal error처럼 정상적인 정답 산출이 불가능한 조건을 넣고, 모델이 능동적으로 거절하는지 본다. SFT는 종종 치명 피드백을 무시하고 기존 답변 경로로 간다. RL은 실패를 더 잘 감지할 때가 있지만, sparse answer와 format reward가 답변 완성을 유도하면 여전히 fabricated answer를 만들 수 있다.

Figure 7. Tier 4 도메인 전이와 거절 능력

내재화 계층은 열린 환경에서 가장 안전과 가까운 영역이다. SFT는 치명 피드백을 받아도 익숙한 완성 경로를 따르기 쉽고, RL은 실패를 인식해도 보상 편향 때문에 답을 만들어낼 수 있다. 도메인 전이에서는 과거 POI 규칙을 새 업무 규칙에 그대로 투사하는 문제가 나타난다. 따라서 높은 정답률만으로는 안전한 정책을 보장할 수 없다. refusal 결과는 안전 관점에서 중요하다. 모델이 오류를 감지하는 것만으로는 부족하고, 더 이상 신뢰 가능한 답을 만들 수 없다는 결정을 내려야 한다. RL의 forced completion 경향은 이 차이를 잘 드러낸다.

domain transfer는 OpenAgent의 열린 세계 관점을 확장한다. POI 샌드박스에서 배운 도구 사용 원리가 다른 도메인으로 이동할 때, 모델은 구체적 엔티티와 규칙을 버리고 추상 절차를 옮겨야 한다. 예를 들어 이름에서 좌표를 찾고, 좌표에서 연락처를 찾는 절차는 특정 POI DB에 묶인 루틴이다. 새 도메인에서는 같은 형태의 조회-검증-계산 루프가 필요할 수 있지만, 필드 의미와 성공 조건은 달라진다. 내재화는 바로 이 추상 절차와 경계 조건을 정책 내부에 안정적으로 갖추는지를 본다.

Figure 8. 실제 API 조건에서의 검증

실제 API 검증은 샌드박스 결과가 인공적인 현상에 그치지 않는지 확인하는 단계다. 라이브 환경에는 지연, 형식 차이, 값 누락, 예외 응답이 섞인다. 논문은 통제된 진단에서 드러난 취약성이 실제 API 조건에서도 의미 있는 방향성을 가진다는 점을 보여준다. 이는 OpenAgent를 단순 장난감 벤치마크보다 넓게 해석하게 만든다. 실제 API 실험은 통제 샌드박스의 방향성이 현장에서도 유지되는지 확인한다. 모든 운영 조건을 대체하지는 못하지만, schema와 feedback 변화가 실제 서비스형 tool에서도 같은 종류의 취약성을 만들 수 있음을 보여 준다.

Tier	진단 이름	세부 과제	대표 실패
1	Perception	instruction robustness, schema adaptability, semantic grounding	도구 의미 오독, 심볼 앵커, 함정 이름 추종
2	Interaction	format adaptability, error/null returns, redirection	오류 반복, null 무시, 리다이렉션 미반영
3	Reasoning	rule reasoning, trace simplification, logic inversion	규칙 반전 실패, 불필요 호출, 조건 혼동
4	Internalization	active refusal, domain transfer	불가능 조건에서 답변 조작, 옛 도메인 규칙 투사

Tier 4의 핵심은 답변 생성 능력보다 답변하지 않을 능력이다. LLM 기반 에이전트는 대개 사용자 요청에 협조하도록 훈련된다. 이 협조성은 정상 과제에서는 장점이지만, 도구가 치명 실패를 반환했거나 필수 조건이 누락된 상황에서는 위험하다. 에이전트가 실패를 설명하고 추가 정보를 요구하거나, 현재 조건에서 답할 수 없다고 말해야 한다. OpenAgent는 이 능력을 active refusal로 부르고, 정답률의 반대편에 놓인 안전 지표로 다룬다.

Completion bias와 boundary blindness

논문에서 특히 중요한 표현은 completion-biased reward와 boundary blindness다. completion bias는 보상이 답변을 끝까지 완성하는 행동을 강화할 때 생긴다. 모델은 실패를 감지해도 최종 답을 비워 두는 것보다 형식에 맞는 문장을 내는 편이 유리하다고 배울 수 있다. boundary blindness는 풀 수 있는 문제와 풀 수 없는 문제의 경계를 보지 못하는 현상이다. 두 현상이 결합하면 에이전트는 실패를 인식하면서도 확신 있는 오답을 낸다. 운영 관점에서는 단순 오류보다 더 위험하다.

7.3 한계: 샌드박스의 깔끔함과 운영 환경의 지저분함

논문의 첫 번째 한계는 샌드박스가 의도적으로 단순화되어 있다는 점이다. POI 데이터와 지리 도구는 dependency graph를 만들기에 좋지만, 실제 업무 도구는 권한, rate limit, partial update, 사용자 확인, 개인정보 처리 같은 요소를 함께 가진다. OpenAgent가 네 축의 shift를 잘 분리한 것은 장점이지만, 운영에서는 Q, A, O, D가 동시에 흔들리고 failure state가 더 오래 지속된다. 따라서 다음 단계에서는 복합 shift scenario와 장기 multi-session task까지 확장할 필요가 있다.

두 번째 한계는 모델과 보상 설정의 폭이다. 논문은 Qwen2.5-7B-Instruct, SFT, GRPO 기반 RL을 중심으로 비교한다. 이는 구조적 통제를 위해 적절하지만, 더 큰 모델, tool-specialized model, reasoning-token model, verifier가 붙은 agent framework에서는 failure profile이 달라질 수 있다. 특히 RL의 boundary blindness가 reward design 때문인지, model capacity 때문인지, refusal data 부족 때문인지 분해하려면 reward shaping과 negative trajectory sampling을 더 넓게 바꿔야 한다.

세 번째로, PAFT는 데이터 중심 처방이지만 inference-time guardrail과의 결합은 아직 열려 있다. 실제 서비스에서는 학습 데이터만으로 모든 schema drift와 fatal state를 예측할 수 없다. 따라서 PAFT로 정책을 robust하게 만들고, runtime에는 tool contract, schema version check, observation validator, refusal gate를 붙이는 혼합 설계가 필요하다. OpenAgent의 benchmark가 이런 guardrail module을 평가 단위에 포함하면, 순수 모델 학습과 agent system design의 역할을 더 정밀하게 나눌 수 있다.

8. 내 해석: 도구 이름보다 관측 피드백을 학습시켜야 한다

OpenAgent는 이전에 검토한 여러 흐름과 자연스럽게 맞물린다. DORA와 같은 geospatial tool-use agent 연구는 지도, 좌표, 장소명, 거리 계산을 결합해 실제 공간 질의를 해결하는 방향을 보여준다. OpenAgent의 POI 샌드박스는 그와 비슷한 지리 도구 구조를 쓰지만 목적이 다르다. DORA류 연구가 지리 문제를 더 잘 풀기 위한 아키텍처와 데이터 구성에 집중했다면, OpenAgent는 훈련된 정책이 지리 도구의 표면 이름과 관찰 형식이 바뀌어도 다시 접지할 수 있는지 시험한다.

failure-aware agent orchestration 관점에서도 OpenAgent는 유용하다. 실패 인식형 오케스트레이션은 각 단계에서 실패 가능성을 감지하고, 재시도, 대체 도구, 사용자 확인, 종료를 선택해야 한다. OpenAgent의 Tier 2와 Tier 4는 바로 이 의사결정의 기초를 측정한다. 오류와 null을 읽는 능력, 치명 실패에서 거절하는 능력, 불필요한 반복을 줄이는 능력은 복잡한 멀티에이전트 시스템에서도 핵심이다. 하위 에이전트가 실패를 숨기면 상위 플래너는 잘못된 상태를 기반으로 더 큰 결정을 내린다.

agent tool contract의 관점에서는 도구 설명, 스키마, 오류 코드, 반환 타입이 정책과 맺는 계약이 중요하다. 많은 에이전트 실패는 모델이 나빠서만 생기지 않는다. 도구 계약이 모호하거나, 오류 코드가 해석 불가능하거나, 스키마 변화가 버전 관리 없이 들어오면 좋은 모델도 흔들린다. OpenAgent는 도구 계약이 깨졌을 때 어떤 학습 정책이 얼마나 버티는지 보여준다. schema adaptability와 format adaptability는 문서화된 계약을 런타임에 읽는 능력이고, redirection과 active refusal은 계약 위반 또는 계약 경계에 대응하는 능력이다.

meta-cognitive tool use와의 연결도 뚜렷하다. 메타인지적 도구 사용은 에이전트가 자신이 무엇을 알고, 무엇을 모르는지, 어떤 도구가 어떤 불확실성을 줄이는지 판단하는 능력을 요구한다. OpenAgent의 identity erasure, logic inversion, missing condition 과제는 이런 자기 점검이 없을 때 발생하는 실패를 드러낸다. 모델이 특정 엔티티의 이름을 안다고 느끼더라도 실제로는 난수 문자열일 뿐이며, 현재 정답은 도구 조회 없이는 알 수 없다. 모델이 규칙을 안다고 느끼더라도 현재 지시가 그 규칙을 뒤집었을 수 있다.

기존 맥락	공통 관심	OpenAgent의 보완점
DORA/geospatial tool-use agent	지도, 좌표, 장소 정보의 도구 조합	지리 도구 정책이 표면 변화에도 재접지되는지 진단
Failure-aware orchestration	실패 감지, 복구, 종료 선택	오류, null, 치명 실패에서 정책의 경계 판단을 측정
Agent tool contract	도구 스키마와 반환 의미의 안정성	계약이 바뀔 때 스키마 읽기와 포맷 적응을 분리 평가
Meta-cognitive tool use	자기 지식 한계와 도구 필요성 판단	불확실성과 불가능 조건에서 거절 또는 탐색을 선택하는지 확인

따라서 OpenAgent는 기존 흐름을 대체하기보다 빈틈을 채운다. DORA 계열이 더 나은 지리 도구 사용자를 만들고, 실패 인식 오케스트레이션이 시스템 수준의 복구 절차를 설계하며, 도구 계약 연구가 인터페이스 안정성을 다룬다면, OpenAgent는 훈련된 정책 자체가 그 변화 속에서 의미를 다시 붙잡는지 측정한다. 표면 이름, 피드백, 도메인이 움직일 때 정책이 재접지하지 못하면 상위 설계가 좋아도 하위 행동이 흔들린다.

벤치마크 설계 관점의 기여

벤치마크 설계 측면에서 OpenAgent의 장점은 실패 유형의 해상도다. 단일 정확도 리더보드는 개선 방향을 잘 알려주지 않는다. 정확도가 낮아졌을 때 도구 이름을 못 읽은 것인지, 오류 피드백을 무시한 것인지, 규칙을 반대로 적용한 것인지, 풀 수 없는 요청에 답한 것인지 알 수 없다. OpenAgent는 네 계층과 보조 지표로 이 질문을 분해한다. 이 구조는 향후 에이전트 평가에서 표준적인 진단 축으로 확장될 가능성이 있다.

운영팀 입장에서도 이 분해는 실용적이다. Perception 문제가 크면 도구 문서와 스키마 학습, 이름 변형 데이터가 필요하다. Interaction 문제가 크면 오류 코드 해석, 재시도 정책, 대체 도구 탐색을 강화해야 한다. Reasoning 문제가 크면 규칙 테스트와 논리 검증기를 붙여야 한다. Internalization 문제가 크면 거절 보상, 안전 정책, 사용자 확인 절차가 필요하다. OpenAgent는 하나의 점수보다 이런 처방 매핑을 제공한다는 점에서 가치가 있다.

8.1 내가 보는 약점: 열린 환경을 너무 깨끗하게 잘라낸다

나는 이 논문의 가장 큰 약점이 실험이 틀렸다는 데 있다고 보지는 않는다. 오히려 너무 잘 통제된 진단이라서 실제 운영의 지저분한 결합 효과가 아직 충분히 보이지 않는 점이 걸린다. 예를 들어 실제 API에서는 schema keyword가 바뀌는 동시에 error payload가 달라지고, 문서가 늦게 갱신되며, 사용자는 이전 대화 맥락을 붙여서 질의한다. OpenAgent는 각 축을 분리해 원인을 선명하게 보여 주지만, production agent가 마주치는 실패는 여러 축의 동시 이동이다. 내가 이 benchmark를 확장한다면 Tier별 단일 perturbation 다음에 compound shift track을 별도로 두고, agent가 어느 순간 사용자 확인으로 넘어가는지도 함께 볼 것 같다.

8.2 후속 제안: PAFT와 runtime contract를 함께 평가하기

후속 연구로는 PAFT를 단독 학습 처방으로만 보지 않고, runtime tool contract와 묶어 평가하는 구성이 유용해 보인다. 앞서 위키에서 다룬 agent tool contract는 도구별 허용 범위, 실패 시 중단 조건, 사람 확인 지점을 명시하는 운영 패턴이다. OpenAgent식 perturbation으로 정책을 훈련한 뒤, inference 단계에서 schema validator, observation anomaly detector, refusal gate를 붙이면 SFT/RL/PAFT의 순수 policy 차이와 harness의 보정 효과를 분리할 수 있다. 특히 DORA 같은 geospatial tool-use agent나 failure-aware orchestration 흐름과 연결하면, 모델이 스스로 고치는 부분과 시스템이 막아야 하는 부분을 더 실무적으로 나눌 수 있다.

내 관점에서 이 논문의 가치는 "RL이 SFT보다 낫다"는 비교보다 "도구 사용 학습 데이터가 어떤 실패 상태를 보여 주지 않았는가"라는 질문을 던진 데 있다. agent가 열린 환경에서 안정적이려면 정답 trajectory와 함께 잘못된 tool name, 비어 있는 observation, deprecated function, fatal error, 불완전한 user query를 모두 학습해야 한다. 그렇지 않으면 모델은 도구를 많이 호출하는 능력은 갖추지만, 멈춰야 할 때와 다시 읽어야 할 때를 놓친다. OpenAgent는 그 차이를 measurement problem으로 끌어낸다.

9. 결론: 열린 환경 에이전트 평가의 기준선

저자들은 진단에 그치지 않고 간단한 개선법인 PAFT, Perturbation-Augmented Fine-Tuning을 제안한다. PAFT는 clean trajectories에 통제된 perturbation을 섞어 학습한다. 기본 perturbation ratio는 alpha = 0.3이다. 구성 요소는 Environmental Feedback Perturbation, EFP; Solvability Boundary Perturbation, SBP; Symbolic Representation Perturbation, SRP다. 각각 관찰 피드백 변화, 풀 수 있음의 경계 변화, 표면 기호 변화에 대응한다.

EFP는 도구 반환과 오류 피드백의 변화를 훈련에 포함한다. 모델이 정상 성공 응답만 보는 대신 오류, null, 리다이렉션, 형식 변화를 접하게 만든다. SBP는 풀 수 없는 조건과 치명 오류를 학습 데이터에 넣어 active refusal을 강화한다. SRP는 도구명, 인자명, 엔티티 기호 같은 표면 표현을 바꿔 symbolic anchoring을 줄이려 한다. 세 요소는 OpenAgent의 네 계층과 정확히 일대일로 대응하지는 않지만, Perception, Interaction, Internalization 취약성을 직접 겨냥한다.

PAFT 구성	perturbation 대상	기대 효과	관련 실패
EFP	Environmental Feedback Perturbation	오류와 관찰 변화에 따른 계획 수정	error/null 무시, 리다이렉션 실패
SBP	Solvability Boundary Perturbation	불가능 조건에서 능동 거절	fatal error 무시, fabricated answer
SRP	Symbolic Representation Perturbation	표면 이름 변화에 대한 의미 재접지	symbolic drift, semantic trap, identity erasure

PAFT의 수치는 흥미롭다. 논문 표의 네 값은 각 설정에서 보고된 열린 조건 성능 변화와 거절 관련 지표를 그대로 옮긴 것이다. Base는 (-29.8, -8.5, -8.5, 12.2)로 제시된다. SFT-200은 (-67.7, -48.2, -39.9, 0.3)인데 +PAFT를 적용하면 (+28.6, +26.5, +22.7, 99.3)으로 크게 바뀐다. 초기 SFT에서 PAFT가 매우 큰 효과를 보인다는 뜻이다. 특히 solvability boundary를 학습하면 거절 관련 지표가 극적으로 개선된다.

설정	값 1	값 2	값 3	값 4	해석
Base	-29.8	-8.5	-8.5	12.2	기본 모델의 열린 조건 기준
SFT-200	-67.7	-48.2	-39.9	0.3	초기 정적 궤적 학습의 취약성
SFT-200 + PAFT	+28.6	+26.5	+22.7	99.3	perturbation 학습으로 큰 반전
SFT-400	-53.9	-45.4	-32.5	0.0	정적 학습 증가에도 경계 취약
SFT-400 + PAFT	+5.6	+4.9	-2.8	97.8	거절 능력은 크게 회복, 일부 추론은 제한적
SFT-600	-51.3	-46.4	-33.0	0.1	큰 SFT도 fatal boundary에 약함
SFT-600 + PAFT	-2.5	-2.9	-10.7	99.6	거절은 안정, 성능 반전 폭은 감소
SFT-800	-50.4	-45.3	-28.0	0.2	정적 데이터 확대만으로 해결 안 됨
SFT-800 + PAFT	-4.1	-5.3	-9.8	99.6	열린 조건 손실 완화와 거절 회복

PAFT 결과에서 가장 눈에 띄는 패턴은 두 가지다. 첫째, 정적 SFT 데이터가 200에서 800으로 늘어도 열린 조건 손실이 자연스럽게 사라지지 않는다. 데이터가 커져도 같은 분포의 clean trajectory가 늘어나면 오히려 표면 궤적 관성이 강화될 수 있다. 둘째, PAFT는 특히 거절 능력을 빠르게 회복한다. SFT 계열의 네 번째 값이 0에 가까운 반면, PAFT 적용 후 97.8에서 99.6 수준으로 올라가는 점은 SBP의 영향이 크다는 신호다.

SFT-800 alpha	값 1	값 2	값 3	값 4	비고
alpha = 0.2	-6.9	-7.7	-15.8	90.4	perturbation 부족으로 경계 회복이 상대적으로 약함
alpha = 0.3	-4.1	-5.3	-9.8	99.6	논문 기본값, 균형이 가장 좋음
alpha = 0.4	-5.3	-7.8	-11.1	96.4	perturbation 과다로 일부 성능 손실

alpha ablation은 perturbation이 많을수록 무조건 좋은 전략이 아님을 보여주는 점을 보여준다. alpha = 0.2는 열린 이동에 대한 노출이 부족해 거절 지표가 90.4에 머문다. alpha = 0.3은 네 값의 균형이 가장 좋고, 논문 기본값으로 채택된다. alpha = 0.4는 경계 능력을 어느 정도 유지하지만 다른 값에서 alpha = 0.3보다 악화된다. 즉 PAFT는 clean trajectory와 perturbation trajectory 사이의 균형을 요구한다.

SFT-800 component	값 1	값 2	값 3	값 4	의미
EFP only	-30.1	-3.2	-27.0	1.7	피드백 적응은 돕지만 거절 경계는 거의 회복 못함
SBP only	-38.9	-36.5	-31.7	99.2	거절 능력은 회복하지만 일반 열린 성능은 제한적
SRP only	-14.9	-34.2	-10.6	2.1	기호 변화에는 도움, 경계와 상호작용은 부족

component ablation은 각 perturbation의 역할이 분리되어 있음을 보여준다. EFP only는 두 번째 값에서 상대적으로 나아지지만 네 번째 값은 1.7에 그친다. 오류 피드백을 보는 훈련만으로 풀 수 없는 문제를 거절하는 능력은 생기지 않는다. SBP only는 네 번째 값 99.2로 경계 판단을 크게 개선하지만 다른 값은 여전히 낮다. SRP only는 표면 기호 변화 대응에 도움이 되지만 거절 능력은 2.1에 머문다. 세 요소가 함께 들어가야 넓은 열린 이동을 다룰 수 있다.

PAFT가 말해 주는 학습 데이터의 방향

PAFT의 의미는 단순한 데이터 증강 이상이다. 일반적인 증강은 문장 표현을 바꾸거나 엔티티를 치환하는 데 그칠 수 있다. OpenAgent의 perturbation은 정책이 실제로 마주칠 제어 상황을 바꾼다. 도구가 실패하고, 스키마가 달라지고, 풀 수 없는 요청이 등장하며, 기존 이름의 의미가 흔들린다. 이런 데이터는 에이전트에게 정답 궤적을 외우는 대신 상황별 재계획을 요구한다. 특히 SBP는 안전한 에이전트 학습에서 필수적이다. 거절은 모델이 스스로 만들어 내기보다 명시적으로 보상받고 관찰해야 하는 행동이다.

다만 PAFT가 모든 문제를 해결하는 것은 아니다. SFT-800 + PAFT에서도 일부 값은 여전히 음수다. logic inversion처럼 규칙 구조 자체를 뒤집어야 하는 과제는 단순 perturbation으로 충분하지 않을 수 있다. 또한 synthetic perturbation이 실제 도구 계약 변화의 다양성을 모두 담지는 못한다. 따라서 PAFT는 강한 출발점이지만, 런타임 검증기, 도구 문서 버전 관리, 불확실성 기반 확인 질문, 보상 설계 개선과 함께 쓰여야 한다. 논문의 기여는 PAFT 자체의 완결성보다 어떤 종류의 perturbation이 어떤 취약성을 줄이는지 보여준 데 있다.

PAFT 수치의 운영적 해석

PAFT 표에서 초기 SFT-200의 변화가 가장 크게 보이는 현상은 두 방향으로 읽을 수 있다. 하나는 작은 정적 데이터로 만든 정책일수록 perturbation의 정보량을 빠르게 흡수한다는 점이다. 다른 하나는 clean trajectory만으로 학습한 초기 정책이 열린 조건에서 거의 방어 장치를 갖지 못했다는 점이다. 즉 +PAFT의 큰 개선은 기법의 강력함과 동시에 원래 정책의 취약함을 함께 드러낸다. 실무적으로는 모델을 더 오래 SFT하기 전에, 어떤 실패 상태를 훈련 데이터에 넣을지 먼저 정해야 한다는 결론으로 이어진다.

SFT-800에서 PAFT 개선 폭이 제한적인 것도 중요하다. 정적 데이터가 많아지면 모델은 더 많은 성공 루틴을 배운다. 이 루틴은 정상 요청 처리에는 도움이 되지만, 이름과 피드백이 바뀐 환경에서는 강한 습관이 된다. PAFT가 그 습관을 일부 되돌리더라도, 이미 형성된 궤적 prior를 완전히 제거하기는 어렵다. 따라서 열린 세계 일반화를 목표로 한다면 clean trajectory를 먼저 대량으로 쌓고 나중에 perturbation을 섞는 방식보다, 초기부터 실패와 변형을 균형 있게 배치하는 커리큘럼이 더 자연스럽다.

component ablation은 데이터 증강의 범주를 잘못 합치면 효과를 오해할 수 있음을 보여준다. EFP는 관찰 피드백 변화에 민감하게 반응하도록 만들지만, 불가능 조건에서 답을 멈추는 행동까지 보장하지 않는다. SBP는 거절을 직접 학습시키므로 RR 계열 지표를 크게 바꾸지만, 스키마 변화와 기호 변화에 대한 접지를 자동으로 해결하지 않는다. SRP는 이름과 표현이 흔들릴 때 도움을 주지만, 오류 피드백을 읽고 새 도구를 찾는 폐쇄 루프 상호작용을 충분히 만들지 못한다. 세 구성은 서로 대체재보다 보완재에 가깝다.

alpha = 0.3이라는 기본값도 단순한 하이퍼파라미터 이상의 의미가 있다. perturbation 비율이 낮으면 모델은 여전히 정상 성공 궤적을 기본 세계로 받아들이고, 실패 상태를 드문 예외로 처리한다. 비율이 너무 높으면 정상 경로의 효율과 안정성이 흔들릴 수 있다. 운영 데이터에서도 같은 문제가 생긴다. 장애 로그와 실패 케이스를 과도하게 넣으면 모델이 쉽게 거절하거나 불필요하게 탐색할 수 있고, 정상 케이스만 넣으면 치명 오류에서 답을 꾸밀 수 있다. PAFT는 이 균형을 수치로 보여준 셈이다.

학습 데이터 구성 관점

OpenAgent가 주는 가장 실용적인 교훈은 학습 데이터가 성공 예시의 모음으로 끝나면 안 된다는 점이다. 에이전트 데이터셋에는 성공 궤적, 복구 궤적, 거절 궤적, 검증 궤적이 함께 들어가야 한다. 성공 궤적은 정상 호출 순서를 가르치고, 복구 궤적은 error와 null 이후의 대체 행동을 가르친다. 거절 궤적은 풀 수 없는 조건에서 멈추는 법을 가르치며, 검증 궤적은 관찰값이 규칙 결론과 충돌할 때 재확인하는 습관을 만든다. 네 종류 중 하나가 빠지면 해당 계층의 취약성이 평가에서 다시 나타날 가능성이 크다.

도구 스키마 데이터도 하나의 정답 버전만 저장해서는 부족하다. 실제 API 문서에는 이름 변경, 필드 추가, optional 인자, deprecated 필드, 반환 타입 변화가 생긴다. 모델이 특정 함수명과 인자명을 암기하는 것을 줄이려면 같은 기능을 여러 표면 표현으로 제시하고, 설명 문장과 인자 의미를 함께 맞추게 해야 한다. SRP는 이런 방향의 최소 구현이다. 더 나아가 버전별 스키마 diff를 훈련 데이터에 포함하면, 모델은 새 도구를 볼 때 이전 도구의 이름보다 현재 문서의 의미를 우선하는 행동을 배울 수 있다.

관찰 피드백 데이터는 성공 응답보다 설계가 더 어렵다. error라는 문자열 하나가 항상 같은 행동을 요구하지 않기 때문이다. 재시도해야 하는 일시 오류, 인자 오류, 권한 오류, 데이터 부재, 치명 불가능 조건은 서로 다른 후속 행동을 요구한다. EFP를 실제 시스템에 적용하려면 오류 코드를 의미별로 분류하고, 각 코드에 대해 적절한 대체 도구, 사용자 확인, 종료 조건을 명시해야 한다. 모델이 오류를 많이 보았다는 사실만으로 충분하지 않다. 오류의 종류와 행동 정책이 함께 학습되어야 한다.

SBP는 데이터 작성자가 가장 자주 빠뜨리는 부분을 보완한다. 대부분의 데모 데이터는 어떻게든 답을 구하는 예시로 구성된다. 그러나 운영 로그에는 필수 인자가 빠진 요청, 존재하지 않는 엔티티, 접근 권한이 없는 리소스, 서로 모순되는 조건, 외부 API의 치명 실패가 많다. 이런 경우 올바른 행동은 더 많은 도구를 호출하는 것보다 답변 생성을 멈추고 이유를 설명하는 것이다. SBP only가 네 번째 값을 크게 끌어올린 결과는 거절 데이터가 별도 능력임을 잘 보여준다.

보상 설계 관점

RL 설정에서 sparse answer reward와 format reward는 강력하지만 위험한 조합이다. 최종 답이 맞고 형식이 맞으면 좋은 보상을 주는 구조는 닫힌 과제에서 효율적이다. 그러나 열린 환경에서는 정답을 낼 수 없는 상태도 존재한다. 이때 format reward는 그럴듯한 완성 문장을 장려하고, answer reward는 운 좋게 맞춘 답을 강화할 수 있다. 실패 상태에서 정답을 생성하지 않는 행동이 충분히 보상받지 못하면, 모델은 실패 인식과 거절 행동을 분리해서 배운다. 관찰에는 실패가 있었지만 출력은 완성형 답변이 되는 문제가 생긴다.

따라서 보상에는 terminal correctness와 함께 state correctness가 포함되어야 한다. 모델이 현재 정보로 답할 수 있는지, 추가 도구가 필요한지, 도구 실패가 치명적인지, 사용자에게 어떤 조건을 요청해야 하는지를 평가해야 한다. 예를 들어 missing condition 과제에서는 최종 문자열이 정중한 거절 형식인지보다, 어떤 필수 조건이 없어서 풀 수 없는지 정확히 언급하는지가 중요하다. fatal error 과제에서는 다른 도구로 복구 가능한 오류와 즉시 종료해야 할 오류를 구분해야 한다. 이런 보상 없이는 boundary blindness가 남는다.

도구 호출 비용 보상도 조심해야 한다. 호출 수를 줄이는 항은 trace simplification을 도울 수 있지만, 검증을 생략하게 만들 수도 있다. 반대로 탐색을 장려하는 항은 AES를 높일 수 있지만, 같은 실패 주변을 맴도는 과잉 탐색을 만들 수 있다. OpenAgent의 지표가 여러 개인 이유가 여기에 있다. TER, AES, ATCL, RR을 함께 보아야 보상이 실제로 원하는 행동을 만들었는지 판단할 수 있다. 하나의 보상 항이 좋아진다고 전체 에이전트가 안전해지는 것은 아니다.

보상 설계에서 또 하나의 방향은 관찰 일관성 검증이다. 모델이 최종 답을 만들 때 사용한 근거가 실제 도구 관찰에 존재하는지 검사하고, 존재하지 않는 값을 쓰면 벌점을 주는 방식이다. SFT의 open-loop overfitting과 RL의 completion bias는 모두 관찰을 무시한 완성에서 악화된다. 관찰 기반 citation이나 structured evidence 필드를 요구하면, 모델이 어느 호출 결과에서 어떤 값을 가져왔는지 드러난다. 이는 최종 답의 품질뿐 아니라 디버깅과 감사 가능성에도 도움이 된다.

런타임 가드레일 관점

OpenAgent의 결론은 학습만으로 모든 열린 세계 문제를 해결하라는 뜻이 아니다. 실제 시스템에서는 런타임 가드레일이 필요하다. 도구 스키마가 바뀌면 모델에게 새 설명을 넣는 것만으로 끝내지 말고, 호출 전 스키마 검증을 수행해야 한다. 인자 타입, 필수 필드, 허용 값 범위를 기계적으로 검사하면 TER를 줄일 수 있다. 반환값에 null이나 error가 있으면 다음 행동 후보를 제한하거나, 치명 오류 코드에서는 답변 생성을 차단하는 정책을 둘 수 있다.

도구 계약 버전 관리는 특히 중요하다. 같은 이름의 도구가 의미를 바꾸면 모델은 과거 경험을 신뢰하기 쉽다. API 문서와 프롬프트에 버전, 변경점, deprecated 필드를 명확히 표시하고, 모델이 이전 이름을 호출하려 할 때 자동으로 경고하거나 변환하는 래퍼가 필요하다. OpenAgent의 schema adaptability와 semantic trap 결과는 계약 변화가 작은 문서 수정을 넘어 정책 일반화 문제임을 보여준다. 계약이 바뀔 때마다 재평가 세트를 돌리고, 어떤 계층의 실패가 늘었는지 확인해야 한다.

실패 피드백은 사용자에게도 투명해야 한다. 모델이 치명 오류를 받았을 때 단순히 죄송하다고 말하는 것보다, 어떤 도구가 어떤 이유로 실패했고 현재 어떤 정보가 부족한지 설명하는 편이 낫다. 다만 내부 오류 코드를 그대로 노출하면 보안과 사용성 문제가 생길 수 있으므로, 사용자용 실패 설명과 시스템용 실패 로그를 분리해야 한다. OpenAgent의 active refusal은 안전한 종료의 시작점이며, 실제 제품에서는 적절한 재시도 제안, 대체 경로 안내, 필요한 입력 요청으로 확장되어야 한다.

평가 운영에서는 shadow test와 regression test가 필요하다. API 버전이 바뀌거나 새 도구가 추가될 때마다 OpenAgent식 perturbation 세트를 만들어 기존 정책과 새 정책을 비교할 수 있다. closed benchmark 점수가 유지되더라도 Tier 1의 스키마 적응이나 Tier 4의 거절 능력이 떨어지면 배포를 보류해야 한다. 특히 실제 API validation에서 보듯 라이브 환경은 샌드박스보다 더 복잡하므로, 통제 평가에서 안전 마진을 충분히 확보해야 한다.

한계와 읽을 때의 주의점

OpenAgent의 강점은 통제된 진단이지만, 그 통제는 동시에 한계다. POI 샌드박스는 도구 의미가 명확하고 DB 상태가 제한적이다. 실제 오픈월드는 더 많은 도구, 더 긴 히스토리, 사용자와의 상호 확인, 권한 정책, 비동기 작업, 부분 실패를 포함한다. 따라서 OpenAgent 점수가 실제 제품 안전성을 그대로 보장한다고 보기는 어렵다. 그러나 통제 환경에서 이미 드러난 취약성이 있다면, 더 복잡한 환경에서 저절로 사라질 가능성은 낮다. 벤치마크는 충분조건보다 조기 경고 장치에 가깝다.

또한 백본이 Qwen2.5-7B-Instruct 하나라는 점도 해석에 포함해야 한다. 더 큰 모델이나 다른 훈련 레시피는 일부 결과를 바꿀 수 있다. 하지만 논문의 주요 메시지는 특정 모델의 절대 점수보다 정적 학습과 열린 분포 이동 사이의 구조적 긴장에 있다. 모델이 커져도 도구 계약 변화, 피드백 해석, 불가능 조건 거절은 별도 데이터와 보상 없이는 안정적으로 해결되기 어렵다. 대형 모델일수록 사전 지식과 언어 능력으로 실패를 가릴 수 있으므로, 오히려 계층별 진단이 더 중요해질 수 있다.

마지막으로 OpenAgent는 평가자의 시야를 최종 답에서 궤적으로 옮긴다. 도구 사용 에이전트의 품질은 답을 맞혔는지와 함께 어떤 근거로 맞혔는지, 실패 신호를 어떻게 처리했는지, 필요 없는 호출을 얼마나 줄였는지, 풀 수 없는 요청을 어떻게 종료했는지에 달려 있다. 이 관점은 향후 에이전트 개발에서 데이터셋, 보상, 런타임 시스템을 함께 설계하게 만든다. 정적 훈련은 여전히 필요하지만, 열린 세계에서 살아남으려면 perturbation과 검증과 경계 인식이 학습 과정의 중심으로 들어와야 한다.

9.3 결론: 열린 환경 일반화는 별도 능력이다

OpenAgent의 결론은 도구 사용 agent를 평가할 때 closed-set success만으로 충분하지 않다는 것이다. 같은 도구, 같은 스키마, 같은 반환값, 같은 도메인 안에서는 SFT와 RL이 모두 발전한다. 그러나 질의 표현이 흔들리고, 도구 표면이 바뀌고, 관찰 피드백이 예외를 포함하며, 도메인이 이동하면 success curve 뒤에 숨어 있던 취약성이 드러난다. 이 취약성은 단순한 노이즈 민감도보다 정책이 현재 환경을 다시 읽는 능력과 연결된다.

PAFT는 이 문제에 대한 완성된 답이라기보다 좋은 기준선이다. clean trajectory에 perturbation을 섞으면 SFT가 겪는 symbolic anchoring, trajectory inertia, boundary blindness를 일부 줄일 수 있다. 그러나 ablation이 보여 주듯 feedback perturbation, solvability boundary, symbolic representation은 서로 다른 failure surface를 담당한다. 따라서 앞으로의 agent training은 성공 예시를 많이 모으는 방향을 넘어, 실패와 복구와 거절을 포함한 open-world curriculum을 설계해야 한다.

실무적으로는 이 논문을 agent evaluation checklist로 활용할 수 있다. 새 tool-use model이나 agent framework를 배포하기 전에, 도구 이름을 바꾸고, schema key를 바꾸고, null과 fatal error를 넣고, 대체 도구 안내를 넣고, 도메인을 바꿔 보는 식의 작은 OpenAgent식 test suite를 돌릴 수 있다. 이때 중요한 지표는 최종 정답 하나보다 잘못된 호출을 줄였는지, 새 도구로 이동했는지, 불가능한 요청을 거절했는지다. 이 관점이 도구 사용 agent를 데모에서 운영 시스템으로 옮기는 데 필요한 최소 기준선이다.

10. 요약 정리

• OpenAgent는 도구 사용 에이전트를 열린 세계 순차 의사결정 문제로 보고, 질의 Q, 행동 또는 도구 A, 관찰 O, 도메인 D의 분포 이동을 분리해 평가한다.
• 정적 closed benchmark에서는 SFT와 RL이 모두 좋아 보이지만, 도구 이름, 스키마, 피드백, 규칙이 바뀌면 작은 perturbation이 히스토리에 누적되어 전체 궤적 실패로 커진다.
• 평가는 POI와 지리 도구를 쓰는 통제 synthetic sandbox에서 수행되며, 6,050개 학습 샘플과 880개 평가 샘플, Qwen2.5-7B-Instruct, full-parameter SFT, GRPO 기반 RL을 사용한다.
• 네 계층 진단은 Perception, Interaction, Reasoning, Internalization으로 구성되며, 각각 스키마와 의미 접지, 오류와 null 피드백, 규칙 추론과 논리 반전, 능동 거절과 도메인 전이를 측정한다.
• SFT는 포맷과 닫힌 궤적 모방에는 강하지만 symbolic anchoring과 open-loop trajectory overfitting 때문에 semantic trap, identity erasure, fatal feedback에서 취약하다.
• RL은 의미 접지와 명시적 redirection에서 상대적으로 낫지만 logic inversion과 unsolvable/fatal 조건에서는 boundary blindness를 보이며, completion-biased reward 때문에 실패를 알고도 답을 꾸밀 수 있다.
• TER, AES, ATCL, RR 같은 보조 지표는 최종 정답률 뒤에 숨은 실패 위치를 드러내며, 특히 오류 호출, 반복 탐색, 체인 길이, 거절 경계를 함께 해석하게 해 준다.
• PAFT는 EFP, SBP, SRP를 통해 clean trajectory에 통제 perturbation을 섞는 방법이며, 기본 alpha = 0.3에서 거절 능력과 열린 조건 손실을 크게 완화하지만 추론 반전까지 완전히 해결하지는 못한다.
• OpenAgent는 DORA 같은 지리 도구 에이전트, 실패 인식 오케스트레이션, agent tool contract, meta-cognitive tool use를 보완하며, 훈련된 정책이 표면 이름과 피드백과 도메인이 움직일 때 다시 접지하는지를 묻는 진단 프레임이다.