Solar Open 2 Technical Report
https://arxiv.org/abs/2607.20062
Upstage Solar Team | Upstage | arXiv:2607.20062 | 2026년 7월 22일
1. 서론: 100만 토큰 한국어 에이전트를 위한 주권형 모델의 조건
프런티어 언어 모델은 이제 단순한 소프트웨어를 넘어 국가의 지식 생산과 업무 수행 능력을 좌우하는 기반 기술이 되었다. 이 논문이 말하는 주권형 AI는 한국어를 유창하게 출력하는 모델에 그치지 않고, 가중치가 공개되어 있으며 한국의 언어·업무 맥락에 뿌리를 둔 프런티어 모델을 뜻한다. 특히 계획을 세우고 도구를 호출하며 결과를 검증하는 장기 에이전트에서는 짧은 질의응답보다 훨씬 긴 작업 이력을 한 번에 유지해야 한다. 따라서 한국어 효율, 장기 문맥, 추론 능력, 에이전트 데이터가 동시에 갖춰져야 비로소 실용적인 주권형 모델이라 부를 수 있다.
전작 Solar Open 1은 102B-A12B 규모와 한국어 효율형 토크나이저로 이 방향의 첫 단계를 만들었지만, 에이전트 관점에서는 두 한계가 남았다. 하나는 문맥 길이가 131,072토큰, 즉 128K에 머물렀다는 점이고, 다른 하나는 장기 에이전트 시나리오의 학습 범위가 얇았다는 점이다. 대화가 누적되고 코드·문서·도구 출력이 계속 붙는 실제 작업에서는 이 두 문제가 서로 증폭된다. 논문의 출발점은 곧 언어 주권을 작업 주권으로 확장하려면 모델 크기만 늘려서는 안 된다는 문제의식이다.
Solar Open 2는 총 250B 파라미터 가운데 토큰마다 15B를 활성화하는 250B-A15B 희소 MoE로 이 간극을 메운다. 총 파라미터는 102B에서 250B로 늘리되, Solar Open 1의 196,608개 어휘 토크나이저를 그대로 계승해 한국어 토큰 효율을 보존했다. 동시에 선형 어텐션과 소프트맥스 어텐션을 섞어 사용 가능한 문맥을 128K에서 정확히 1,048,576토큰, 즉 1M으로 확장했다. 대화형 도구 사용·코딩·오피스 업무처럼 긴 궤적이 필요한 시나리오를 겨냥한다는 점에서, 이 모델의 핵심 단위는 개별 답변보다 완결된 작업 궤적이다.
그림 1의 요점은 한국어 특화와 범용 추론·에이전트 성능이 서로 배타적이지 않다는 데 있다. 내부 평가 하네스의 한국어 9개 벤치마크 평균은 Solar Open 2가 85.4로, Solar Open 1의 67.0과 DeepSeek-V4-Flash의 84.9를 웃돈다. 한국어 오피스워크 에이전트 지표 Ko-GDPval에서는 86.8을 기록했으며, 영어에서도 MMLU-Pro 86.2, LiveCodeBench v6 92.4, APEX-Agents 16.6을 얻었다. 이는 한 언어의 토큰 효율을 지키면서도 지식·코딩·도구 사용을 함께 끌어올리려는 설계 목표가 실제 평가 축과 맞물려 있음을 보여 준다.
1.1 규모 확장보다 어려운 세 가지 동시 제약
첫째 제약은 한국어 토큰 경제성이다. 같은 한국어 문장을 더 많은 토큰으로 쪼개면 1M이라는 명목상 창도 실제로 담을 수 있는 업무량이 줄고, 추론 비용과 KV 저장 비용은 반대로 커진다. 논문에 따르면 전작 토크나이저와 비교할 때 글로벌 모델 토크나이저는 같은 한국어 텍스트에 1.2~1.9배의 토큰을 사용한다. 긴 에이전트 작업일수록 매 턴의 작은 차이가 전체 궤적에서 누적되므로, 토크나이저는 전처리 부품을 넘어 시스템 효율의 첫 계층이다.
둘째는 100만 토큰을 실제로 서비스할 수 있는 계산 구조다. 전 층 소프트맥스 어텐션은 시퀀스가 길어질수록 KV 캐시가 선형으로 늘고 연산량은 제곱으로 증가하므로, 창의 길이만 선언해서는 장기 작업을 감당하기 어렵다. 셋째는 250B 모델을 정해진 계산 예산 안에서 학습시키는 문제다. Solar Open 2는 호환되는 5.69B 가중치만 이전하고, 20T의 정제된 풀을 10T 혼합물로 압축해 토큰당 학습 가치를 높이는 방식으로 두 비용을 함께 다룬다.
이 세 제약을 묶으면 논문의 주장은 선명해진다. 주권형 에이전트 모델의 조건은 자국어 점수 하나에 머물지 않는다. 자국어를 적은 토큰으로 표현하고 긴 상태를 감당하며 그 구조를 현실적인 비용으로 학습하는 능력이다. Solar Open 2의 기여는 250B라는 숫자 자체보다 토크나이저, 하이브리드 어텐션, MoE, 선택적 초기화, 데이터 큐레이션을 하나의 비용 방정식으로 연결한 데 있다. 이후 절에서는 먼저 이 선택들을 압박한 기술적 배경을 정리하고, 그 다음 실제 구조와 학습 방법을 해부한다.
평가 결과는 이 조건들이 한 축의 특화에 머물지 않았는지 확인하는 보조 증거다. 영어 비교에서 Solar Open 2는 같은 표에 놓인 개방 가중치 모델 가운데 MMLU-Pro, LiveCodeBench, APEX-Agents를 선도했고, 다른 과제에서는 DeepSeek-V4-Flash와 MiMo-V2.5에 경쟁적인 수준을 유지했다. 한국어 비교에서는 개방 가중치 모델과 표에 포함된 빠른 등급의 폐쇄형 API까지 합친 평균에서 가장 높은 값을 기록했다. 다만 이 결과는 뒤의 평가 절 전체를 대신하지 않는다. 한국어 효율·장문·에이전트라는 설계 목표가 측정 가능한 능력으로 이어졌는지를 보는 서론의 위치표로 읽는 편이 정확하다.
2. 배경 및 관련 연구: 긴 컨텍스트·MoE·하이브리드 어텐션의 설계 압력
2.1 긴 컨텍스트에서 소프트맥스가 만드는 병목
장기 에이전트는 사용자 요청 외에도 대화 기록, 도구 응답, 코드베이스, 중간 산출물과 자체 검증 결과를 계속 문맥에 추가한다. 이때 전통적 소프트맥스 어텐션의 정확한 전역 조회는 유용하지만, 길이 $n$에 대해 어텐션 계산이 본질적으로 제곱으로 증가하고 KV 캐시는 길이에 비례해 쌓인다. 논문이 목표로 한 것은 단지 1M 입력을 허용하는 인터페이스에 머물지 않고, 전 소프트맥스 스택 대비 약 4분의 1의 메모리와 연산으로 1M 이상의 사용 가능한 창을 제공하는 구조다. 즉 긴 문맥 연구의 압력은 품질과 비용 중 하나를 포기하는 대신 두 어텐션 계열의 역할을 분업시키는 방향으로 향한다.
선형 어텐션은 과거 정보를 고정 크기의 순환 상태에 누적하므로, 시퀀스 길이가 늘어도 KV 캐시 크기를 일정하게 유지하고 연산을 선형으로 만들 수 있다. 그러나 순수 선형 구조는 소프트맥스가 제공하는 정확한 전역 회상을 잃을 수 있고, 한 번 잘못 기록된 정보가 장기 상태에서 누적될 위험도 있다. 반대로 소프트맥스만 유지하면 정확한 회상은 얻지만 100만 토큰에서 비용 병목이 심해진다. 이 상충을 배경으로 Kimi Linear, Qwen3.5, Nemotron 3 같은 최근 설계와 마찬가지로 하이브리드 어텐션이 현실적인 절충안으로 부상한다.
하이브리드라는 이름만으로 비용과 품질의 균형이 자동으로 정해지지는 않는다. 소프트맥스층의 비율과 위치, 선형 상태의 갱신 규칙, 위치 인코딩의 유무가 서로 의존하기 때문이다. Solar Open 2는 네 층마다 소프트맥스를 먼저 배치해 전역 정보를 읽은 뒤 세 선형층이 상태를 갱신하도록 하고, 정확 조회를 담당하는 층을 전체 48개 중 12개로 제한한다. 따라서 S-L-L-L의 순서와 1:3 비율은 각각 독립적인 장식이 아닌 1M 문맥의 서비스 비용과 회상 능력을 함께 조절하는 결합 설계다.
2.2 한국어 토크나이저가 늘리는 실효 문맥
컨텍스트 길이는 모델 구조만으로 결정되지 않는다. 동일한 의미를 몇 토큰에 담는지에 따라 명목상 1M 창의 실효 용량이 달라지기 때문이다. Solar Open 2는 한국어와 목표 도메인을 과표집한 말뭉치로 학습한 커스텀 바이트 수준 BPE를 Solar Open 1에서 수정 없이 물려받는다. 196,608개 어휘, 숫자 분리, 공백 보존은 한국어 효율과 산술·코드의 충실도를 함께 겨냥하며, 두 세대의 어휘가 같다는 사실은 임베딩과 출력층 이전의 전제이기도 하다.
그림 2의 Ko-Agent 결과에서 Solar Open 2 토크나이저는 토큰당 4.41바이트로 12개 비교 대상 중 1위다. 최상위 글로벌 모델 MiniMax-M3의 3.54보다 약 24% 효율적이고, 한국 주권형 모델 A.X-K1의 4.27과 K-EXAONE의 4.12도 앞선다. 일반 한국어에서도 5.40으로 글로벌 모델 최고치인 Qwen3.5의 4.36보다 높다. 에이전트 궤적은 여러 턴에 걸쳐 작업 상태가 누적되므로 이 차이는 같은 1M 창에 더 많은 한국어 업무 기록을 넣고 추론 비용을 낮추는 직접적인 이점이 된다.
2.3 MoE가 분리하는 총용량과 토큰당 비용
MoE의 설계 압력은 모델의 지식·추론 용량을 키우면서 모든 토큰에 전체 파라미터를 통과시키지 않으려는 데서 나온다. Solar Open 2는 총 250B지만 토큰당 15B만 활성화하고, 320개 라우팅 전문가 가운데 Top-$k=8$을 선택하면서 항상 켜지는 공유 전문가 1개를 둔다. 이 구성은 전작의 총 102B, 활성 12B, 라우팅 전문가 128개보다 큰 표현 용량을 제공하되 토큰당 활성량의 증가는 제한한다. 총용량과 실행비용의 분리가 장문 모델을 큰 규모로 운용하기 위한 또 하나의 축인 셈이다.
하지만 MoE 확장은 이전 세대 재사용을 어렵게 만든다. 128개 전문가를 320개에 일대일로 대응시킬 수 없고, 기존 전문가를 단순 복제하면 전문가 사이의 유사성이 커져 전문화를 해칠 수 있다. 여기에 전 소프트맥스를 12개 소프트맥스층과 36개 선형층으로 바꾸면 어텐션 모듈의 형상과 계산도 달라진다. 따라서 같은 구조를 단순 확대하거나 밀집 모델을 MoE로 업사이클하는 기존 재사용 문제와 달리, Solar Open 2에는 구조 변화 이후에도 의미가 같은 가중치만 고르는 초기화 원칙이 필요하다.
위치 인코딩도 긴 문맥의 별도 압력이다. RoPE 같은 명시적 방식은 쿼리와 키에 거리를 주입하지만, 모델을 학습에서 본 길이 분포에 묶어 목표 길이 전체를 포괄하는 데이터와 외삽 기법을 요구한다. Solar Open 2는 소프트맥스층에서 위치 신호를 제거하고, 토큰 순서는 순차 상태를 갱신하는 선형 어텐션이 맡도록 한다. 이 선택은 위치 외삽 병목을 줄이는 대신 장기 상태가 순서를 정확히 보존하고 오류를 지울 수 있어야 한다는 새로운 압력을 만든다.
3. 방법론: Solar Open 2의 하이브리드 MoE와 선택적 가중치 이전
3.1 유지한 백본, 바꾼 어텐션과 전문가 풀
Solar Open 2의 방법론은 전작과 맞닿는 골격을 남기고, 1M 문맥에 필요한 부분만 과감히 바꾸는 데서 시작한다. 유지한 항목은 48개 층, 은닉 크기 4,096, 헤드 차원 128, 쿼리 헤드 64개와 KV 헤드 8개, 196,608개 어휘, 공유 전문가 1개, 사전 정규화 잔차 연결이다. 반면 어텐션은 하이브리드로 바꾸고 위치 인코딩을 완전히 제거했으며, 라우팅 전문가 풀은 128개에서 320개로 확대했다. 밀집 FFN 층 없이 각 어텐션층이 MoE 블록과 짝을 이룬다는 점도 구조의 일관된 특징이다.
그림 3의 S-L-L-L 패턴은 소프트맥스 12층과 선형 36층, 즉 각각 전체의 25%와 75%를 만든다. 각 4층 블록에서 소프트맥스가 먼저 오며, 선형 우선인 L-L-L-S 순서를 쓰는 Kimi Linear·Qwen3.5와 다르다. 소프트맥스층은 64개 쿼리와 8개 KV 헤드의 GQA로 정확한 전역 조회를 맡고, 선형층은 64개 헤드의 KDA 상태로 긴 시퀀스를 압축한다. 모든 층의 MoE는 320개 라우팅 전문가 중 8개와 공유 전문가 1개를 활성화해 큰 총용량과 15B의 토큰당 활성량을 결합한다.
아래 표는 전작에서 무엇을 보존하고 무엇을 바꾸었는지를 한눈에 정리한다. 핵심은 총 파라미터와 문맥 길이, 어텐션, 전문가 수는 크게 바뀌었지만 층수와 은닉 차원, 헤드 차원, 어휘와 MoE 중간 크기는 같다는 점이다. 이 겹치는 형상은 뒤에서 설명할 선택적 가중치 이전의 물리적 접점을 제공한다. 즉 구조 사양표 자체가 초기화 가능성의 지도다.
| 하이퍼파라미터 | Solar Open 1 (102B) | Solar Open 2 (250B) |
|---|---|---|
| 총 파라미터 | 102B | 250B |
| 토큰당 활성 파라미터 | 12B | 15B |
| 문맥 길이 | 131,072 (128K) | 1,048,576 (1M) |
| 어휘 크기 | 196,608 | 196,608 |
| 층수 | 48 | 48 |
| 은닉 크기 / 헤드 차원 | 4,096 / 128 | 4,096 / 128 |
| 어텐션 헤드 Q / KV | 64 / 8 | 64 / 8 (소프트맥스층) |
| 어텐션 | Softmax | [Softmax ×1, Linear ×3] ×12 |
| 위치 임베딩 | RoPE, $\theta=10^6$ | NoPE |
| 라우팅 / 공유 전문가 | 128 / 1 | 320 / 1 |
| 토큰당 전문가 Top-$k$ | 8 | 8 |
| MoE 중간 크기 / 활성화 | 1,280 / SiLU | 1,280 / SiLU |
| 가중치 초기화 | 처음부터 학습 | Solar Open 1에서 2.27% 선택 이전 |
표 1에서 KV 헤드 8개는 소프트맥스층에만 적용되며, 선형층은 64개 헤드를 사용하고 KV 캐시를 유지하지 않는다. 소프트맥스층에는 GQA와 원소별 시그모이드 출력 게이트가 들어가고, 선형층에는 확장된 KDA가 들어간다. 이전된 5.69B는 Solar Open 2 전체 250B의 약 2.3%이자 Solar Open 1의 102B 중 5.6%이며 나머지는 무작위 초기화된다. 적은 비율처럼 보이지만 이 부분이 어휘 의미, 정규화, 어텐션 투영, 공유 전문가를 잇는 공유 계산 골격이다.
3.2 NoPE, 출력 게이트, 음의 고윳값
NoPE에서는 소프트맥스 쿼리와 키에 명시적 위치 정보를 넣지 않는다. 대신 순차적으로 상태를 갱신하는 선형 어텐션이 토큰 순서와 상대 위치를 내재적으로 운반하며, 소프트맥스층은 내용 기반의 정확한 전역 회상에 집중한다. 논문은 이로써 RoPE 외삽 한계와 소프트맥스의 위치 학습 병목을 함께 제거한다고 설명한다. 다만 “원리상 무제한 문맥”이라는 구조적 가능성과 최종 모델에서 실제로 확장한 1,048,576토큰 문맥은 구분해 읽어야 한다.
소프트맥스층 출력에는 쿼리에 의존하는 원소별 시그모이드 게이트를 곱한다. 이 게이트는 저랭크 어텐션 매핑에 비선형성을 넣고 출력을 쿼리별로 희소하게 만들며, 소수의 앞쪽 토큰으로 주의가 붕괴하는 어텐션 싱크를 억제한다. 논문이 인용한 경험적 결과상 이 장치는 더 큰 학습률을 견디는 안정성과 긴 문맥 외삽을 개선한다. 1M 목표에서는 단순한 부가 모듈을 넘어 소프트맥스층의 안정적인 전역 조회를 위한 보정 장치다.
선형층의 KDA는 상태 전이 고윳값을 [0,1]에 가두는 표준 설정을 확장한다. Solar Open 2는 쓰기 강도를 $\beta = 2\sigma(\cdot) \in (0,2)$로 넓혀 고윳값 범위를 [-1,1]로 만들며, 그 결과 상태는 감쇠·유지만 하는 대신 부호를 뒤집고 잘못 기록한 정보를 능동적으로 지울 수 있다. 이는 패리티나 모듈러 카운팅 같은 상태 추적 능력과 연결되고, NoPE 구조에서 순서와 장거리 정보를 홀로 운반하는 선형 상태의 누적 오차를 줄인다. 음의 고윳값은 100만 토큰 동안 살아 있는 상태가 스스로 교정할 수 있게 하는 핵심 확장이다.
그림 4는 추론비 절감과 함께 학습 토큰 효율도 검증한다. 10B-A1B 프록시에서 선형 어텐션과 NoPE를 함께 적용했을 때 같은 검증 손실까지 기준 모델 토큰의 약 82.6%만 필요했다. 여기에 시그모이드 출력 게이트가 약 3%, 소프트맥스 우선 순서가 약 1.5%, 음의 고윳값이 약 1%의 추가 절감을 일관되게 보탰다. 손실 수준의 작은 차이는 다운스트림에서 비선형적으로 확대되어 MMLU 210B 대 671B, HellaSwag 210B 대 377B라는 격차로 나타났다.
3.3 선택적 가중치 이전: 같은 의미만 재사용한다
수천억 파라미터 모델을 완전히 무작위 상태에서 시작하는 대신, 연구진은 Solar Open 1에서 표현과 형상이 모두 호환되는 가중치만 직접 옮긴다. 증류나 정렬 손실로 새 어텐션을 흉내 내게 하는 방식 대신 호환부를 부분 웜 스타트로 삼고 128개에서 320개로의 전문가 확대를 포함한 나머지 구조 변화는 대규모 전체 사전학습으로 흡수한다. 선택 규칙은 단순하다. 계산과 형상이 같거나 의미 있게 재매핑할 수 있으면 이전하고, 새롭거나 비호환이면 무작위 초기화한다.
이 접근이 기존 재사용 계열과 다른 지점은 변화의 종류가 한 가지에 그치지 않는다는 데 있다. 종래 방법은 같은 아키텍처의 크기를 키우거나, 밀집 체크포인트를 MoE로 업사이클하거나, 소프트맥스를 선형·순환 구조로 바꾸면서 증류 또는 정렬 손실과 소규모 추가 학습을 사용하는 경우가 중심이었다. Solar Open 2는 어텐션 계열과 전문가 수를 동시에 바꾸면서도 증류 없이 직접 가중치를 옮기고, 이후 전체 사전학습으로 전환을 흡수한다. 논문이 이를 선택적 가중치 이전이라는 별도 이름으로 부르는 이유는 재사용률을 극대화하기보다 아키텍처가 바뀐 경계에서 무엇이 정말 같은 표현인지를 먼저 판별하기 때문이다.
동일한 196,608개 어휘 덕분에 토큰 임베딩과 출력층 1.61B를 옮기고, 학습 안정성을 위해 0.01B 미만의 정규화층도 옮긴다. 12개 소프트맥스층에서는 GQA 형상이 같으므로 $q/k/v/o$ 투영 0.91B를 그대로 이전한다. 36개 선형층에서는 64헤드 형상이 맞는 $q/o$ 투영 2.42B만 GQA 가중치에서 재매핑하고, $k/v$ 투영·감쇠/쓰기 게이트·짧은 합성곱 약 2.5B는 새로 초기화한다. 형상이 같은 공유 전문가 0.75B는 이전하지만, 320개 라우팅 전문가와 라우터 약 241.7B는 일대일 대응이 없어 무작위로 둔다.
아래 표의 중요한 구분은 모듈 이름보다 계산적 동일성이다. 예를 들어 선형 어텐션은 전작에 없지만 쿼리와 출력 투영은 64헤드 형상이 맞아 재매핑할 수 있고, 반대로 소프트맥스 출력 게이트는 크기가 매우 작아도 대응물이 없어 옮기지 않는다. 이 원칙은 이전 비율을 억지로 높이는 대신 잘못된 선입견을 새 구조에 주입할 위험을 낮춘다. 결과적으로 5.69B만 재사용되고 무작위 초기화된 244.3B 중 대부분을 라우팅 전문가 241.7B가 차지한다.
| 구성 요소 | 형상 관계: Solar Open 1 → Solar Open 2 | 파라미터 | 초기화 |
|---|---|---|---|
| 토큰 임베딩 / 출력층 | 동일 | 1.61B | ✓ 이전 |
| 정규화층 | 동일 | <0.01B | ✓ 이전 |
| 소프트맥스 어텐션 12층 | |||
| $q/k/v/o$ 투영 | 동일 | 0.91B | ✓ 이전 |
| 시그모이드 출력 게이트 | 신규 | <0.01B | × 무작위 |
| 선형 어텐션 36층 | |||
| $q/o$ 투영 | 신규, GQA $q/o$에서 재매핑 | 2.42B | ✓ 이전 |
| $k/v$ 투영, 감쇠/쓰기 게이트, 합성곱 | 신규 | 약 2.5B | × 무작위 |
| MoE FFN 48층 | |||
| 공유 전문가 | 동일 | 0.75B | ✓ 이전 |
| 라우팅 전문가 320개 + 라우터 | 128 → 320, 일대일 대응 없음 | 약 241.7B | × 무작위 |
| 이전 합계 | 5.69B | ||
이전 효과는 아키텍처·데이터·옵티마이저를 같게 두고 초기화만 바꾼 200B-A15B 프록시에서 분리해 측정했다. 교차엔트로피 1.8에 도달하는 데 선택 이전은 12.6B토큰, 무작위 초기화는 21.5B토큰이 필요해 약 1.7배, 즉 토큰 사용량으로는 58% 수준이었다. 관측 구간에서 이 이점은 손실 2.6의 약 1.15배에서 손실 1.8의 1.7배로 커졌다. 따라서 2.3%의 이전 비율은 작지만 학습 초반의 방향을 잡는 정보량은 작지 않다.
3.4 토큰당 가치를 높이는 사전학습 커리큘럼
초기화 뒤 사전학습은 선택적 가중치 이전, 일반 사전학습, 집중 사전학습, 길이 확장의 네 단계로 진행된다. 일반 사전학습은 폭넓고 고품질인 혼합물 10T토큰을 사용하고, 집중 사전학습은 같은 말뭉치를 훨씬 높은 품질 기준으로 다시 걸러 남은 1T토큰을 학습한다. 마지막 길이 확장은 0.9T토큰의 지속 학습으로 문맥을 1M까지 늘리고 추론·에이전트 데이터를 주입한다. 이 세 학습 단계의 합은 논문 표현으로 약 12T토큰이며, 최종적으로 중간 체크포인트 4개를 병합한다.
데이터 파이프라인은 이미 1차 정제된 20T토큰 풀을 10T로 줄인다. 각 데이터셋에 내부 품질 점수를 부여하고 출처와 유형별 희소성을 추적하며, 정확 중복과 의미 중복을 모두 제거한 뒤 도메인·언어·출처 기준으로 조직한다. 최상위 혼합 비율은 실제 데이터 대 합성 데이터가 4:6이고, 수학과 코드는 각각 최소 15%, 영어는 80% 초과다. 같은 300B 학습 예산의 10B MoE 절제 실험에서 새 레시피가 모든 벤치마크 그룹을 개선했으므로, 이 단계의 목적은 데이터 양 자체보다 각 토큰이 가르치는 가치를 높이는 데 있다.
동일한 300B토큰 예산에서 레시피만 바꾼 비교는 이 효과를 계산량 증가와 분리한다. Solar Open 2 레시피의 가장 큰 향상은 영어 코드 +0.216, 한국어 수학 +0.204, 영어 수학 +0.146이었고, 나머지 벤치마크 그룹에서도 모두 전작 레시피를 앞섰다. 이는 수학과 코드에 각각 최소 15%를 배정하고 품질·희소성·중복을 함께 제어한 혼합이 목표 영역에만 국소적으로 작동하지 않았음을 뜻한다. 고정된 계산 예산에서 데이터 구성 자체가 성능 변수라는 것이 20T에서 10T로 줄이는 큐레이션의 실험적 근거다.
길이 확장 단계에서는 데이터 분포 변화로 전체 성능이 다소 하락했다. 연구진은 네 개의 중간 체크포인트를 선택해 병합했고, 50개가 넘는 PLM 평가 지표의 평균에서 어떤 단일 체크포인트보다 강한 모델을 얻었다. 최종 병합 점수는 0.745로 보고되며, 이는 긴 문맥을 얻는 마지막 단계가 기존 능력을 자동으로 보존하지는 않는다는 사실을 보여 준다. 종합하면 Solar Open 2의 방법론은 75% 선형·25% 소프트맥스인 하이브리드 MoE, 호환되는 5.69B만 잇는 선택적 이전, 품질·희소성 중심 데이터와 단계적 길이 확장을 하나의 학습 경로로 결합한다.
4. 실험 설정: 사전학습·후학습·에이전트 시나리오·평가 프로토콜
4.1 사전학습과 후학습의 단계 구성
Solar Open 2의 실험을 읽을 때 가장 먼저 구분해야 할 것은 사전학습된 기반 모델과 후학습을 마친 공개 모델이다. 사전학습은 선택적 가중치 전이에서 시작해 약 12T 토큰을 거치며 1M 컨텍스트의 PLM을 만들고, 후학습은 그 PLM에 SFT, 검증 가능한 보상의 강화학습, 도메인 전문가 학습, 다중 교사 증류를 차례로 적용한다. 따라서 6절의 cross-entropy와 50개 이상 PLM 지표는 사전학습 과정의 수치이고, 5절의 영어·한국어 점수는 최종 후학습 모델의 벤치마크 수치다.
초기화에서는 Solar Open 1과 표현 및 형상이 호환되는 임베딩, 정규화, 일부 어텐션 투영, 공유 expert만 옮긴다. 전이량은 전체 250B 중 5.69B, 약 2.3%이며 나머지는 무작위 초기화한다. 이후 General Pre-training은 정제된 10T 토큰, Intensive Pre-training은 그중 더 높은 품질 기준을 통과한 1T 토큰을 다시 학습한다. Length Expansion은 장문 문서와 저장소 단위 코드를 보강해 컨텍스트를 1M으로 늘리고, 네 개 중간 체크포인트를 병합해 최종 PLM을 만든다.
| 구분 | 단계 | 데이터·목표 | 산출물·해석 조건 |
|---|---|---|---|
| 사전학습 1 | Selective Weight Transfer | 5.69B 파라미터 전이, 나머지 무작위 초기화 | 초기화 ablation의 조건 |
| 사전학습 2 | General Pre-training | 고품질 광범위 혼합 10T 토큰 | PLM 성능 상승 후 정체 |
| 사전학습 3 | Intensive Pre-training | 더 엄격히 선별한 1T 토큰 | PLM 지표 재상승 |
| 사전학습 4 | Length Expansion | 약 0.9T, 도표상 865B 토큰·1M 컨텍스트 | 네 체크포인트 병합, PLM 평균 0.745 |
| 후학습 1 | SFT | 대화 형식·추론·에이전트 과제 | 범용 모델 기반 |
| 후학습 2 | Multi-domain RL | STEM 중심, 검증 가능한 보상 | 핵심 추론 강화 |
| 후학습 3 | Specialist | 도메인 SFT와 RL | 12개 교사 모델 |
| 후학습 4 | MOPD | 학생 on-policy 궤적의 full-vocabulary reverse KL | 최종 공개·평가 모델 |
표 1에서 Length Expansion의 양은 본문이 반올림해 0.9T로 설명하고 성능 도표 캡션은 865B로 명시한다. 둘을 서로 다른 실험으로 해석해서는 안 된다. 또 SFT와 Multi-domain RL의 구체 데이터 조성은 논문 범위 밖이라고 저자들이 밝혔으므로, 결과 점수에서 역으로 데이터 비율을 추정하지 않는다. 공개된 핵심은 12개 specialist를 한 모델에 합치는 MOPD와 이를 지탱하는 완전 비동기 RL 시스템이다.
4.2 에이전트 시나리오와 검증 신호
에이전트 데이터는 웹에서 수집한 정적 말뭉치 대신 환경 구축 → 과제 합성 → trajectory rollout → 실행 또는 증거 기반 검증의 순서로 만든다. 모든 파이프라인은 평가 벤치마크와 오염 제거를 수행한다. 일반 대화형 에이전트는 상태를 가진 MCP 환경의 도구 실행과, 실제 거래 데이터베이스에서 정책을 준수하는 다중 턴 대화라는 두 축으로 구성된다. 특히 Create·Update·Delete 과제는 먼저 변경 결과를 실행하고 read 도구를 이용한 샌드박스 pytest 검증기를 만든 뒤 지시문을 합성하는 verifier-first 방식이다.
대화 과제의 합격은 단순 정답 문자열보다 hard trace 규칙, LLM 일관성 판정, 실행 가능한 read-back의 세 단계로 결정된다. 정책 기반 거래 대화에서는 사용자 시뮬레이터가 의도를 여러 턴에 걸쳐 드러내고, 신원 확인이 실패하면 식별 정보를 보류한다. 실제 DB에 도구 호출을 실행한 뒤 LLM rubric과 정책 의미를 표현한 구조적 gate를 함께 적용하므로, 의미상 그럴듯하지만 정책 위반인 응답이 훈련 신호로 섞이는 것을 줄인다.
코딩 에이전트는 SWE·terminal·artifact 세 시나리오를 사용한다. SWE는 OpenHands, Claude Code, OpenCode, KiloCode, HermesAgent의 서로 다른 scaffold를 섞고, 18개 프로그래밍 언어의 pull request로 Docker 환경을 합성한다. base commit에서는 실패하고 gold patch 뒤에는 통과하는 fail-to-pass 조건을 만족해야 채택되며, 정답을 Git 이력에서 복원하지 못하도록 저장소 이력도 제거한다. SWE-bench Verified·Multilingual·Pro와는 instance보다 엄격한 저장소 수준으로 오염을 제거한다.
terminal 시나리오는 데이터 과학·과학 계산 등을 포함한 10개가 넘는 도메인에서 실제 terminal 과제를 수행하게 하며, 오류를 만난 뒤 자체 테스트를 만들고 수정·재실행하는 행동을 강조한다. artifact 시나리오는 웹사이트, 게임, 3D 디자인, 데이터 시각화, UI component, SVG의 6개 범주를 다룬다. lint와 Playwright 실행 검사 뒤 전체 페이지 screenshot을 VLM이 기능 완결성과 시각 완결성 기준으로 판정한다.
오피스 업무는 OfficeVerse가 담당한다. 11개 산업 도메인과 12개 과제 유형의 행렬을 만들고, 분석→xlsx나 발표→pptx처럼 인지 작업과 산출물 형식을 결합한다. 실제 상업 이용 가능한 공공 데이터에 과제를 grounding하며, 단일 산출물 중심의 직업 과제와 파일이 여러 폴더에 흩어진 workspace 과제를 함께 합성한다. 결과물은 binary 형식에서 내용을 추출해 rubric별 규칙 검사기 또는 LLM judge로 보내고, 같은 outcome 기록을 SFT 채택과 RL 보상에 재사용한다.
한국어 오피스 시나리오는 한국 직업 분류와 공공·산업 데이터, 한국식 숫자 단위와 업무 용어·파일명, CJK glyph 렌더링까지 검사한다. 논문 부록의 실제 과제는 요양급여 PDF, 공장 에너지 절감 XLSX, 국가재정 DOCX, 예결특위 PPTX처럼 서로 다른 파일 형식과 수치 검증을 동시에 요구한다. 이는 Ko-GDPval이 단순 한국어 질의응답을 넘어 파일 검색, 계산, 인용, 형식 준수를 합친 평가인 이유를 보여 준다.
4.3 평가 대상과 프로토콜
영어 평가는 지식·추론, 지시 이행·장문, 에이전트의 세 묶음이다. 비교 대상은 총 파라미터 320B 미만의 강한 open-weight 모델인 DeepSeek-V4-Flash 284B-A13B, MiMo-V2.5 310B-A15B, Command A+ 218B-A25B, Mistral Medium 3.5 128B dense와 이전 세대 Solar Open 1 102B-A12B다. 한국어 평가에는 같은 계열에 fast-tier closed API인 Claude Haiku 4.5와 GPT-5.4 mini를 추가한다.
모든 표의 수치는 저자들의 동일한 내부 evaluation harness로 benchmark별 설정을 맞춰 측정했다. 다만 이는 벤치마크가 자체 제작됐다는 뜻이 아니다. 한국어 표에서 Ko-AIME 2025, KBank-MMLU, Ko-GDPval만 in-house이고 나머지는 공개 benchmark다. 영어 GDPval-AA v2는 2026년 6월 30일 측정 ELO다. 모델 크기의 A는 MoE에서 한 토큰 처리 때 활성화되는 파라미터를 뜻하므로, 250B-A15B와 128B dense의 숫자를 같은 의미로 비교해서는 안 된다.
5. 주요 실험 결과: 영어·한국어·Ko-GDPval
5.1 영어: 최상위권 추론과 국소적인 에이전트 격차
아래 표는 전체 영어 표 가운데 비교의 핵심을 드러내는 subset이다. 모두 후학습 완료 모델의 benchmark 점수이며, 6절의 10B·200B proxy ablation이나 사전학습 PLM 평균과 섞지 않았다. Solar Open 2는 MMLU-Pro 86.2와 LiveCodeBench v6 92.4로 비교군 최고이며, GPQA-Diamond 86.3, HLE 28.8, HMMT2602 93.9에서는 DeepSeek-V4-Flash 다음이다. 지시 이행도 IFBench 80.0 대 80.3으로 사실상 접전이다.
| 그룹 | Benchmark | Solar Open 2 | Solar Open 1 | MiMo-V2.5 | DeepSeek-V4-Flash |
|---|---|---|---|---|---|
| 지식·추론 | MMLU-Pro | 86.2 | 80.4 | 84.6 | 85.9 |
| 지식·추론 | GPQA-Diamond | 86.3 | 66.2 | 83.0 | 88.9 |
| 지식·추론 | HLE, 도구 없음 | 28.8 | 11.5 | 24.3 | 32.3 |
| 지식·추론 | LiveCodeBench v6 | 92.4 | 56.5 | 89.1 | 92.3 |
| 지시·장문 | IFBench | 80.0 | 57.7 | 67.1 | 80.3 |
| 에이전트 | SWE-Bench Verified | 70.4 | 15.4 | 73.0 | 73.8 |
| 에이전트 | Terminal Bench Hard | 28.3 | 2.3 | 41.7 | 34.1 |
| 에이전트 | APEX-Agents | 16.6 | 2.4 | 13.4 | 13.2 |
| 에이전트 | MCP-Atlas | 58.2 | 34.4 | 63.9 | 58.2 |
| 에이전트 | GDPval-AA v2, ELO | 1128 | - | 1145 | 1187 |
에이전트 결과는 일괄 우위로 나타나지 않고 강점과 병목이 분리된다. APEX-Agents 16.6은 비교군 최고이고 MCP-Atlas 58.2는 DeepSeek와 같지만 MiMo의 63.9에는 못 미친다. 반면 SWE-Bench Verified는 70.4 대 73.0~73.8, Terminal Bench Hard는 28.3 대 MiMo 41.7로 저장소·터미널 실행에 격차가 집중된다. 전체 영어 표의 $\tau^3$ banking도 19.6으로 DeepSeek 22.3에 이은 2위다.
세대 간 변화는 더 크다. Solar Open 1 대비 SWE-Bench Verified는 15.4→70.4, MCP-Atlas는 34.4→58.2, APEX-Agents는 2.4→16.6이다. 추론에서도 GPQA-Diamond 66.2→86.3, HLE 11.5→28.8, HMMT2602 68.9→93.9로 뛴다. 다만 이 전부를 특정 한 요소의 인과 효과로 돌릴 수는 없다. architecture, 데이터 recipe, curriculum, 후학습과 에이전트 시나리오가 함께 바뀐 세대 비교이기 때문이다.
5.2 한국어: 평균 1위와 폭넓은 전문 영역 성능
한국어 suite는 일반 지식, 언어·문화, 수학 추론, 금융·법률·의학, 오피스 에이전트를 한 표에서 평가한다. Solar Open 2 평균 85.4는 DeepSeek-V4-Flash 84.9, GPT-5.4 mini 80.8, MiMo-V2.5 77.5, Claude Haiku 4.5 69.6보다 높다. 아래 수치는 모두 최종 후학습 모델의 benchmark 결과이며, dagger에 해당하는 Ko-AIME 2025·KBank-MMLU·Ko-GDPval만 저자들의 in-house 평가다.
| Benchmark | 구분 | Solar Open 2 | Solar Open 1 | MiMo-V2.5 | DeepSeek-V4-Flash | Claude Haiku 4.5 | GPT-5.4 mini |
|---|---|---|---|---|---|---|---|
| KMMLU-Pro | 공개 | 78.4 | 64.0 | 69.1 | 78.9 | 67.9 | 78.1 |
| CLIcK | 공개 | 90.7 | 78.9 | 78.4 | 89.2 | 53.5 | 89.6 |
| HAE-RAE v1.1 | 공개 | 73.8 | 73.3 | 61.7 | 73.1 | 38.5 | 69.4 |
| Ko-AIME 2025 | in-house | 97.7 | 80.0 | 88.0 | 98.0 | 81.7 | 90.7 |
| HRM8K | 공개 | 92.2 | 87.6 | 90.7 | 93.4 | 90.6 | 91.3 |
| KBank-MMLU | in-house | 80.8 | 65.5 | 71.0 | 79.5 | 68.9 | 79.0 |
| KBL | 공개 | 75.5 | 65.5 | 69.8 | 72.8 | 69.9 | 75.3 |
| KorMedMCQA | 공개 | 93.0 | 84.4 | 87.7 | 94.1 | 87.0 | 94.2 |
| Ko-GDPval | in-house | 86.8 | 3.4 | 81.0 | 85.0 | 68.3 | 59.4 |
| 평균 | 9개 평균 | 85.4 | 67.0 | 77.5 | 84.9 | 69.6 | 80.8 |
선두는 한 유형에만 몰리지 않는다. 언어·문화의 CLIcK 90.7, 금융의 KBank-MMLU 80.8, 법률의 KBL 75.5에서 비교군 최고이고, KMMLU-Pro 78.4와 Ko-AIME 97.7은 선두에서 1점 이내다. 반면 HRM8K 92.2와 KorMedMCQA 93.0은 DeepSeek 또는 GPT 계열보다 낮다. 그러므로 평균 1위는 모든 열을 석권해서 나온 결과가 아니며, 한국어 문화·전문 업무·오피스 에이전트의 균형에서 나온 결과다.
이전 세대 대비 평균은 67.0에서 85.4로 18.4점 상승했다. 특히 Ko-GDPval 3.4→86.8은 단순 언어 능력 향상으로 설명하기 어려운 질적 변화다. 저자들은 한국어 효율 tokenizer, 사전학습의 한국어 데이터 curation, OfficeVerse 기반 후학습을 함께 원인 후보로 제시하지만, 구성 요소별 Ko-GDPval ablation은 보고하지 않았다. 따라서 이 세 요인의 개별 기여도는 아직 분리해 말할 수 없다.
5.3 Ko-GDPval: 한국형 고가치 오피스 업무
Ko-GDPval은 in-house benchmark로, 한국 산업·법·업무 관행에 GDPval의 경제적으로 가치 있는 실제 작업 패러다임을 이식한다. 11개 산업, 58개 직업의 한국어 과제 170개로 구성되며 법률가, 회계사, 감염관리 전문가, 프로젝트 파이낸스 심사역 등 실제 직무의 법령·공식·절차를 rubric에 반영한다. 모델은 답 작성에 그치지 않고 pdf, xlsx, docx, pptx 같은 업무 산출물을 sandbox에서 만들어야 한다.
| Model | Size | Score | Data | Content | Structure | Quality | Value Format | Constraint | File Format |
|---|---|---|---|---|---|---|---|---|---|
| DeepSeek-V4-Pro | 1.6T | 86.9 | 82.1 | 90.5 | 96.6 | 84.2 | 81.0 | 88.2 | 99.4 |
| Solar Open 2 | 250B | 86.8 | 83.5 | 89.1 | 96.5 | 79.2 | 82.0 | 86.7 | 99.8 |
| DeepSeek-V4-Flash | 284B | 85.0 | 81.0 | 87.6 | 95.9 | 78.2 | 78.3 | 86.9 | 100.0 |
| MiMo-V2.5-Pro | 1T | 84.6 | 80.6 | 87.7 | 95.2 | 75.8 | 78.5 | 86.4 | 99.2 |
| MiMo-V2.5 | 310B | 81.0 | 76.2 | 84.0 | 93.4 | 72.6 | 73.1 | 84.8 | 97.9 |
| Claude Haiku 4.5 | closed | 68.3 | 60.6 | 71.3 | 88.6 | 56.2 | 59.7 | 78.2 | 99.8 |
| GPT-5.4 mini | closed | 59.4 | 54.4 | 54.6 | 85.7 | 36.8 | 43.7 | 83.1 | 97.5 |
Solar Open 2의 86.8은 1.6T DeepSeek-V4-Pro 86.9에 0.1점 뒤지고, 1T MiMo-V2.5-Pro 84.6과 284B Flash 85.0을 앞선다. grading dimension을 보면 Pro 대비 Quality가 79.2 대 84.2로 가장 큰 약점이다. 반대로 Data는 83.5 대 82.1, Value Format은 82.0 대 81.0으로 앞선다. File Format은 모든 상위 모델이 99점대로 포화되어 전체 차이를 거의 설명하지 못한다.
이 결과의 의미는 작은 객관식 한국어 test에서 끝나지 않는다. 원문 사례에서 모델은 55개 AML 규칙 위반 거래를 xlsx에 정리하면서 같은 내용을 regulator-facing pdf로 일치시켰고, 의료기기 PMS 보고서와 변호사 광고 자체점검 문서에서는 원자료의 식별자·합계·법적 근거를 추적 가능하게 유지했다. 즉 높은 점수는 데이터 충실도와 산출물 간 일관성을 포함하지만, Quality 79.2는 문서의 전문적 완성도에는 여전히 개선 여지가 있음을 보여 준다.
6. 추가 분석 및 Ablation Study: 초기화·데이터 recipe·curriculum·비동기 RL·MOPD
6.1 선택적 초기화: 2.3%의 가중치가 만든 학습 가속
선택적 가중치 전이는 architecture가 달라져도 공유되는 계산 골격만 재사용한다. 동일한 196,608 vocabulary의 embedding·output layer 1.61B, 정규화, 12개 softmax attention layer의 $q/k/v/o$ 0.91B, 36개 linear attention layer에 재매핑한 $q/o$ 2.42B, 형태가 같은 shared expert 0.75B가 전이된다. 반대로 linear attention의 $k/v$, decay·write gate·convolution 약 2.5B와 320개 routed expert 및 router 약 241.7B는 무작위 초기화한다.
이 ablation은 최종 250B benchmark가 아닌 architecture·데이터·optimizer를 같게 둔 200B-A15B proxy 실험이다. 전이 run은 loss 1.8에 12.6B 토큰으로 도달하지만 무작위 초기화는 21.5B가 필요해 약 1.7배 차이가 난다. 곡선은 $\alpha=0.06$ EMA이며, 관측 범위에서 격차는 loss 2.6의 약 1.15배에서 1.8의 1.7배로 커진다.
통제된 결론은 5.69B 전이가 같은 목표 loss에 필요한 토큰을 58% 수준으로 줄였다는 것이다. 그러나 이는 최종 공개 모델의 정확도가 몇 점 상승했다는 ablation이 아니다. proxy의 training cross-entropy와 최종 benchmark를 직접 환산할 근거도 없다. 의미 있는 점은 대부분의 expert가 새로 초기화되는 큰 구조 변경에서도 embedding과 attention 골격의 작은 비율이 최적화 초반의 유용한 출발점이 됐다는 사실이다.
6.2 데이터 recipe: 동일 300B 토큰에서의 품질 차이
사전학습 corpus pipeline은 처음 정제된 20T pool을 10T로 줄인다. 각 데이터에 in-house quality score를 주고 source·type별 rarity를 추적하며, exact 및 semantic deduplication 뒤 domain·language·source로 분류한다. 최종 혼합은 real:synthetic = 4:6, math와 code 각각 최소 15%, English 80% 초과라는 상위 비율을 갖는다. 이 비율은 10B MoE에서 token budget을 고정한 recipe ablation으로 선택했다.
이 도표 역시 최종 모델 점수가 아닌 10B MoE proxy의 사전학습 데이터 ablation이다. 두 run 모두 300B 토큰을 사용해 compute와 token 수를 통제했고 Solar Open 2 recipe가 모든 benchmark group에서 앞섰다. 가장 큰 절대 증가는 en_code +0.216, ko_math +0.204, en_math +0.146으로, 단순 corpus 확대보다 같은 토큰이 가르치는 내용의 차이를 측정한다.
결과가 모든 그룹에서 개선됐다는 점은 수학·코드 비중 확대가 일반 영역을 희생하지 않았음을 시사한다. 다만 도표는 quality scoring, rarity, deduplication, synthetic 비율, 언어 비율을 하나씩 제거한 factorial ablation이 아닌 이전 recipe와 새 recipe의 묶음 비교다. 따라서 en_code +0.216을 synthetic data 하나의 효과라고 부르거나, 한국어 성능 향상을 특정 filter 하나의 기여로 배분해서는 안 된다.
6.3 curriculum과 체크포인트 병합
curriculum은 General 10T, Intensive 1T, Length Expansion의 순서다. 첫 단계에서 성능이 상승하다 정체하면 같은 pool을 더 높은 품질 threshold로 다시 선별해 학습하고, 마지막에는 threshold를 더 높인 base corpus에 장문 문서와 repo-level code를 더한다. 1M context 확장 중 분포 이동으로 평균 성능이 소폭 하락하자 저자들은 네 중간 checkpoint를 merge했다. 이는 단일 마지막 checkpoint를 무조건 채택하는 대신 서로 다른 학습 지점의 강점을 결합한 선택이다.
가로축은 누적 사전학습 토큰이며 General 10T 뒤 Intensive 1T에서 평균이 다시 오르고, Length Expansion 865B에서는 분포 이동과 함께 조금 낮아진다. 별표는 checkpoint merge를 뜻하고 네 중간 checkpoint를 합친 최종 PLM 평균 0.745가 모든 단일 checkpoint보다 높다. 이 0.745는 후학습 뒤 영어·한국어 benchmark 평균이 아닌 50개 이상 PLM 평가 지표의 집계값이다.
curriculum의 근거는 단계 전환과 성능 궤적, 최종 merge의 0.745다. 그러나 General만 계속했을 때, Intensive를 생략했을 때, 장문 데이터를 다른 시점에 넣었을 때의 완전한 대조군은 제시되지 않는다. 따라서 그림은 운영상 관찰된 stagnation·recovery·degradation을 잘 보여 주지만 각 단계의 엄밀한 독립 인과 효과까지 확정하는 실험은 아니다.
6.4 완전 비동기 RL: 긴 trajectory를 버리지 않는 방법
에이전트 rollout 길이는 long tail이라 synchronous 학습은 가장 느린 trajectory를 기다리는 동안 GPU를 놀린다. Solar Open 2는 actor와 trainer를 별도 GPU pool로 분리하고 완료 trajectory가 buffer에 충분히 쌓이는 즉시 update한다. 새 weight가 오면 generation을 잠깐 멈추고 broadcast한 뒤 진행 중 trajectory의 KV cache를 새 parameter로 재계산한다. token ID와 생성 당시 policy version·log-probability를 직접 전달해 detokenization과 retokenization 경계 오류도 없앤다.
| 구성 | 문제 | 처리 | gradient 조건 |
|---|---|---|---|
| 분리 architecture | straggler 대기 | actor·trainer 분리, in-flight weight update와 KV 재계산 | token별 policy metadata 보존 |
| Fresh-token gateway | off-policy staleness | fresh 비율이 $\rho$ 이상인 trajectory만 채택 | staleness $\leq s_{\max}$ token만 사용 |
| Length·staleness sampling | startup의 짧은 응답 편향 | 길이 bin마다 하나, bin 안에서는 가장 stale한 것 우선 | 길이 spectrum을 batch에 분산 |
| Double-sided IS | rollout·training policy drift | 기록 log-prob으로 token-level ratio 계산 | 양방향 trust region 밖 token 제외 |
| 환경 실패·group repair | container 등 정책 외 실패 | 환경 실패 제외, 과반 유효 시 복제로 원 group 복원 | 과반 이하 유효면 group 전체 폐기 |
여기서 staleness는 현재 학습 policy version과 token 생성 version의 update 횟수 차이다. token이 $s_{\max}$ 이하로 오래됐으면 fresh이며, trajectory의 fresh-token 비율이 $\rho$ 이상이어야 buffer에서 학습으로 넘어간다. 논문은 $s_{\max}$, $\rho$, startup pre-generation 배수 $N$을 기호로 정의하지만 실제 설정값은 공개하지 않는다. 그러므로 표 5는 구조와 판정식을 요약한 것이지 재현 가능한 hyperparameter 표는 아니다.
각 token은 생성 policy version을 기록하며 현재 version과의 차이가 $s_{\max}$ 이하일 때 fresh다. 위 사례처럼 fresh 비율이 $\rho$ 이상이면 trajectory를 살리되 stale prefix를 loss에서 mask하고, 아래 사례처럼 기준 미달이면 전체를 버린다. 따라서 이미 많은 compute가 든 긴 trajectory를 무조건 폐기하지 않으면서도 과도하게 off-policy인 token은 gradient에 전혀 기여하지 못한다.
첫 optimizer step 전에는 batch size의 $N$배 trajectory를 미리 생성해 긴 응답도 buffer에 도착할 시간을 준다. 매 step에서 buffer를 길이순으로 정렬해 $\lfloor |buffer|/|batch| \rfloor$개 bin으로 나누고 bin마다 하나를 뽑으므로 batch가 전체 길이 범위를 덮는다. 같은 bin에서는 가장 stale한 파란 sample을 먼저 소비해 만료 전 활용률을 높인다.
두 mask는 독립적으로 겹친다. 한 token이 gradient에 들어가려면 fresh하면서 importance-ratio trust region 안에 있어야 한다. trajectory 한 개 안에서도 여러 policy version이 섞일 수 있어 sequence-level이 아닌 token-level ratio를 유지한다. 환경 고장 sample을 제거한 뒤에는 valid rollout이 group의 절반을 초과할 때만 복제해 원래 GRPO group size를 복원하고, 그렇지 않으면 group 전체를 버려 잘못된 advantage를 막는다.
6.5 MOPD: 12개 specialist를 한 모델로 통합
12개 specialist는 reasoning의 math·STEM·code, agents & tools의 coding·general tool use·single-workspace·multi-workspace·search, preference & alignment의 instruction following·human preference·safety·abstention으로 나뉜다. 각 교사는 domain SFT와 검증 가능한 보상의 RL로 개별 육성된다. 일반적인 teacher trace SFT는 학생이 자기 오류로 방문한 상태를 보지 못하는 exposure bias가 있지만, MOPD는 학생이 직접 생성한 trajectory를 해당 prompt에 routing된 교사가 평가한다.
학생 objective는 각 위치에서 routed teacher에 대한 reverse KL 하나뿐이다. sampled token 하나로 근사하지 않고 vocabulary 전체에 대해 closed form으로 계산하며, 별도의 outcome reward를 더하지 않는다. 보상 기반 group-relative 학습이 prompt마다 $G$개 rollout을 요구한다면 MOPD는 prompt당 1 rollout만 사용한다. 같은 generation budget에서 step당 서로 다른 prompt를 $G$배 더 볼 수 있고, reward와 KL을 섞는 $\lambda$나 reward-hacking 표면도 사라진다.
| 항목 | naive 비용·문제 | MOPD 구현 | 정량 조건 |
|---|---|---|---|
| 훈련 신호 | off-policy teacher trace 또는 sparse reward | 학생 on-policy 상태의 full-vocabulary reverse KL만 사용 | prompt당 교사 1개·rollout 1개 |
| 교사 배치 | colocation 시 매 step 교사 forward가 critical path | 교사 pool에 dedicated node 부여 | 12개 250B 교사 |
| dense 신호 | fp32 $[L\times V]$가 microbatch당 약 26GB | 교사는 $[L\times H]$ hidden state만 전송, 학생이 tile별 logit 복원 | $V=196{,}608$, $H=4{,}096$, 전송 48배 축소 |
| GPU peak | 전체 $[L\times V]$ materialization | activation checkpointing과 1,024-token tile | 단일 $[tile\times V]$ 약 1.1GB |
| compute·transport | 학생 DP 확장 때 교사 재계산 위험 | global sample index cache, 맞는 CP shard만 전송 | 총 교사 compute $O(batch)$ |
| 교사 pool | 12개 모델 GPU 동시 상주 불가 | GPU model 1개와 CPU snapshot 12개, teacher별 microbatch packing | swap을 연속 batch에 amortize |
full-vocabulary KL의 병목은 vocab 196,608개에 대한 $[L\times V]$ 분포다. fp32로 microbatch당 약 26GB이므로 teacher는 lm_head 이전 $H=4{,}096$ hidden state만 보내 전송량을 48배 줄인다. 학생은 1,024-token tile별로 logit을 복원·축약해 peak를 약 1.1GB로 제한하되 objective를 근사하지 않는다. 각 sample은 교사 하나에만 routing되므로 교사가 12개여도 총 teacher compute는 $O(batch)$다.
교사 12개를 accelerator에 동시에 올릴 수 없어 GPU에는 한 모델만 상주시킨 채 CPU에 12개 parameter snapshot을 두고 필요할 때 swap한다. microbatch를 teacher별로 묶어 연속 처리함으로써 swap 비용을 amortize하고, global sample index cache로 student data parallel width가 늘어도 teacher forward를 반복하지 않는다. context parallelism에서는 같은 rank가 필요한 shard만 전송해 all-gather를 피한다.
MOPD 결과의 해석 범위도 중요하다. 논문은 KL-only objective가 안정적으로 감소하고 entropy가 collapse 없이 줄며 사실상 on-policy 상태를 유지했다고 보고한다. 하지만 12개 specialist 각각과 통합 모델의 domain별 점수표, reward를 추가한 대조군, trace SFT 대조군은 제시하지 않는다. 따라서 강한 주장은 시스템이 exact dense signal을 250B scale에서 실행했다는 것이며, 모든 대안보다 정확도가 높다는 결론은 아직 직접 검증되지 않았다.
이 평가는 in-house 한국어 대화 835 turn을 익명 비교한 별도 분석이다. Solar Open 2 선호는 44.1%, DeepSeek-V4-Flash 선호는 26.6%였고, 사실 오류나 깨진 답처럼 다른 장점으로 상쇄하기 어려운 decisive win은 21.2% 대 8.5%였다. alignment·honesty·safety의 순마진이 컸으며 usability는 대체로 비슷해 benchmark 표의 수치와 다른 질적 축을 보완한다.
정성 평가는 한국어 전문화가 단순 유창성을 넘어 논쟁적 사안의 관점, 사실을 단언하거나 유보할 기준, 한국 규범에서 위해로 간주되는 요청의 처리에 연결될 가능성을 보여 준다. 다만 평가 표본은 in-house 835 turn이고 비교 상대도 DeepSeek-V4-Flash 하나다. 따라서 이 결과는 한국어 suite 평균 85.4나 Ko-GDPval 86.8과 함께 읽을 보조 근거이며, 모든 closed model에 대한 일반적 인간 선호 우위를 뜻하지는 않는다.
6.6 수치의 계보를 분리해서 읽는 법
이 논문의 정량 결과는 하나의 표에 놓여 있어도 생성 경로가 서로 다르다. 아키텍처 비교는 처음부터 학습한 10B-A1B 프록시 두 개를 같은 데이터 순서로 훈련한 절제 실험이고, 선택적 이전 비교는 200B-A15B 프록시에서 초기 cross-entropy를 관찰한 실험이다. 최종 250B-A15B 모델의 한국어·영어 벤치마크와 동일한 조건이 아니므로, 프록시의 학습 가속을 최종 모델의 절대 성능 향상분으로 환산할 수 없다. 이 구분을 유지해야 210B 대 671B 같은 토큰 수 차이가 무엇을 증명하고 무엇을 증명하지 않는지 선명해진다.
사전학습 커리큘럼 그래프의 세로축도 개별 벤치마크 하나에 그치지 않고 50개가 넘는 PLM 지표의 평균이다. General 10T 구간의 정체, Intensive 1T 구간의 재상승, Length Expansion과 체크포인트 병합 뒤의 0.745는 데이터 recipe와 병합 전략을 함께 거친 결과다. 따라서 이 곡선만으로 Intensive 데이터 선별이나 merge 가운데 어느 요소가 얼마만큼 기여했는지 나눌 수 없다. 필요한 후속 절제는 같은 체크포인트에서 데이터 단계와 병합 유무를 교차시켜, 평균과 함께 언어·추론·장문 하위 그룹별 변화까지 공개하는 것이다.
최종 영어 표는 저자들이 내부 evaluation harness로 다시 측정한 값이다. 이 방식은 동일한 프롬프트와 채점 설정을 적용한다는 장점이 있지만, 각 비교 모델 제공자가 보고한 공식 수치와 같은 계보는 아니다. 한국어 표에서도 KMMLU-Pro·CLIcK·HAE-RAE·HRM8K·KBL·KorMedMCQA처럼 공개 벤치마크와 Ko-AIME 2025·KBank-MMLU·Ko-GDPval처럼 저자 측 in-house 평가를 분리해야 한다. 평균 85.4는 아홉 항목을 한 묶음으로 집계한 논문 내 요약이며, 외부 기관의 독립 재현 결과로 읽어서는 안 된다.
6.7 긴 에이전트 궤적에서 최적화 단위를 다시 정의하다
에이전트 RL에서는 한 응답이 짧은 문답보다 훨씬 길고, 컨테이너 실행이나 도구 호출이 섞이기 때문에 rollout 완료 시간이 크게 흔들린다. 동기식 방식은 가장 늦은 궤적을 기다리는 동안 trainer가 멈추지만, Solar Open 2의 완전 비동기 구조는 actor와 trainer를 분리해 완료된 궤적을 계속 소비한다. 그 대가로 rollout 정책과 현재 학습 정책 사이의 staleness가 생기며, 논문은 이를 단순 대기열 문제를 넘어 gradient가 어떤 토큰을 신뢰할지 결정하는 문제로 바꾼다.
fresh-token gateway는 궤적 전체를 새것 또는 오래된 것으로 이분하지 않는다. 각 토큰의 policy version을 추적해 staleness가 허용 상한 이하인 토큰 비율을 계산하고, fresh 비율이 임계값을 넘는 궤적만 학습 후보로 받는다. 이어서 길이·staleness 인지 sampler는 응답 길이 bin을 고르게 덮으면서 각 bin에서 만료에 가까운 궤적을 먼저 선택한다. 이 조합은 짧은 응답만 빨리 도착해 초기 batch를 독점하는 편향과, 비싼 긴 궤적이 대기열에서 오래 머물다 폐기되는 낭비를 동시에 줄이려는 설계다.
Double-sided importance sampling은 기록된 rollout log-probability와 현재 정책의 log-probability 비율을 토큰별로 계산하고, 양쪽 trust region을 벗어난 토큰을 gradient에서 제외한다. 환경 장애로 일부 rollout이 깨진 group은 유효 표본이 과반이면 복제로 원래 group 크기를 복구하고, 과반 이하이면 group 전체를 버린다. 이 규칙들은 250B 모델의 에이전트 학습을 가능하게 한 시스템적 장치이지만, 논문은 각각을 끈 최종 benchmark 절제를 제시하지 않는다. 따라서 시스템의 안정성 논리와 모델 성능에 대한 독립 기여를 같은 주장으로 합치지 않는 해석이 필요하다.
6.8 MOPD에서 전송량과 감독 신호가 만나는 지점
Multi-teacher On-policy Distillation은 열두 specialist의 과거 답을 데이터셋에 고정해 흉내 내는 방식과 다르다. 학생이 현재 정책으로 생성한 상태에서 도메인별 교사 하나를 선택하고, full-vocabulary reverse KL을 계산해 학생 분포를 교사 분포에 맞춘다. 학생이 실제로 방문하는 상태를 감독한다는 점은 배포 시 분포와 학습 시 분포의 간극을 줄이지만, prompt마다 교사 하나와 rollout 하나를 쓴다는 조건 때문에 여러 교사의 의견을 같은 상태에서 직접 평균하는 구조로 해석해서는 안 된다.
어휘 크기 $V=196{,}608$에서 길이 $L$ 전체의 logits를 fp32로 물질화하면 논문 계산상 microbatch당 약 26GB가 필요하다. 시스템은 교사의 lm head 직전 hidden state $[L\times H]$만 전송하고, 학생 쪽에서 1,024-token tile마다 교사 logits를 재구성한다. $H=4{,}096$이므로 전송량을 약 48배 줄이고, tile 하나의 임시 $[tile\times V]$ 버퍼를 약 1.1GB로 제한한다. 이 수치는 모델 전체 학습 메모리나 종단 처리량의 48배 개선을 뜻하지 않고, 특정 dense distillation 신호의 전송 표현을 줄인 값이다.
열두 개 250B 교사를 GPU에 동시에 상주시킬 수 없기 때문에, 교사 풀은 GPU-resident 모델 하나와 CPU parameter snapshot 열두 개를 조합한다. 같은 교사를 요청하는 microbatch를 묶어 swap 비용을 연속 batch에 분산하고, global sample index cache로 같은 hidden state 계산을 학생 데이터 병렬도마다 반복하지 않는다. 모델 설계, RL 데이터 수집, 증류 인프라를 하나의 최종 모델로 묶었다는 점이 Solar Open 2의 실질적 범위다. 다만 swap 시간, node 간 전송 대역폭, teacher pool 이용률이 공개되지 않아 다른 클러스터에서의 비용 재현에는 별도 측정이 필요하다.
7. 한계점 및 향후 연구 방향: 공개 범위와 검증 경계
Solar Open 2의 기술 보고서는 아키텍처, 사전학습, 에이전트 시나리오, 비동기 강화학습, 전문가 통합을 한 문서 안에서 연결한다. 다만 설계의 설명력이 곧 외부 검증 가능성을 뜻하지는 않는다. 이 절에서는 논문이 실제로 공개한 사실과 그 사실에서 도출한 리뷰어의 해석을 분리한다. 특히 결과가 틀렸다고 단정하는 대신, 현재 보고서만으로 확인할 수 있는 범위와 추가 증거가 필요한 범위를 구분하는 것이 핵심이다.
7.1 학습 데이터와 평가 절차의 재현성
공개된 사실: 사전학습 쪽은 처음 정제된 20T 토큰 풀을 10T로 줄였고, 실제 데이터와 합성 데이터의 비율을 4:6으로 맞추며, 수학과 코드를 각각 15% 이상, 영어를 80% 이상 포함했다고 설명한다. 이어 10T 규모의 일반 사전학습, 1T 규모의 집중 사전학습, 약 0.9T 규모의 길이 확장을 수행한다. 품질과 희소성을 함께 추적하고 정확·의미 중복을 제거했다는 파이프라인도 공개한다. 반면 보고서는 SFT와 다중 도메인 RL의 데이터 구성은 범위 밖이라고 명시한다. 즉 데이터 생성 원칙과 시나리오 설계는 상세하지만, 최종 성능을 만드는 예제 수, 도메인별 혼합비, 필터 통과율, 보상 구성, 학습 순서 같은 재현용 레시피는 닫혀 있다.
해석: 이 비공개 범위는 단순한 부록 누락보다 중요하다. Solar Open 2의 가장 큰 세대 간 향상이 도구 사용, 소프트웨어 작업, 산출물 제작에서 나타나기 때문이다. 사전학습 구조만 복제해도 같은 에이전트 성능에 도달할 것인지, 아니면 OfficeVerse와 각종 실행 검증을 거친 후학습 데이터가 성능 대부분을 설명하는지 외부 연구자는 분해하기 어렵다. 따라서 현재 자료는 설계 아이디어를 이해하기에는 충분하지만 결과를 독립 재현하기에는 불충분하다고 보는 편이 타당하다.
공개된 사실: 비교 점수는 벤치마크별로 같은 설정을 적용한 내부 평가 하네스에서 측정됐다. 한국어 묶음의 Ko-AIME, KBank-MMLU, Ko-GDPval은 자체 벤치마크이며, Ko-GDPval은 11개 산업과 58개 직업에 걸친 170개 과제로 구성된다. 보고서는 과제의 직업적 현실성, 파일 산출물, 기계 검사와 판정 모델을 결합한 채점 구조를 설명하고 예시 산출물도 제시한다. 그러나 이 보고서 본문만으로는 내부 하네스의 정확한 프롬프트, 도구 버전, 시간·턴 예산, 재시도 정책, 채점기 변동성을 외부에서 동일하게 복원할 수 없다.
해석: 내부 하네스는 모든 모델에 동일 조건을 주는 비교 일관성에는 유리하다. 그러나 공개 벤치마크조차 하네스가 달라지면 도구 호출 성공률과 에이전트 종료 조건이 달라질 수 있고, 자체 벤치마크는 과제 원본과 채점 코드가 함께 공개되지 않으면 재현성의 경계가 더 좁다. 특히 Ko-GDPval의 높은 점수는 한국형 업무 환경을 잘 겨냥했다는 강한 증거이지만, 벤치마크 제작 파이프라인과 평가 파이프라인이 같은 조직 안에 있다는 점을 감안해 외부 교차 평가로 확인할 필요가 있다. 이는 점수의 가치를 부정하는 비판으로 보기보다, 주장 강도를 조정하는 검증 원칙이다.
7.2 1M 문맥은 구조적 가능성과 실측 능력을 나눠 봐야 한다
공개된 사실: 모델은 48개 층에서 소프트맥스 어텐션 1개와 선형 어텐션 3개를 반복한다. 선형 층은 길이에 고정된 재귀 상태를 사용해 계산을 선형으로 만들고, 소프트맥스 층은 정확한 전역 회상을 보완한다. 위치 인코딩을 없애고, KDA의 쓰기 강도를 MathJax 식 \(\beta=2\sigma(\cdot)\in(0,2)\)로 넓혀 상태 전이의 고유값이 음수가 될 수 있게 했다. 길이 확장 단계에서는 장문 문서와 저장소 단위 코드를 추가해 1M 문맥까지 학습했으며, 논문은 전체가 소프트맥스인 구조보다 메모리와 계산을 대략 4분의 1 수준으로 낮추는 것을 목표로 제시한다.
검증 경계: 구조적으로 \(O(L^2)\)인 층을 줄이고 다수 층을 \(O(L)\) 재귀 계산으로 바꾼 논리는 설득력이 있다. 그러나 보고서에는 1M 입력에 대한 needle 계열 회수율, 구간별 RULER 곡선, 다중 단서 결합, 장거리 상태 추적, 실제 최대 길이에서의 메모리, prefill 지연, 생성 지연이 직접 제시되지 않는다. 평가 묶음에 AA-LCR이 포함돼 있지만, 하나의 종합 점수가 1M 토큰 전체 구간의 회상 안정성이나 실서빙 가능성을 대신하지는 못한다. “원리상 길이 제한이 없다”는 NoPE 설명 역시 학습 분포 밖에서 정확도가 유지된다는 실험적 보증과는 구별해야 한다.
이 지점은 이전에 다룬 HyLo의 long-context aware upcycling과 대비하면 선명하다. HyLo의 핵심은 기존 Transformer를 하이브리드 구조로 바꾸는 데서 끝나지 않고, 8K와 64K 학습 길이를 비교하며 RULER 64K를 목표 지표로 삼아 장문 teacher signal과 SFT가 실제로 복원되는지 확인하는 데 있었다. Solar Open 2는 훨씬 큰 규모에서 부분 가중치 이전 뒤 대규모 사전학습을 수행했다는 차이가 있지만, “하이브리드이므로 길어진다”와 “목표 길이에서 정보를 쓸 수 있다”를 나누는 검증 원칙은 그대로 적용된다.
서빙 관점에서는 이전 리뷰의 UltraQuant context-heavy agent serving도 다른 축을 제공한다. UltraQuant류 접근은 긴 시스템 프롬프트, 도구 정의, 검색 문서와 실행 로그가 여러 짧은 행동 턴에서 반복되는 상황에서 KV 캐시를 압축해 더 많은 세션 접두사를 HBM에 남기고, 라운드별 TTFT·TPOT·캐시 적중률·접두사 재연산을 본다. Solar Open 2의 선형 층은 길이에 따라 커지는 KV 캐시를 없애지만 소프트맥스 층은 남아 있고, 재귀 상태 갱신도 실제 커널과 배치 운영 비용을 가진다. 그러므로 최대 문맥 길이보다 에이전트 세션 전체 비용을 공개하는 것이 다음 검증 단계다.
7.3 완전 비동기 RL과 MOPD의 기여도
공개된 사실: 비동기 RL은 actor와 trainer를 분리하고, 정책이 갱신되면 진행 중인 궤적의 KV 캐시를 새 가중치로 재계산한다. 토큰마다 정책 버전과 생성 시점 로그 확률을 기록하고, 신선 토큰 비율이 기준을 넘는 궤적만 받아들이며 오래된 접두사는 손실에서 가린다. 길이 구간별 배치 샘플링, 양방향 중요도 신뢰 구간, 환경 장애 제거와 그룹 크기 복구도 설명한다. 이는 장시간 궤적 하나 때문에 전체 학습이 멈추는 문제를 정면으로 다룬 구체적인 시스템 설계다.
검증 경계: 반면 동기식 기준선 대비 처리량, GPU 이용률, 궤적 폐기율, 신선 토큰 비율, 정책 지연 분포가 보고되지 않는다. 각 마스크와 샘플러를 하나씩 제거한 ablation도 없고, 정책 갱신 때 캐시를 다시 계산하는 비용이 절약한 대기 시간보다 얼마나 작은지 보여 주는 수치도 없다. 따라서 비동기화가 합리적이라는 것과 다섯 구성 요소가 각각 최종 성능과 효율에 얼마를 기여했는지는 아직 별개의 질문으로 남는다.
MOPD도 사상은 명확하다. 열두 전문가 중 프롬프트에 맞는 하나가 학생 자신의 궤적을 전체 어휘 분포로 채점하고, 학생은 위치별 reverse KL만 최소화한다. 교사 은닉 상태만 전송한 뒤 로짓을 타일 단위로 복원해 거대한 행렬을 한꺼번에 만들지 않는 구현도 상세하다. 하지만 통합 전 일반 모델, 개별 전문가, MOPD 후 모델을 같은 표에서 비교한 보존율과 망각 분석, 보상 병합 기준선, off-policy 증류 기준선, 교사 스와프와 통신의 종단 처리량 ablation은 제시되지 않는다. “열두 능력을 한 모델로 접었다”는 주장은 최종 벤치마크와 정성 설명으로 뒷받침되지만, 통합 메커니즘 자체의 인과 효과는 충분히 분리되지 않았다.
이 한계는 이전 리뷰의 RL rollout speculative decoding과도 정확히 연결된다. 그 접근은 draft가 후보 생성을 빠르게 하되 verifier policy가 최종 샘플 분포를 보존하고, GRPO 손실과 로그 확률 재계산도 verifier 기준으로 유지하는 rollout 가속이다. 이는 stale token을 통제하는 비동기 RL과 경쟁하는 아이디어보다 생성 병목을 더 줄일 수 있는 보완 축이다. 두 기술을 함께 볼 때는 단순 생성 속도보다 trainer가 실제로 기다린 시간, 즉 외부에 노출된 rollout 유휴 시간과 분포 보존을 동시에 측정해야 한다.
7.4 다음 보고서가 닫아야 할 간극
아키텍처 쪽에는 10B-A1B proxy에서 최종 하이브리드 구조와 기존 소프트맥스 구조를 비교한 학습 효율 실험이 있고, 선택적 가중치 이전에도 동일 조건의 200B-A15B proxy 비교가 있다. 이들은 설계 결정을 뒷받침하는 좋은 통제 실험이다. 다만 proxy 결과가 최종 250B-A15B 모델과 1M 서빙으로 그대로 이어지는지는 별도 검증 사안이다. 후속 공개에는 최종 규모의 장문 길이별 정확도, 동일 하드웨어의 비용 정규화 서빙, 비동기 RL 구성 요소별 처리량·성능 ablation, MOPD 전후 전문가 능력 보존표가 함께 들어가야 한다.
논문 스스로도 남은 격차를 저장소·터미널 수준 소프트웨어 공학과 업무 산출물의 세밀한 수치 정확성으로 좁혀 말한다. 이는 평가 결과와 일치하는 솔직한 결론이다. 향후 연구는 더 많은 합성 궤적을 추가하는 데 그치지 않고, 실행 후 자체 테스트, 파일 간 수치 대조, 근거 추적, 실패 원인 분류가 실제 오류를 얼마나 줄였는지 공개해야 한다. 결국 Solar Open 2의 다음 과제는 새 주장을 늘리기보다 이미 제시한 장문·에이전트·효율 주장을 외부가 반복 측정할 수 있게 만드는 것이다.
8. 내 해석: 하이브리드 구조의 주장을 어디까지 믿을 것인가
나는 에이전트 서비스를 운영하는 입장에서 이 하이브리드 구조의 방향성은 상당히 믿는다. 반복되는 긴 도구 정의와 실행 로그를 모든 층의 KV 캐시에 쌓는 대신, 대부분의 층은 고정 크기 상태로 압축하고 일부 소프트맥스 층만 정확한 전역 회상을 맡기는 분업은 합리적이다. NoPE와 음의 고유값 허용도 장거리 상태의 순서 보존과 오류 수정이라는 설계 목적에 맞는다. 다만 이것은 좋은 구조적 가설에 대한 신뢰이지, 곧바로 운영 준비가 끝났다는 판정은 아니다.
내가 가장 크게 보는 약점은 1M 문맥 주장에 대한 직접 장문 평가와 실서빙 수치가 부족하다는 점이다. 실제 에이전트에서는 최대 길이 도달 여부보다 여러 라운드의 접두사 재사용, prefill, 상태 갱신, 남은 소프트맥스 KV 캐시가 지연과 동시 세션 수를 결정한다. 현재 결과만으로는 1M에서 단서를 안정적으로 회수하는지, 같은 품질에서 메모리와 처리 비용이 실제로 얼마나 줄어드는지 판단하기 어렵다.
내가 제안하는 후속 실험은 하나다. 동일한 활성 파라미터, 학습 계산 예산, 하드웨어, 품질 목표와 다중 라운드 에이전트 요청 trace를 고정하고, Solar식 하이브리드와 HyLo류 장문 인지 업사이클링, UltraQuant류 캐시 최적화를 함께 놓는 공개 cost-normalized protocol을 실행해야 한다. 길이별 정확도와 함께 학습 토큰·연산량, HBM 점유, 라운드별 TTFT·TPOT, 캐시 적중률, 세션당 비용을 공개하면 구조가 만든 이득과 서빙 최적화가 만든 이득을 분리할 수 있다.
9. 결론: 주권형 모델을 에이전트 시스템으로 확장한 설계
9.1 주권성을 언어 점수에서 작업 환경으로 넓혔다
Solar Open 2의 가장 중요한 성과는 한국어를 잘 생성하는 모델을 만드는 데서 멈추지 않았다는 데 있다. Solar Open 1의 토크나이저를 그대로 이어받아 같은 한국어를 글로벌 모델보다 적은 토큰으로 표현하고, 동일 어휘 덕분에 임베딩과 출력층도 이전한다. 여기에 한국 직업 분류, 공공·산업 데이터, 한국식 업무 문서 관행, CJK 렌더링 검사를 결합한다. 이 설계에서 주권형 AI는 언어 현지화를 넘어 데이터·도구·평가 환경의 현지화다.
선택적 가중치 이전도 이 관점과 맞물린다. 전체 250B 파라미터 중 구조가 호환되는 약 2.3%만 Solar Open 1에서 옮기고, 새 선형 어텐션 모듈과 늘어난 routed expert는 다시 학습한다. 이전 세대의 토큰 의미와 공통 계산 골격은 보존하되 새 아키텍처에 억지로 복제하지 않는 방식이다. 그 뒤 품질·희소성 기반 데이터 정제와 단계별 curriculum을 거치므로, 이 모델은 단순 확장보다 세대 간 자산을 선택적으로 재사용한 재설계에 가깝다.
9.2 에이전트 능력을 데이터와 시스템의 결합으로 만들었다
에이전트 후학습의 중심도 단순 지시문 수집이 아니다. 대화형 도구 사용에서는 상태를 실제로 변경한 뒤 읽어 확인하는 verifier를 먼저 만들고, 소프트웨어 공학에서는 base commit에서 실패하고 정답 patch에서 통과하는 환경만 채택한다. 터미널 궤적은 오류 복구와 self-test를 포함하며, 사무 작업은 실제 공개 데이터에 근거한 xlsx·docx·pptx·pdf 산출물을 기계 검사와 판정 모델로 평가한다. 즉 환경 생성, 실행, 검증, 궤적 선별이 하나의 데이터 생산 장치로 묶여 있다.
이 장치를 250B 규모에서 돌리기 위해 완전 비동기 RL이 긴 꼬리 rollout을 처리하고, 열두 specialist가 reasoning, 도구 사용, coding, search, 업무 공간, 선호·안전 능력을 따로 끌어올린다. 마지막 MOPD는 학생이 실제 방문한 상태에서 해당 specialist의 전체 어휘 분포를 따라가게 해 하나의 배포 모델로 통합한다. 따라서 최종 모델은 하나의 checkpoint이지만, 그 뒤에는 여러 환경·검증기·교사·분산 실행기가 결합된 에이전트 학습 시스템이 있다.
9.3 최종 판단
평가 결과는 이 시스템적 투자가 어디에서 효과를 냈는지 보여 준다. 영어 지식·추론에서는 비슷한 크기의 강한 공개 가중치 모델과 경쟁하고, 한국어 묶음 평균에서는 비교 대상 중 가장 높은 결과를 기록한다. 특히 한국어 업무 산출물을 만드는 Ko-GDPval에서 이전 세대와 질적으로 다른 수행을 보인 점은, 토크나이저 효율과 한국형 OfficeVerse, 실행 검증형 후학습이 같은 방향으로 정렬됐음을 시사한다. 반면 저장소·터미널 작업과 산출물의 세밀한 수치 품질에는 남은 격차가 있어, 일반 지능의 완결보다 목표 환경에서의 강한 전문화로 읽는 것이 정확하다.
결국 Solar Open 2는 “한국어 모델을 크게 만들었다”는 보고서가 아니다. 긴 작업 이력을 감당할 하이브리드 backbone, 이전 세대 자산을 살리는 초기화, 가치가 높은 토큰을 고르는 사전학습, 검증 가능한 에이전트 환경, 비동기 RL, 다중 교사 통합을 한 경로로 묶었다. 공개 범위와 1M 실측 증거에는 분명한 경계가 있지만, 주권형 모델을 실제 업무를 수행하는 에이전트 시스템으로 확장하는 설계도로서의 가치는 충분하다.
10. 요약 정리: 설계·학습·평가의 핵심 축
- 모델 규모: Solar Open 2는 총 250B, 토큰당 활성 15B의 sparse MoE이며, Solar Open 1과 같은 48개 층·hidden size 4,096 골격 위에서 routed expert를 320개로 늘렸다.
- 하이브리드 어텐션: 소프트맥스 1개 뒤 선형 어텐션 3개가 오는 패턴을 반복해 정확한 전역 회상과 고정 크기 재귀 상태를 분담하고, NoPE·sigmoid 출력 gate·음의 고유값 허용을 결합했다.
- 세대 간 이전: 같은 어휘와 계산 구조를 공유하는 임베딩, 출력층, 정규화, 일부 attention projection, shared expert만 옮겨 전체 파라미터의 약 2.3%를 warm start로 사용했다.
- 사전학습 전략: 품질과 희소성, 정확·의미 중복 제거를 이용해 20T 풀을 10T 혼합으로 정제하고, 일반 학습·집중 학습·길이 확장·checkpoint merging을 순차 적용했다.
- 에이전트 데이터: 대화형 도구, 소프트웨어·터미널·프런트엔드, 사무 산출물 시나리오를 실제 실행 환경과 verifier에 묶어 결과가 확인되는 궤적만 학습에 투입했다.
- 후학습 시스템: 완전 비동기 RL은 토큰별 정책 버전, freshness mask, 길이·staleness-aware sampling, 중요도 신뢰 구간, 환경 장애 필터로 긴 꼬리 rollout을 다룬다.
- 전문가 통합: 열두 specialist를 따로 육성한 뒤 학생 자신의 궤적에서 routed teacher의 전체 어휘 분포를 reverse KL로 학습하는 MOPD로 단일 모델에 통합했다.
- 성과의 의미: 영어에서는 비슷한 규모의 공개 가중치 frontier와 경쟁하고 한국어 묶음에서는 가장 높은 평균을 기록했으며, 특히 한국형 업무 산출물 제작이 이전 세대 대비 핵심적인 변화다.
- 검증 과제: SFT·RL 데이터 혼합, 내부 하네스와 자체 benchmark의 재현 정보, 1M 직접 장문·latency 결과, async RL·MOPD ablation이 부족하므로 공개 cost-normalized 검증이 필요하다.
'[논문 리뷰] > [최신 논문]' 카테고리의 다른 글
| [arXiv 2607.21552] MIRROR: 다른 관점에서 배우는 멀티모달 추론 (1) | 2026.07.26 |
|---|---|
| [arXiv 2607.21557] OpenForge RL: 실제 배포 하네스 그대로 에이전트를 학습하는 분산 강화학습 (0) | 2026.07.24 |
| [arXiv 2607.19345] Copy Less, Ground More: 긴 문맥 추론의 반복 복사를 증거 인식 보상으로 고치기 (0) | 2026.07.22 |
| [arXiv 2607.15265] SceneBind: 시각·오디오·언어의 의미와 3D 공간을 함께 묶는 표현 (0) | 2026.07.19 |
| [arXiv 2607.15275] RoboTTT: 8K 시각운동 문맥을 fast weights에 압축하는 로봇 정책 (0) | 2026.07.18 |