Super Weights in LLMs and the Failure of Selective Training
https://arxiv.org/abs/2607.08733
저자: Shreyas Subramanian, Adewale Akinfaderin, Akarsha Sehwag · 소속: Amazon Web Services · COLM 2026
1. 서론: 가장 중요한 좌표가 가장 좋은 학습 좌표라는 직관의 붕괴
소수 파라미터로 충분하다는 사실에서 생기는 유혹
대규모 언어 모델의 미세조정은 모든 파라미터를 다시 학습하지 않아도 잘 작동한다. LoRA는 가중치 변화량을 저랭크 행렬로 분해해 전체 파라미터의 0.1~1%만 최적화하면서도 완전 미세조정에 가까운 성능을 낸다. intrinsic dimension 연구는 무작위로 투영한 수백~수천 개의 자유도만으로도 상당한 과제 성능을 회복할 수 있다고 보고했다. 그렇다면 무작위 저차원 방향보다 사전학습 모델에서 실제로 가장 중요한 파라미터를 골라 업데이트하는 편이 더 효율적일 것이라는 가설이 자연스럽게 떠오른다.
그 가설을 시험하기에 Super Weight는 매력적인 대상이다. 선행 연구에서 Super Weight는 거대한 모델 안의 단일 스칼라 파라미터인데, 그 값을 0으로 만들면 perplexity가 수천 배 증가하거나 생성 품질이 붕괴하는 좌표로 보고됐다. 한 좌표의 제거가 그토록 파괴적이라면 그 좌표는 과제 적응에도 큰 지렛대를 제공할 것처럼 보인다. 저자들이 던지는 중심 질문은 간결하다. 파라미터의 제거 중요도가 그 파라미터만 따로 학습할 때의 유용성까지 보장하는가?
결과는 정반대다. OLMo-1B와 OLMo-7B에서 상위 100개부터 8,192개까지 Super Weight만 학습하면 ARC-Easy 정확도가 약 25~26%로 떨어진다. 네 선택지 문제의 무작위 추측 수준이다. 각 좌표 주변의 $3\times3$ 패치를 풀어 최대 약 36,864개 파라미터를 학습해도 회복되지 않는다. 반면 같은 down_proj 모듈에서 Super Weight를 제외하고 무작위로 뽑은 4,096개 좌표는 OLMo-1B에서 64.18%를 달성해 60.65% 사전학습 기준선을 넘어선다. 실패 원인을 단순한 희소성으로 돌릴 수 없게 만드는 핵심 대조군이다.
중요도와 단독 학습 가능성을 분리하는 실험 논리
논문의 주장은 “적은 수의 파라미터를 학습하면 실패한다”가 아니다. 특정하게 Super Weight 좌표를 겨냥할 때 실패한다는 주장이다. 이를 보이기 위해 저자들은 제거 실험, 직접 학습, 국소 이웃 학습, 동일 모듈의 무작위 희소 대조군, down_proj 저랭크 대조군, attention LoRA의 위치 제한, 학습된 LoRA 변화량의 상위 좌표 동결을 단계적으로 배치한다. 파라미터 수, 모듈 종류, 업데이트 구조를 따로 바꾸면서 어느 요인이 붕괴를 설명하는지 좁혀 가는 구성이다.
Figure 1은 세 LoRA 변형이 모두 attention의 q/k/v/o_proj에 저랭크 변화를 만들고, Super Weight가 몰린 MLP의 down_proj 값은 직접 건드리지 않는다는 점을 보여준다. 첫 변형은 down_proj의 Super Weight와 인덱스가 대응되는 attention 위치를 제한하고, 둘째 변형은 학습된 $\Delta W$에서 크기가 큰 1,000개 위치를 동결한다. 세 방법의 성능이 비슷하다는 사실은 개별 위치보다 층 전체에 퍼지는 결합 구조가 중요하다는 논문의 중심 관찰을 시각화한다.
여기서 용어를 엄밀히 구분해야 한다. base model의 Super Weight는 사전학습을 거쳐 형성된 구조적 병목이며, LoRA의 큰 $\Delta W$ 위치는 과제 적응 과정에서 생긴 변화량의 극값이다. 둘 다 절댓값이 크다는 이유로 같은 기능을 가진다고 볼 수 없다. 실제로 base Super Weight를 제거하면 치명적이지만 LoRA $\Delta W$의 상위 1,000개 위치를 동결해도 평균 성능은 통계적으로 구별되지 않는다. 크기, 제거 민감도, 학습 기여도는 서로 다른 속성이다.
핵심 메시지와 읽을 때의 주의점
저자들의 가장 강한 경험적 결론은 “중요한 파라미터가 단독으로 잘 학습되는 것은 아니다”라는 비대칭이다. LoRA는 2.1M개의 자유도로 attention 전체 위치에 결합된 변화를 만들고 성공하며, Super Weight 직접 학습은 극소수 좌표를 독립적으로 움직여 사전학습 관계를 훼손한다. 다만 이것을 저랭크 구조의 보편적 우월성으로 확대하려면 더 많은 모델 계열과 과제가 필요하다. 본 실험의 선택적 학습은 주로 OLMo 두 규모와 ARC-Easy에 집중되어 있고, 가장 중요한 무작위 희소 대조군은 OLMo-1B 단일 seed다.
2. 배경 및 관련 연구: Outlier, 희소성, 저차원 적응을 하나의 질문으로 연결하기
활성값 outlier에서 Super Weight까지
Transformer가 커질수록 일부 hidden dimension에서 다른 차원보다 훨씬 큰 활성값이 반복적으로 나타난다는 사실은 양자화 연구에서 먼저 중요한 문제로 부상했다. Dettmers 등의 연구는 소수 outlier feature를 잘못 양자화하면 모델 품질이 급격히 떨어짐을 보였고, massive activation 연구는 이러한 outlier가 입력에 무관하게 특정 위치에서 지속될 수 있음을 강조했다. Super Weight 연구는 이 활성값 폭증을 특정 스칼라 가중치까지 추적하여, 하나의 극단적 파라미터가 고이득 증폭기처럼 작동할 수 있다는 해석을 제시했다.
현재 논문은 그 현상을 두 방향으로 재검증한다. 첫째, WikiText-2의 1,000개 무작위 샘플에서 같은 down_proj 위치가 반복적으로 최대 activation spike를 만드는지 본다. 9개 위치는 1,000개 입력 모두에서 등장하고, 13개는 절반 이상에서 등장한다. 이는 특정 프롬프트의 우연한 산물보다 사전학습된 구조적 성질에 가깝다는 근거다. 둘째, 기존 논문이 제공한 activation-spike 좌표와 단순 magnitude ranking을 여러 모델에 적용해, 큰 절댓값만으로 Super Weight를 찾을 수 있는지를 분리한다.
| 일관성 수준 | 누적 좌표 수 | 표본 커버리지 |
|---|---|---|
| 100% 일관 | 9 weights | 1,000/1,000 |
| 50% 이상 | 13 weights | 500~633/1,000 |
| 20% 이상 | 24 weights | 200~498/1,000 |
| 전체 고유 좌표 | 58 weights | - |
표의 count는 서로 배타적인 구간이 아닌 누적 기준이다. 100% 일관된 9개는 50% 이상인 13개에도 포함된다. 집합은 표본 약 100개에서 빠르게 안정되고, 9개의 완전 일관 좌표 다음 빈도는 63.3%로 크게 떨어진다. 완전 일관 좌표가 OLMo-1B의 16개 층 가운데 1~12층에 걸쳐 있다는 관찰은 Super Weight가 한 층의 특이점만은 아님을 시사한다. 그러나 consistency는 반복 등장 여부를 말할 뿐, 그 좌표를 훈련해야 한다는 처방을 직접 제공하지 않는다.
Activation spike와 magnitude ranking이 측정하는 대상
두 식별법은 입력 정보의 사용 여부부터 다르다. magnitude ranking은 checkpoint의 스칼라 $|W_{ij}|$만 정렬하므로 데이터 없이 결정되고, 같은 checkpoint라면 항상 같은 목록을 낸다. activation-spike 절차는 입력 $x$를 통과시킨 뒤 down_proj에서 유난히 큰 출력에 관여한 위치를 역추적한다. 선형층의 한 항은 $W_{r,c}h_c$이므로 $|W_{r,c}|$가 커도 해당 입력에서 $h_c$가 작으면 spike를 만들지 못하고, 중간 크기의 weight도 특정 hidden feature와 결합하면 큰 기여를 만들 수 있다. 기능적 중요도에는 weight와 activation의 결합이 들어가지만, magnitude 순위에는 그 결합이 빠진다.
OLMo-1B의 1,000개 WikiText-2 표본에서 관찰된 9개 완전 일관 좌표는 activation 경로의 재현성을 보여주는 결과다. 58개 고유 위치가 한 번 이상 포착되었고, 완전 일관 집합 뒤의 빈도가 63.3%로 급락했다는 원문 서술은 안정적인 core와 입력 의존적 꼬리가 함께 있음을 뜻한다. 여기서 100%는 WikiText-2에서 뽑은 해당 1,000개 표본에 대한 경험 빈도다. 다른 말뭉치, 문맥 길이, 토큰 위치, precision에서도 같은 비율이 나온다는 모집단 보장은 제공되지 않는다. 좌표 집합이 약 100개 표본에서 안정되었다는 사실도 그 표본 추출 과정 안에서의 포화 관찰로 한정된다.
모델별 pruning 재현은 식별법 차이를 더 분명히 만든다. 선행 연구의 activation-spike 좌표를 적용한 OLMo-1B·7B, Phi-3-mini, Mistral-7B-v0.1, Meta-Llama-3-8B에서는 제거 후 PPL 또는 과제 정확도가 크게 훼손됐다. 새 다섯 모델에 top-magnitude down_proj 위치를 적용한 블록에서는 세 지표가 거의 변하지 않았다. Qwen2.5-1.5B의 최대 magnitude 1.20이 OLMo-1B의 0.83보다 큰데도 제거 효과가 없었다는 비교는 절대 크기의 임계값으로 기능적 병목을 판정하기 어렵다는 근거다. 뒤 블록의 무효 결과는 해당 모델에 activation-coupled Super Weight가 없다는 검정으로 볼 수 없으며, 사용한 magnitude 대리변수가 그런 좌표를 찾지 못했다는 결과로 제한된다.
원문의 실험 흐름에서는 좌표 provenance를 따라가야 한다. consistency 실험은 입력마다 largest activation spike를 기록하고, cross-model baseline은 magnitude 기반 탐색의 일반화를 시험하며, 선택적 학습은 criticality가 pruning으로 확인된 OLMo 좌표에 집중한다. 서로 다른 목록을 모두 “상위 Super Weight”라고 축약하면 발견 안정성, 제거 민감도, magnitude 순위가 같은 속성처럼 보인다. 재현 보고에서는 discovery_method, discovery corpus, forward hook 위치, layer·row·column, 원래 값, 출현 빈도, 제거 시 metric delta를 한 좌표 레코드에 함께 남겨야 세 정의를 분리할 수 있다.
PEFT의 자유도와 업데이트의 구조
LoRA는 원래 가중치 $W$를 고정하고 $$W'=W+\Delta W,\qquad \Delta W=BA\frac{\alpha}{r}$$로 적응한다. $B\in\mathbb{R}^{m\times r}$와 $A\in\mathbb{R}^{r\times n}$만 학습하지만, 합성된 $\Delta W$는 일반적으로 행렬의 모든 위치에 값을 갖는다. 각 원소는 $$\Delta W_{ij}=\sum_{q=1}^{r}B_{iq}A_{qj}\frac{\alpha}{r}$$이므로 같은 행의 $B_{i,:}$와 같은 열의 $A_{:,j}$를 공유하는 위치들이 함께 움직인다. 파라미터 효율은 업데이트 위치를 적게 만드는 데서만 오지 않고, 층 전체 변화를 공유된 저차원 인자로 묶는 것에서 온다.
BitFit처럼 bias만 갱신하는 방법이나 일부 희소 미세조정은 선택적 학습도 성공할 수 있음을 보여준다. 따라서 논문의 결과를 “좌표 선택은 항상 실패한다”로 읽으면 과도하다. 더 정확한 범위는 outlier 좌표를 중요도 기준으로 골라 독립적으로 업데이트하는 전략이다. 무작위 down_proj 좌표가 기준선을 넘은 결과도 모든 희소 학습이 무용하다는 해석을 반박한다. 이 대조는 희소 업데이트의 평균적 표현력 부족과 Super Weight에서 발생하는 특이한 붕괴를 따로 설명해야 함을 요구한다.
Intrinsic dimension과 좌표 정렬 문제
Intrinsic dimension 관점은 과제 적응에 필요한 해가 $N$차원 전체를 자유롭게 탐색하지 않고 낮은 차원의 부분공간 $\mathcal{S}$에 놓일 수 있다고 본다. 중요한 것은 차원이 낮다는 사실이 그 부분공간이 표준 좌표축과 정렬되어 있음을 뜻하지 않는다는 점이다. 임의의 $k$개 좌표가 만드는 부분공간을 $\mathcal{V}_{\text{sparse}}$라 할 때, 무작위 방향을 가정한 기대 overlap은 $$\mathbb{E}\left[\frac{\|\Pi_{\mathcal{V}_{\text{sparse}}}\Pi_{\mathcal{S}}\|_F^2}{d}\right]=\frac{k}{N}$$이다. OLMo-1B에서 $k=8,192$, $N\approx1.28\times10^9$이면 기대 비율은 $6.4\times10^{-6}$에 불과하다.
이 명제는 희소 좌표 학습이 저랭크 전체 층 업데이트보다 대체로 표현력이 낮을 이유를 제공하지만, Super Weight 학습이 무작위 추측까지 붕괴하는 이유는 설명하지 못한다. 동일한 $k/N$을 가진 무작위 좌표는 64.18%로 기능하기 때문이다. 저자들은 추가로 높은 activation과 curvature가 결합된 위치에서 독립적인 큰 변경이 validation을 망가뜨린다고 해석한다. 이론의 역할을 구분하면 subspace coverage는 상대적 열세, gradient amplification과 곡률은 좌표 특이적 붕괴의 후보 메커니즘이다.
3. 방법론: 좌표 선택, 국소 확장, 저랭크 제약을 분해하는 여섯 실험
Super Weight 식별과 일관성 검사
저자들은 OLMo의 모든 층에서 q_proj, k_proj, v_proj, o_proj, gate_proj, up_proj, down_proj를 스캔해 절댓값 상위 파라미터를 찾고 모델별 상위 10,000개 위치를 캐시한다. 전체 상위 10개 중 80%, 상위 100개 중 52%가 down_proj에 집중된다. 다만 다중 모델 pruning에서는 가능한 경우 선행 연구의 activation-spike 좌표를 사용하며, 새 모델에서 적용한 magnitude 기반 식별은 여러 아키텍처에서 효과가 없었다. 식별 기준이 실험군마다 동일하지 않다는 사실을 결과 범위와 함께 읽어야 한다.
일관성 검사는 OLMo-1B에 WikiText-2 무작위 샘플 1,000개를 하나씩 통과시키고, 각 입력에서 down_proj activation spike를 만든 가중치 위치를 기록한다. gradient가 필요 없는 forward pass이므로 계산량은 샘플 수에 선형이고 단일 GPU에서 수 분 규모라고 보고된다. 이 절차는 같은 좌표가 입력 전반에 걸쳐 재등장하는지를 확인하지만, 다른 도메인이나 긴 문맥에서도 유지되는지까지 검증하지는 않는다.
직접 학습과 neighborhood 학습
직접 Super Weight 학습은 magnitude 상위 $k\in\{100,1000,4096,8192\}$ 좌표만 gradient를 받게 하고 나머지를 고정한다. 모델 전체의 모듈 파라미터를 열어 둔 뒤 mask를 씌우는 방식과 달리, 선택 좌표만 실제로 변경되는 구조다. 이 실험은 적은 수의 고중요도 스칼라가 과제 손실을 낮추는 충분한 조절 손잡이인지 묻는다. training loss와 validation 성능이 반대 방향으로 움직이면 선택 좌표가 훈련 예제를 맞추면서 사전학습 표현을 파괴했을 가능성을 시사한다.
Neighborhood 학습은 Super Weight 위치 $(i,j)$의 상하좌우와 대각선을 포함한 radius 1, 즉 $3\times3$ 패치를 푼다. 중복과 경계를 무시한 근사 파라미터 수는 각 중심당 9개이므로 $k=100$은 약 900개, $k=1,000$은 약 9,000개, $k=4,096$은 약 36,864개다. 국소 관계 부족이 실패 원인이라면 이웃을 풀수록 회복해야 하지만, 행렬의 한 패치는 residual stream과 여러 층을 가로지르는 기능적 이웃과 같지 않을 수 있다.
Figure 2는 중심 좌표만 여는 직접 학습과 각 중심 주변의 $3\times3$ 패치를 여는 neighborhood 학습을 비교한다. 학습 좌표가 약 900개에서 36,864개로 증가해도 OLMo-1B와 OLMo-7B의 ARC-Easy 정확도는 25~26% 부근에 머문다. 이는 단순히 인접한 몇 개 원소를 더 움직이는 방식으로는 Super Weight가 참여하는 행·열 전체와 층간 residual 경로의 결합을 복원하기 어렵다는 결과다. 여기서 rank 표기는 저랭크 rank와 구분되며, 선택된 중심 또는 neighborhood 규모를 가리킨다.
두 가지 LoRA 동결 변형
LoRA-dproj-SW-freeze는 이름 때문에 down_proj의 Super Weight를 LoRA로 학습하다 동결하는 방법처럼 오해하기 쉽다. 실제 vanilla LoRA 표적은 attention의 q/k/v/o_proj이고, Super Weight는 주로 MLP down_proj에 있다. 저자들은 down_proj의 Super Weight 좌표와 인덱스가 맞는 attention 업데이트 위치에 scale $s$를 적용한다. $$\Delta W=(B\odot M_s)A\frac{\alpha}{r},\qquad M_s[i,j]=\begin{cases}s,&(i,j)\text{가 대응 좌표}\cr1,&\text{그 외}\end{cases}$$이며 $s=0$은 완전 제한, $s=1$은 vanilla LoRA다.
이 대응은 같은 물리적 파라미터를 가리키지 않는다. OLMo-1B의 down_proj는 대략 $2048\times8192$, attention projection은 $2048\times2048$이므로 좌표 범위도 다르다. 연결 고리는 residual stream이다. o_proj의 출력 차원 $r$이 MLP 입력으로 흘러가고, down_proj의 Super Weight $(r,c)$가 hidden 차원 $c$를 출력 차원 $r$로 증폭한다. 대응 row와 column의 attention 적응을 제한해도 전체 저랭크 경로가 downstream 증폭기에 적절한 표현을 공급할 수 있는지 시험한다.
Residual stream에서 좌표 대응이 갖는 기하학적 의미
down_proj를 $W_d\in\mathbb{R}^{d_{model}\times d_{ff}}$로 쓰면 OLMo-1B에서 $d_{model}=2048$, $d_{ff}=8192$다. MLP 중간 벡터 $h\in\mathbb{R}^{8192}$에 대해 $W_dh\in\mathbb{R}^{2048}$가 residual stream으로 돌아간다. 좌표 $(r,c)$는 중간 feature $h_c$를 residual 축 $r$에 쓰는 하나의 edge이고, 그 기여는 $W_{d,r,c}h_c$다. 행 $r$ 전체는 8,192개 중간 feature가 같은 residual 축으로 보내는 경로를 모으며, 열 $c$ 전체는 한 중간 feature가 2,048개 residual 축에 어떻게 분배되는지를 정한다. 그래서 메모리상 $(r,c)$ 주변의 $3\times3$ 원소가 기능 그래프에서도 가장 가까운 이웃이라는 보장은 없다.
Attention의 o_proj는 attention 내부 출력을 $d_{model}$ 축으로 다시 투영하고 residual에 더한다. o_proj의 row $r$를 바꾸면 residual 축 $r$에 쓰이는 attention 성분이 달라진다. 이후 정규화와 gate_proj·up_proj를 거치면서 모든 residual 축이 MLP 중간 좌표 $h_c$ 생성에 참여하고, down_proj가 다시 residual에 쓴다. 따라서 attention row $r$와 down_proj row $r$의 연결은 공유 residual 축에 관한 경로 대응이다. 두 행렬의 $(r,c)$가 동일한 parameter edge이거나 attention column $c$가 8,192차원 MLP feature $c$와 일대일 대응하는 구조는 아니다.
이 구분은 LoRA-dproj-SW-freeze의 해석 범위를 정한다. 원문 부록에 따르면 $s=0$은 OLMo-1B에서 2,097,152개 LoRA 파라미터 중 143,648개, 즉 6.8%에 영향을 주고, OLMo-7B에서는 8,388,608개 중 39,520개, 즉 0.5%에 영향을 준다. 7B의 top-10,000 Super Weight가 573개 고유 출력 행에 집중되고 1B는 1,889개 행에 퍼진다는 차이가 제한 비율의 격차를 만든다. 제한 후 성능 유지가 보여주는 것은 이 proxy mapping에 강하게 의존하지 않는다는 사실이다. residual graph 전체에서 Super Weight로 가는 모든 경로를 차단한 실험으로 확장할 수는 없다.
LoRA-$\Delta W$-SW-freeze는 학습이 끝난 vanilla LoRA checkpoint에서 실제 $\Delta W=BA\alpha/r$를 복원한 뒤, 전체 attention 층에서 절댓값이 큰 상위 1,000개 위치를 찾는다. 새 학습 run에서는 해당 위치와 연결된 lora_B 행과 lora_A 열에 gradient hook을 걸어 변화를 제한한다. 사전학습 Super Weight와 유사한 단일 병목이 LoRA 변화량에도 생긴다면 성능이 하락해야 한다. 1B와 7B 각각 3개 seed로 비교한다.
동일 모듈 대조군과 변화량 분석
원인을 국소화하는 가장 중요한 대조군은 OLMo-1B down_proj 안에서 구성된다. 첫째, Super Weight 좌표를 제외한 무작위 4,096개 위치만 학습한다. 둘째, 같은 down_proj에 rank-8 LoRA를 적용해 층 전체에 저랭크 변화를 만든다. 전자는 모듈과 파라미터 수를 고정하고 좌표 선택만 바꾸며, 후자는 모듈을 고정하고 희소 독립 업데이트와 조정된 저랭크 업데이트를 비교한다. 두 대조군이 모두 기준선을 넘는다면 down_proj 자체나 sparsity만으로 붕괴를 설명하기 어렵다.
변화량 분석은 방법별로 Super Weight 관련 위치가 얼마나 움직였는지 측정한다. 직접 학습은 전후 checkpoint를 비교하고, attention LoRA는 합성된 $\Delta W$에서 down_proj Super Weight와 같은 $(i,j)$ 인덱스의 값을 추출한다. 따라서 LoRA의 0.15% 평균 변화는 실제 MLP Super Weight가 변했다는 뜻이 아니다. 본체 down_proj는 고정되어 있고, 서로 다른 attention 행렬의 대응 인덱스에서 측정된 상대 변화다.
Figure 6은 원 논문의 수식과 실험 규모를 바탕으로 희소 좌표축과 저랭크 manifold의 차이를 재구성한 리뷰어 도식이다. 8,192개 표준기저 방향은 정확히 그 좌표만 바꾸지만, rank-8 외적은 공유 인자를 통해 한 층의 모든 위치에 조정된 변화를 만든다. OLMo-1B attention 한 행렬의 rank-8 manifold 차원은 32,704이고 16층의 네 projection을 합친 tangent 차원은 2,093,056으로, 최대 희소 실험보다 약 256배 크다. 도식은 경험 결과를 증명하지 않고 표현력 차이를 직관화한다.
희소 부분공간과 저랭크 manifold 계산의 전제
$k$개 좌표를 푸는 모델은 vectorized parameter space에서 $k$개의 표준기저로 생성되는 선형 부분공간을 탐색한다. 논문의 $k/N$ 식은 fine-tuning subspace $\mathcal S$가 Grassmannian에서 회전 대칭적으로 뽑히고, 선택된 coordinate subspace가 고정되어 있다는 조건에서 성립한다. $\mathcal S$의 직교기저 $U\in\mathbb R^{N\times d}$의 각 행은 기대 제곱 노름 $d/N$을 가지므로 선택된 $k$개 행의 합이 $kd/N$, 이를 $d$로 나누면 $k/N$이다. OLMo-1B의 $N\approx1.28\times10^9$, $k=8,192$를 넣은 $6.4\times10^{-6}$은 이 회전 불변 평균 아래의 coverage다.
실제 Super Weight 좌표는 checkpoint와 activation을 관찰해 선택되므로 fine-tuning gradient와 독립인 고정 좌표라는 전제가 자동으로 충족되지 않는다. 과제 subspace가 좌표축에 정렬되어 있거나 discovery corpus와 downstream 과제가 연관되면 실제 overlap은 $k/N$에서 벗어날 수 있다. 더구나 random sparse 4,096개가 baseline보다 높은 결과를 냈으므로 vanishing expected coverage를 “희소 학습은 작동할 수 없다”는 결정론으로 사용할 수 없다. 저자도 proposition이 상대적 suboptimality를 예측하고 catastrophic collapse는 예측하지 않는다고 명시한다. Super Weight에서만 나타나는 붕괴에는 별도의 민감도 또는 최적화 설명이 필요하다.
Rank-$r$ 행렬 집합의 차원 $r(m+n-r)$은 factor 수 $r(m+n)$에서 $B\mapsto BG$, $A\mapsto G^{-1}A$로 같은 곱을 만드는 $r^2$개의 gauge 중복을 뺀 값이다. $m=n=2048$, $r=8$이면 trainable factor scalar는 32,768개이고 rank가 정확히 8인 일반점의 manifold 차원은 32,704개다. 독립적인 16층·4 projection에 이 값을 합하면 2,093,056이다. 8,192개 희소 좌표와 비교한 약 256배는 모델 전체에서 LoRA가 표적으로 삼은 64개 행렬의 tangent 차원을 합산하고, 희소 예산은 전체 선택 좌표 수로 둔 계산이다.
이 차원 수는 support와도 구별된다. 일반 위치의 외적 $ba^\top$은 한 basis direction으로 $mn$개 원소에 값을 만들 수 있지만 자유도는 $m+n-1$ 수준이며, 여러 원소가 독립적으로 움직이지 않는다. 반대로 $k$-sparse 업데이트는 자유도와 support가 모두 최대 $k$이고 각 방향이 독립적이다. LoRA의 장점으로 제안되는 층 전체 coupling은 동시에 제약이기도 하다. 차원 2,093,056이 RoBERTa 연구의 $d_{90}\lesssim1,600$보다 크다는 원문 비교는 표현력의 개연성을 제공하지만, 모델·과제·목표가 다른 OLMo ARC-Easy의 intrinsic dimension을 직접 측정한 값은 아니다.
4. 실험 설정: 두 OLMo 규모와 세 평가 지표를 통제한 비교
모델, 데이터셋, 기준선
학습 실험의 주 모델은 OLMo-1B와 OLMo-7B다. OLMo-1B는 1.28B 파라미터와 16개 Transformer 층, OLMo-7B는 7B 파라미터와 32개 층을 갖는다. pruning 복제에는 Phi-3-mini, Mistral-7B-v0.1, Meta-Llama-3-8B, Llama-3.1-8B-Instruct, Llama-3.2-3B, Llama-3.2-1B, Qwen2.5-1.5B-Instruct, Gemma-2-9B-it를 더해 총 10개 모델을 보고한다. 다만 직접·이웃·LoRA 학습은 OLMo 두 모델에 한정된다.
주 과제 ARC-Easy는 train 2,251개와 test 2,376개인 네 선택지 과학 문항이다. 답 후보별 perplexity를 계산해 가장 낮은 후보를 선택하고 exact-match accuracy를 낸다. 따라서 무작위 기준은 약 25%다. 추가 검증인 Winogrande는 train 9,248개와 test 1,267개인 두 선택지 상식 추론 과제로 chance가 50%다. WikiText-2 perplexity는 Super Weight 제거가 언어 모델링 자체를 얼마나 무너뜨리는지 확인하는 별도 지표다.
| 모델 | ARC-Easy | Winogrande | WikiText-2 PPL | 용도 |
|---|---|---|---|---|
| OLMo-1B | 60.6% | 61.6% | 13.09 | 전체 실험 |
| OLMo-7B | 73.3% | 67.5% | 9.59 | 전체 실험 |
| Phi-3-mini 3.8B | 81.9% | 73.5% | 9.48 | pruning만 |
| Mistral-7B-v0.1 | 80.3% | 75.3% | 8.08 | pruning만 |
| Meta-Llama-3-8B | 80.8% | 73.9% | 7.44 | pruning만 |
| Llama-3.1-8B-Instruct | 82.3% | 73.3% | 8.92* | pruning만 |
| Llama-3.2-3B | 74.5% | 69.4% | 9.51 | pruning만 |
| Llama-3.2-1B | 66.3% | 60.9% | 11.96 | pruning만 |
| Qwen2.5-1.5B-Instruct | 76.8% | 62.7% | 12.21 | pruning만 |
| Gemma-2-9B-it | 85.9% | 75.9% | 24.08** | pruning만 |
별표가 붙은 perplexity는 동일 조건 비교에 제약이 있다. Llama-3.1-8B-Instruct는 GPU 메모리 때문에 INT8로 WikiText-2 PPL을 측정했고, Gemma-2-9B-it도 INT8과 max_length=512를 사용했다. ARC-Easy와 Winogrande는 float16으로 평가되어 비교 가능하다고 저자들은 설명한다. 모델 간 절대 PPL 순위를 만들기보다 같은 모델에서 pruning 전후 변화가 있는지 확인하는 용도로 쓰는 편이 안전하다.
최적화 설정과 LoRA 예산
모든 직접 학습, neighborhood, LoRA 변형, seed ablation은 AdamW, learning rate $10^{-4}$, 3 epochs를 사용한다. effective batch size는 16으로 맞춘다. 1B는 실제 batch 4에 gradient accumulation 4, 7B는 batch 1에 accumulation 16이다. LoRA는 rank $r=8$, $\alpha=16$이고 attention의 네 projection을 표적으로 한다. OLMo-1B에서 trainable parameter는 약 2.1M, 전체의 0.16%다.
| 설정 | OLMo-1B | OLMo-7B |
|---|---|---|
| 학습률 / epoch | $10^{-4}$ / 3 | $10^{-4}$ / 3 |
| batch × accumulation | 4 × 4 | 1 × 16 |
| LoRA 표적 | q_proj, k_proj, v_proj, o_proj |
|
| LoRA rank / alpha | $r=8$, $\alpha=16$ | |
| LoRA trainable params | 2.1M, 0.16% | 8,388,608 |
평가 설계가 허용하는 결론의 범위
ARC-Easy의 후보별 lowest-perplexity 선택은 자유 생성 능력과 같은 지표가 아니다. OLMo-7B pruning에서 PPL이 9.59에서 42,024로 4,400배 폭증해도 ARC-Easy가 73.3%에서 60.5%로만 떨어지는 이유를 저자들은 네 개의 고정 후보 사이 상대 순서가 일부 남을 수 있기 때문이라고 설명한다. 따라서 제거의 치명성은 PPL과 정확도를 함께 봐야 하고, 학습법의 과제 적응은 held-out exact accuracy로 비교해야 한다.
Lowest-perplexity 선택이 붕괴를 축소해 보이는 조건
네 후보를 각각 조건부 문장으로 채점하는 평가는 절대적인 언어 확률보다 후보 사이 순서를 사용한다. 한 checkpoint가 모든 후보에 매우 나쁜 likelihood를 주더라도 정답 후보가 오답보다 조금 덜 나쁘면 exact match는 맞는다. 반대로 fluent한 자유 생성을 유지해도 템플릿이나 길이 효과로 후보 순서가 뒤집히면 틀린다. 이 때문에 ARC-Easy 정확도는 제한된 후보 집합의 ranking 능력이고, open-ended generation의 문법성·반복·종료·사실성을 직접 측정하지 않는다. OLMo-7B에서 PPL이 42,024까지 상승한 상태에서도 60.5%가 남은 사례는 절대 모델링 품질과 상대 선택 정확도가 분리될 수 있음을 수치로 보여준다.
평가 효과를 확인하려면 같은 checkpoint에서 정답과 최상위 오답의 log-likelihood margin, 네 후보 score의 분포, 문항별 순위 변화, WikiText-2 token NLL을 함께 저장하는 편이 좋다. 자유 생성에는 고정 prompt 묶음을 사용해 반복률, 비정상 종료, 길이 분포와 원문 출력을 보존해야 한다. 이런 추가 지표는 논문에 보고된 새 성능을 뜻하지 않으며, 60.5%가 생성 품질 보존을 의미하는지 판단할 수 없다는 측정상의 공백을 채우는 설계다. 후보별 perplexity 구현에서도 tokenizer, BOS/EOS 처리, prompt token을 loss에 포함하는지, 후보 길이 정규화 방식을 고정해야 checkpoint 간 비교가 성립한다.
통계 반복 횟수도 실험마다 다르다. LoRA-dproj-SW-freeze의 극단 조건은 seed 42~51의 10회 반복이 있고, LoRA-$\Delta W$-SW-freeze는 3회 반복이다. 반면 scale sweep의 개별 행과 random sparse, down_proj LoRA 대조군은 single seed 결과가 포함된다. 큰 효과인 chance-level 붕괴는 눈에 띄지만, 0.3~1%p 차이를 방법 우열로 해석할 때는 seed 분산과 실험 프로토콜 차이를 우선 고려해야 한다.
단일 seed 대조군이 지지하는 명제의 강도
Random sparse $k=4,096$의 64.18%는 seed 42에서 얻은 한 좌표 추출과 한 최적화 run의 결합 결과다. 이 한 사례만으로도 “down_proj의 4,096개 희소 좌표를 학습하면 언제나 chance로 간다”는 보편 명제에는 반례가 된다. 같은 모듈·같은 좌표 수의 Direct 26.30%와 함께 보면 Super Weight 선택이 붕괴에 관여한다는 강한 단서를 준다. 다만 무작위 좌표 분포의 평균 성능, 실패 확률, 분산, OLMo-7B 재현율은 추정할 수 없다. 64.18%를 random sparse 방법의 기대 성능처럼 취급하거나 LoRA와의 2.70%p 차이를 안정적인 효과 크기로 보는 것은 단일 run의 정보 범위를 넘는다.
반복에는 두 종류의 난수가 있다. 첫째는 어떤 4,096개 좌표를 고르는 mask seed, 둘째는 데이터 순서·dropout·초기화에 영향을 주는 optimizer seed다. 하나만 바꾸면 좌표 선택 변동과 학습 변동을 분리할 수 없다. 여러 mask마다 여러 optimizer seed를 중첩한 설계로 mask 간 분산과 mask 내부 분산을 따로 추정하고, Super Weight 실험과는 데이터 순서 seed를 짝지어 paired difference를 계산해야 한다. layer별 할당 수까지 무작위로 두면 특정 층을 많이 뽑은 효과가 섞이므로 원래 Super Weight의 layer histogram과 맞춘 대조군도 필요하다.
5. 주요 실험 결과: 제거에는 치명적이지만 직접 학습에는 유독 취약한 좌표
Pruning 복제: 좌표 출처에 따라 갈리는 재현
| 모델 | SW 수 | WikiText-2 PPL | ARC-Easy | Winogrande |
|---|---|---|---|---|
| OLMo-1B | 2 | 13.09 → 47,951 | 60.6% → 27.0% | 61.6% → 49.3% |
| OLMo-7B | 2 | 9.59 → 42,024 | 73.3% → 60.5% | 67.5% → 62.3% |
| Phi-3-mini | 6 | 9.48 → 3,543 | 81.9% → 34.3% | 73.5% → 51.9% |
| Mistral-7B-v0.1 | 1 | 8.08 → $\infty$ | 80.3% → 25.6% | 75.3% → 49.5% |
| Meta-Llama-3-8B | 3 | 7.44 → $\infty$ | 80.8% → 25.1% | 73.9% → 48.2% |
| Llama-3.1-8B-Instruct† | 2 | 8.92 → 8.92 | 82.3% → 82.2% | 73.3% → 73.6% |
| Llama-3.2-3B† | 2 | 9.51 → 9.51 | 74.5% → 74.9% | 69.4% → 69.5% |
| Llama-3.2-1B† | 2 | 11.96 → 11.96 | 66.3% → 66.3% | 60.9% → 60.9% |
| Qwen2.5-1.5B-Instruct† | 2 | 12.21 → 12.21 | 76.8% → 76.8% | 62.7% → 63.0% |
| Gemma-2-9B-it† | 2 | 24.08 → 24.04 | 85.9% → 85.8% | 75.9% → 76.0% |
위 표의 앞 다섯 모델은 선행 연구가 제공한 activation-spike 좌표를 사용해 치명적 저하를 재현한다. OLMo-1B의 PPL은 3,663배, OLMo-7B는 약 4,400배 증가한다. 뒤의 † 다섯 모델은 magnitude 기반 좌표이며 변화가 사실상 없다. Qwen2.5-1.5B의 상위 weight magnitude 1.20이 OLMo-1B의 0.83보다 큰데도 pruning이 무해하다는 관찰은 절댓값만으로 기능적 Super Weight를 식별할 수 없음을 보여준다.
이 결과는 Super Weight 현상이 모든 현대 LLM에서 보편적으로 사라진다는 뜻도, 보편적으로 존재한다는 뜻도 아니다. 서로 다른 식별법이 섞여 있기 때문이다. 기존 좌표가 있는 모델에서는 붕괴하고 magnitude만 사용한 신규 모델에서는 효과가 없으므로, activation outlier를 직접 추적하는 동등한 절차를 모든 모델에 적용해야 아키텍처 일반성을 판단할 수 있다. 논문의 이후 선택적 학습 결론은 criticality가 확인된 OLMo 두 모델에 제한된다.
직접 학습: 파라미터를 81배 늘려도 chance level
| 방법 | 학습 파라미터 | OLMo-1B ARC-Easy | OLMo-7B ARC-Easy |
|---|---|---|---|
| Top 100 SW | 100 | 25.30% | 26.3% |
| Top 1,000 SW | 1,000 | 약 25% | 26.1% |
| Top 4,096 SW | 4,096 | 26.30% | 26.1% |
| Top 8,192 SW | 8,192 | 약 25% | 약 25% |
100개에서 8,192개로 81배 이상 늘려도 개선이 없다. 더 중요한 진단은 training loss는 내려가는데 validation perplexity가 폭증한다는 점이다. 선택 좌표에는 학습 신호가 전달됐지만, 그 좌표만으로 훈련 분포를 맞추는 변화가 held-out 입력의 표현을 파괴한 셈이다. OLMo-1B와 7B에서 같은 chance-level 패턴이 반복되므로 모델 크기만 늘려 해결되는 현상도 아니다. 최적화 가능성과 일반화 가능한 적응을 구분해야 한다.
Neighborhood: 국소 문맥은 기능적 문맥이 아니다
| 방법 | 근사 파라미터 | OLMo-1B | OLMo-7B |
|---|---|---|---|
| Neighborhood $k=100$ | 약 900 | 24.96% | 26.3% |
| Neighborhood $k=1,000$ | 약 9,000 | 25.59% | 26.1% |
| Neighborhood $k=4,096$ | 약 36,864 | 25.59% | 26.1% |
최대 neighborhood에서 OLMo-1B loss는 2.00에서 201.92까지 증가해 최적화 불안정성도 드러난다. 행렬상 가까운 좌표는 메모리 배치상 이웃일 뿐, 반드시 같은 기능을 공동 구현하지 않는다. 한 출력 행은 모든 입력 차원과 결합되고, MLP 출력은 residual stream을 통해 다음 attention과 MLP 층으로 전파된다. 따라서 $3\times3$ 패치는 공간적 이웃을 늘리지만 Super Weight의 표현적 의존성을 이루는 행·열·층간 경로를 포괄하지 못한다.
LoRA scale sweep: 대응 위치를 완전히 막아도 유지되는 성능
| Scale $s$ | 설명 | OLMo-1B | OLMo-7B |
|---|---|---|---|
| 1.0 | Vanilla LoRA | 66.88% | 77.3% |
| 0.8 | 대응 위치 80% scale | 66.54% | 76.9% |
| 0.5 | 대응 위치 50% scale | 66.50% | 78.0% |
| 0.2 | 대응 위치 20% scale | 66.46% | 76.6% |
| 0.1 | 대응 위치 10% scale | 66.50% | 76.4% |
| 0.0 | LoRA-dproj-SW-freeze | 66.50% | 76.7% |
OLMo-1B의 범위는 66.46~66.88%, OLMo-7B는 76.4~78.0%로 모두 사전학습 기준선을 넘는다. $s=0$은 LoRA 파라미터의 6.8%를 제한하는 1B와 0.5%를 제한하는 7B에서 성능을 무너뜨리지 않는다. 이 결과가 말하는 것은 실제 down_proj Super Weight를 수정해도 괜찮다는 것이 아니다. 애초에 그 값은 고정되어 있다. attention의 일부 대응 인덱스가 막혀도 남은 93.2~99.5%의 결합된 저랭크 경로가 표현을 우회 조정할 수 있다는 뜻이다.
LoRA 변화량의 큰 위치는 구조적 병목이 아니다
| 방법 | 동결 위치 | OLMo-1B, 3 seeds | OLMo-7B, 3 seeds |
|---|---|---|---|
| Vanilla LoRA | 없음 | 62.72% ± 0.62% | 65.07% ± 1.46% |
| LoRA-$\Delta W$-SW-freeze | 상위 1,000 | 62.77% ± 0.62% | 64.09% ± 3.38% |
1B에서는 두 평균이 0.05%p 차이로 사실상 같고, 7B는 동결 방법이 0.98%p 낮지만 표준편차가 3.38%로 더 크다. 3개 seed만으로 작은 차이를 확정할 수 없다. 사전학습 Super Weight는 장기간 학습된 네트워크의 다른 파라미터와 공동 적응한 고정 병목이지만, LoRA의 큰 변화량은 저랭크 인자의 곱에서 나온 분산된 해의 일부다. 학습 후 magnitude ranking이 제거 민감도 순위를 자동으로 제공하지 않는다는 점이 드러난다.
전체 결과표: 실패 원인을 좌표 선택으로 좁히는 대조
| 방법 | Params | 업데이트 유형 | OLMo-1B | OLMo-7B |
|---|---|---|---|---|
| Pruning 2 SW | 0 | 제거 | 26.98% | 60.5%† |
| Direct $k=100$ | 100 | 희소 | 25.30% | 26.3% |
| Direct $k=4,096$ | 4,096 | 희소 | 26.30% | 26.1% |
| Neighborhood $k=100$ | 900 | 희소 | 24.96% | 26.3% |
| Neighborhood $k=4,096$ | 36,864 | 희소 | 25.59% | 26.1% |
| Random sparse $k=4,096$ | 4,096 | 희소 | 64.18%‡ | - |
| LoRA on down_proj | 1.31M | 층 전체 저랭크 | 68.77%‡ | - |
| Vanilla LoRA | 2.1M | 층 전체 저랭크 | 66.88% | 77.3% |
| LoRA-dproj-SW-freeze | 2.1M | 층 전체 저랭크 | 66.50% | 76.7% |
| LoRA-$\Delta W$ freeze | 2.1M | 층 전체 저랭크 | 62.77%* | 64.09%* |
† OLMo-7B pruning의 ARC 하락은 1B보다 작지만 PPL은 9.59에서 42,024로 붕괴했다. *는 3개 seed 평균, ‡는 OLMo-1B seed 42 단일 결과다. 가장 강한 인과적 비교는 Direct $k=4,096$의 26.30%와 Random sparse $k=4,096$의 64.18%다. 같은 모듈, 같은 좌표 수에서 Super Weight 포함 여부가 바뀐다. 이어 down_proj LoRA 68.77%는 해당 모듈도 적응에 부적합하지 않음을 보인다. 다만 두 대조군의 반복 실험이 부족해 효과 크기의 불확실성은 남는다.
결과 사슬에서 각 대조군이 제거하는 설명
Direct와 neighborhood가 모두 chance에 머문 결과는 좌표 수를 100에서 36,864까지 늘리는 것만으로 회복되지 않았음을 보여준다. Random sparse는 동일한 down_proj와 $k=4,096$을 유지해 모듈 선택과 희소 좌표 수의 설명을 약화시키고, down_proj rank-8 LoRA는 MLP 출력 projection 자체가 적응 불가능하다는 설명을 약화시킨다. Attention LoRA의 scale sweep은 실제 MLP weight를 고정한 채 대응 attention 인덱스 의존성을 시험한다. 서로 다른 질문을 맡은 대조군을 한 축의 방법 순위로 합치면 실험 논리가 흐려진다.
남는 차이도 명시해야 한다. Random sparse와 Direct는 좌표의 activation·magnitude·행·층 분포가 다를 수 있고, down_proj LoRA는 1.31M trainable scalar로 4,096개 희소 좌표보다 예산이 크다. Vanilla attention LoRA는 표적 모듈까지 달라진다. 따라서 표는 Super Weight 좌표가 표준 직접 학습 붕괴의 핵심 조건이라는 단계적 증거를 제공하지만, 저랭크 구조만의 순수 효과 크기를 하나의 matched comparison으로 추정하지는 않는다. 좌표 분포와 자유도를 맞춘 반복 실험이 그 다음 식별 단계다.
6. 추가 분석 및 Ablation Study: 안정성, seed, 곡률 메커니즘을 교차 점검하기
Super Weight의 안정성과 실제 변화량
| 지표 | LoRA 전 | LoRA 후 | 변화 |
|---|---|---|---|
| 평균 SW magnitude | 0.206 | 0.206 | -0.03% |
| SW percentile rank | 100.0% | 100.0% | 0% |
| local maximum 비율 | 100% | 100% | 0% |
| SW/neighbor ratio | 58.4× | 58.6× | +0.3% |
Vanilla LoRA는 attention만 바꾸므로 down_proj 본체의 Super Weight가 유지되는 것은 설계상 당연하다. 그럼에도 percentile과 local maximum, 이웃 대비 비율을 함께 제시한 이유는 적응 후 모델에서도 이 outlier 구조가 사라지지 않은 채 성능이 좋아진다는 점을 강조하기 위해서다. LoRA는 고이득 증폭기를 다시 조각하기보다, 앞선 attention과 residual 경로가 그 증폭기에 들어가는 표현을 과제에 맞게 바꾼다는 해석과 일치한다.
| 방법 | 평균 $\Delta$ | 중앙값 $\Delta$ | 최대 $\Delta$ | CV |
|---|---|---|---|---|
| Pruning | 100% | 100% | 100% | 0.00 |
| Direct Training | 8.19% | 7.55% | 30.89% | 0.66 |
| Vanilla LoRA 대응 좌표 | 0.15% | 0.10% | 5.56% | 0.94 |
직접 학습의 평균 상대 변화 8.19%는 LoRA 대응 위치의 0.15%보다 약 55배 크고, 일부 직접 업데이트는 30.89%에 이른다. 논문은 직접 학습한 Super Weight 중 35.5%가 원래 값의 10%를 넘게 바뀐다고 설명한다. 큰 가중치가 만드는 출력 기여를 주변 행·열 변화 없이 크게 조절하면 훈련 샘플에는 맞아도 다른 입력에서 폭주할 수 있다. 다만 서로 다른 행렬에서 정의된 변화량을 비교하므로, 이 표는 정확한 동일 좌표 실험보다 업데이트 규모의 진단으로 보아야 한다.
10-seed ablation: 위치 제한의 차이가 재현되는가
| 모델·방법 | 평균 정확도 | 표준편차 | 동일 예측 seed | p-value |
|---|---|---|---|---|
| OLMo-1B Vanilla | 62.90% | 0.45% | - | - |
| OLMo-1B $s=0$ | 62.90% | 0.45% | 8/10, 80% | $>0.05$ |
| OLMo-7B Vanilla | 66.05% | 1.14% | - | - |
| OLMo-7B $s=0$ | 66.05% | 1.14% | 10/10, 100% | $=1.0$ |
Figure 3은 scale sweep의 $s=1$과 $s=0$ 차이가 seed 변동을 넘어 재현되는지 보여준다. OLMo-1B의 두 방법은 평균과 표준편차가 모두 62.90%와 0.45%로 같고, 10개 중 8개 seed는 문항별 예측까지 완전히 일치한다. OLMo-7B는 10개 seed 전부 예측이 동일해 $p=1.0$이다. 특정 attention 인덱스를 제한하는 처리가 성능에 의미 있는 영향을 준다는 근거가 없으며, LoRA 해가 남은 저랭크 자유도에서 안정적으로 보상된다는 해석을 지지한다.
scale sweep의 66~77%와 seed ablation의 62~66%가 서로 다른 것은 표가 동일 checkpoint 집합을 요약한 것이 아니기 때문이다. 앞 표는 scale 값을 바꾼 주 결과이고, 뒤 표는 극단 조건을 10개 seed로 별도 반복한 강건성 검사다. 절대 정확도를 직접 한 열처럼 이어 붙이기보다 각 프로토콜 안에서 $s=0$과 $s=1$의 차이를 비교해야 한다. 저자들도 두 실험의 목적을 각각 제한 강도와 seed 민감도로 구분한다.
Optimizer suppression 가설
단일 선형층 $\mathbf{y}=W\mathbf{x}$에서 손실 $L$을 생각하자. 한 행의 gradient는 $$g_{r,j}=\frac{\partial L}{\partial W_{r,j}}=\frac{\partial L}{\partial y_r}x_j$$이고 diagonal Hessian은 $$H_{r,j}=\frac{\partial^2L}{\partial y_r^2}x_j^2$$다. Super Weight와 결합된 입력 활성값이 평균보다 $M$배 커서 $|x_c|=M\mu_x$라면 gradient는 $M$배, 곡률은 $M^2$배가 된다. 대각 2차 업데이트 $\Delta w=-\eta g/H$에서는 $$\frac{|\Delta w^*|}{|\Delta w_{\mathrm{typ}}|}=\frac{1}{M}$$이 되어 큰 활성값 좌표의 파라미터 변화가 오히려 억제된다.
Figure 4는 큰 activation이 gradient와 함께 손실 곡률을 제곱 비율로 키울 수 있음을 요약한다. 이상적인 diagonal second-order rule에서는 $M$배 큰 gradient가 $M^2$배 큰 Hessian으로 나뉘어 업데이트가 일반 좌표의 $1/M$이 되고, 최종 출력 변화는 비슷한 크기로 평준화된다. 실제 실험의 AdamW는 정확한 Hessian 역수를 쓰지 않으므로 정리를 그대로 적용할 수 없지만, 높은 곡률이 같은 크기의 독립적 변경에 더 큰 손실 페널티를 준다는 안정성 직관은 남는다.
이 정리는 실용 optimizer에 대한 엄밀한 보장이 아니다. Adam의 분모 $\sqrt{v_t}$는 squared gradient 누적량이며 진짜 curvature가 아니므로, 위치별 step은 이상적인 $1/M$보다 $O(1)$에 가까울 수 있다. 저자들도 2차 Taylor 항 $\frac12H(\Delta w)^2$가 Super Weight에서 커져 최적화 궤적상 overshooting을 제약한다고 보완한다. 따라서 implicit suppression은 가능한 메커니즘이며, 직접 학습 붕괴를 완결적으로 증명한 인과 실험은 아니다.
AdamW 업데이트와 곡률 억제 사이에 남는 추론 간극
AdamW의 좌표별 데이터 gradient step을 단순화하면 $-\eta\hat m_t/(\sqrt{\hat v_t}+\epsilon)$이고, weight decay는 이 항과 분리되어 적용된다. 한 좌표의 gradient가 지속적으로 $M$배 커지면 1차 moment도 대략 $M$배, 2차 moment의 제곱근도 대략 $M$배가 되어 비율에서 상쇄될 수 있다. 이 계산은 Hessian으로 나누는 $-\eta g/H$와 다르며 $M^2$ 곡률로부터 $1/M$ parameter step이 자동 도출되지 않는다. 원문도 practical optimizer 단락에서 Adam의 step이 위치 전반에 $O(1)$에 가까울 수 있음을 인정한다.
높은 curvature가 같은 $\Delta w$에 더 큰 Taylor penalty를 준다는 식은 손실 곡면의 국소 민감도를 설명한다. 그러나 AdamW가 그 민감도를 어느 시점에 감지해 실제 step을 줄였는지, 또는 큰 step 뒤 loss 상승과 gradient 방향 변화로 사후 교정했는지는 별도 문제다. direct training에서 선택된 좌표만 움직이면 optimizer가 사용할 우회 방향이 없고, LoRA에서는 공유 factor를 통해 다른 행·열 방향으로 gradient를 재배치할 수 있다. 관찰된 성능 차이는 curvature, parameterization, 자유도, weight decay가 동시에 달라진 결과라서 현재 표만으로 각 기여를 식별할 수 없다.
저자 주장의 경험적 연결도 모델을 가로지른다. activation amplification $M$은 Qwen2.5-0.5B-Instruct의 100개 prompt에서 측정되었고, 직접 학습 붕괴의 중심 모델은 OLMo-1B·7B다. Hessian ratio와 perturbation sensitivity는 source prose와 plot 값이 일치하지 않는다. 그러므로 “큰 activation이 존재한다”, “OLMo Super Weight 직접 학습이 붕괴한다”, “이론적 diagonal Newton step은 $1/M$이다”는 각각 논의할 수 있지만, AdamW가 OLMo의 동일 좌표에서 곡률 억제를 실행해 붕괴를 일으켰다는 하나의 인과 사슬은 아직 검증 대상이다.
간극을 줄이는 로그는 step 단위로 구성할 수 있다. 선택 좌표와 matched random 좌표에서 raw gradient $g_t$, AdamW의 $m_t$, $v_t$, bias-corrected update, decay 항, 실제 $\Delta w_t/w_0$, gradient clipping 전후 값을 기록한다. 같은 minibatch에서 Hessian-vector product 또는 Hutchinson diagonal 추정치를 구해 $H_{ii}$와 effective step의 관계를 본다. SGD·AdamW·진짜 diagonal preconditioner를 동일 mask와 총 update norm으로 비교하고 learning-rate 및 relative trust-region을 sweep하면, $1/M$ 억제가 optimizer에서 측정되는지와 작은 상대 step이 generalization 붕괴를 완화하는지를 분리할 수 있다.
Activation amplification 측정
Figure 5는 Qwen2.5-0.5B-Instruct의 24개 층에 forward hook을 걸고 100개 무작위 prompt에서 측정한 activation amplification을 요약한다. 논문 본문 수치로 layer 2의 평균과 최댓값은 40.6과 177.8, layer 3은 52.0과 226.5, layer 21은 49.5와 233.2이며 다수 층의 평균은 5~10 범위다. 큰 $M$이 실제로 존재한다는 전제는 뒷받침하지만, 이 모델의 활성값 결과가 OLMo 선택적 학습 붕괴를 직접 인과적으로 연결하는 것은 아니다.
활성값 분석에 사용한 Qwen2.5-0.5B-Instruct와 주 학습 실험의 OLMo는 모델 계열과 크기가 다르다. 앞의 pruning 표에서는 Qwen2.5-1.5B에 magnitude 기반 좌표를 적용했을 때 효과가 없기도 했다. 따라서 activation amplification의 존재, Super Weight 식별, 직접 학습 붕괴를 하나의 모델에서 같은 좌표로 연결하는 실험이 추가되어야 메커니즘 사슬이 강해진다. 현재 결과는 각 고리의 정합성을 보이지만 단일 통합 검증은 아니다.
Hessian ratio와 perturbation sensitivity의 데이터 무결성 한계
원문은 Hessian ratio 실험에서 본문 prose로 mean 2.48, median 0.86, maximum 74.50, standard deviation 8.68을 보고하고, perturbation sensitivity에서는 mean 3.39, median 1.09, maximum 72.00, standard deviation 8.43을 적는다. 그러나 본문 prose와 포함된 plot 값이 일치하지 않는다. 이 불일치 때문에 두 원 source 이미지는 사용하지 않았고, 어느 수치 집합이 최종 실험 산출물인지 확인되기 전에는 최대 74.50이나 72배라는 값으로 강한 결론을 내리기 어렵다.
방향성 해석에도 주의가 필요하다. Hessian ratio의 본문 중앙값 0.86은 절반 이상의 비교에서 Super Weight 곡률이 random 위치보다 더 크지 않을 수 있음을 뜻하며, 평균 2.48은 오른쪽 꼬리의 영향을 받는다. perturbation ratio 중앙값 1.09도 효과가 전 좌표에서 압도적으로 크다는 증거는 아니다. plot과 집계 수치가 정리되고 bootstrap confidence interval, 음수 finite-difference Hessian 처리, epsilon sensitivity, 동일 좌표 반복 측정이 공개되어야 $M^2$ 곡률 스케일링을 경험적으로 평가할 수 있다.
Winogrande: 개선보다 붕괴 방지에서 반복되는 상대 패턴
| OLMo-1B 방법 | Params | Winogrande |
|---|---|---|
| Pretrained baseline | - | 61.6% |
| Direct SW $k=100$ | 100 | 53.2% |
| Direct SW $k=1,000$ | 1,000 | 50.7% |
| Neighborhood $k=4,096$ | 36,864 | 50.6% |
| LoRA $r=1$ | 4,096 | 59.6% |
| LoRA $r=2$ | 8,192 | 58.6% |
Winogrande에서는 어떤 학습법도 61.6% 기준선을 넘지 못한다. 그러므로 LoRA가 이 과제에서도 적응에 성공했다고 표현하기는 어렵다. 확인되는 것은 실패의 상대적 심각도다. 직접 Super Weight와 neighborhood는 두 선택지 chance인 약 50%까지 떨어지고, rank-1과 rank-2 LoRA는 58.6~59.6%로 기준선 근처를 보존한다. 과제별 이득은 달라도 좌표 집중 업데이트의 파괴성과 구조화 업데이트의 안정성이라는 순서는 유지된다.
저랭크 manifold의 표현력과 암묵적 보존
rank가 $r$ 이하인 $m\times n$ 행렬의 manifold 차원은 $$\dim(\mathcal{M}_r)=r(m+n-r)$$이다. $m=n=2048$, $r=8$이면 한 attention projection에서 32,704이고, 16층의 네 projection을 합치면 2,093,056이다. 최대 희소 실험 8,192개보다 256배 큰 tangent 차원이다. 더 중요한 차이는 각 basis가 한 원소만 바꾸는 표준기저와 달리 일반적으로 모든 원소를 바꾸는 rank-1 outer product라는 점이다. 같은 trainable parameter 수라도 합성 업데이트가 닿는 위치와 결합 방식이 달라질 수 있다.
각 원소에 Cauchy–Schwarz를 적용하면 $$|\Delta W_{ij}|\le\frac{\alpha}{r}\|B_{i,:}\|_2\|A_{:,j}\|_2$$이고, 사전학습 weight가 0이 아니면 상대 변화 상한은 여기에 $1/|W_{ij}|$가 곱해진다. 같은 LoRA factor norm에서 원래 magnitude가 큰 위치일수록 상대 변화가 작아지는 형태다. AdamW가 $A$와 $B$의 Frobenius norm을 벌점화하면 합성 $BA$의 nuclear norm이 작은 해를 선호하는 효과도 생긴다. 이는 Super Weight에 별도 규칙을 두지 않아도 큰 상대 변경이 억제될 수 있다는 설명이다.
다만 논문의 typical-case 유도는 세심한 검토가 필요하다. 독립 Gaussian의 곱을 $r$개 더한 절댓값 기대는 단순히 각 항의 절댓값 기대를 합친 값과 같지 않으며, 원문의 Proposition 3 본문 식과 이어지는 proof의 $r$ 의존성이 서로 매끄럽게 맞지 않는다. 따라서 $O(1/|W_{ij}|)$이라는 정성적 역비례는 상한에서 이해할 수 있지만, 제시된 평균 계수와 분산을 그대로 정밀 예측으로 받아들이면 안 된다. 경험적 0.15%도 attention 대응 좌표 측정이라는 제한이 있다.
7. 한계점 및 향후 연구 방향: 강한 대조 실험을 넓은 일반성으로 확장하기
과제와 모델 범위의 비대칭
가장 큰 범위 제한은 pruning은 10개 모델을 다루지만 선택적 학습은 OLMo-1B와 OLMo-7B에 집중된다는 점이다. 더구나 magnitude 기반 식별이 신규 다섯 모델에서 실패했으므로, 다른 계열에 직접 학습을 확장하려면 먼저 activation-spike 기반으로 진짜 critical 좌표를 찾아야 한다. Llama, Mistral, Phi, Qwen, Gemma에서 같은 식별 파이프라인을 적용하고 pruning criticality를 확인한 뒤 direct·random sparse·LoRA를 같은 표로 비교해야 보편성을 논할 수 있다.
과제도 ARC-Easy가 중심이며 Winogrande는 어떠한 방법도 기준선을 개선하지 못했다. MMLU처럼 분야가 다양한 지식 평가, GSM8K 같은 연쇄 추론, 생성식 instruction following, 장문 언어 모델링을 함께 사용하면 chance-level 붕괴가 과제 형식에 무관한지 알 수 있다. 특히 multiple-choice lowest-PPL 방식은 생성 품질 붕괴를 축소해 보일 수 있으므로, exact match와 calibration, free-form generation, perplexity를 같은 checkpoint에서 보고할 필요가 있다.
핵심 대조군의 반복 부족
Super Weight 붕괴가 sparsity 탓이 아님을 보여주는 random sparse $k=4,096$은 OLMo-1B seed 42 한 번이다. 이 행은 논문의 인과 논리에서 매우 중요하므로 10개 seed, $k=100,1,000,4,096,8,192$, 두 OLMo 규모로 확장해야 한다. random 좌표 외에도 magnitude matched non-SW, 같은 row/column matched, activation frequency matched, layer allocation matched 대조군을 두면 어떤 통계적 특성이 붕괴를 예측하는지 세밀하게 분리할 수 있다.
down_proj LoRA 대조군도 OLMo-1B single seed다. attention LoRA가 입력 표현을 우회 조정한다는 설명과 MLP 자체의 full-layer update가 성공한다는 설명을 비교하려면, attention-only, MLP-only, 둘의 결합을 동일 파라미터 예산과 rank로 반복해야 한다. rank 1, 2, 4, 8, 16 sweep을 통해 성공이 시작되는 최소 구조 자유도를 찾고, 같은 자유도 수의 dense random projection 및 block-sparse update와 비교하면 “저랭크”와 “층 전체 결합”의 기여를 나눌 수 있다.
이론과 경험 분석의 연결 약점
Intrinsic dimension 정리는 무작위 방향의 부분공간을 가정하므로 실제 fine-tuning subspace와 Super Weight 좌표가 독립인지 보장하지 않는다. 학습된 모델의 Hessian eigenvector나 gradient covariance가 특정 coordinate axis와 정렬될 수 있다. 실제 overlap을 측정하려면 여러 minibatch의 gradient를 모아 저차원 basis를 추정하고, Super Weight·random·magnitude matched 좌표에 투영되는 에너지를 비교해야 한다. $k/N$ 기대값과 실제 alignment가 얼마나 다른지가 이론 검증의 핵심이다.
Optimizer suppression은 diagonal second-order update에서 깔끔하지만 실제 AdamW에 직접 대응하지 않는다. SGD, AdamW, Adafactor, Shampoo, natural gradient를 같은 좌표 mask로 비교하고 위치별 gradient, second moment, effective step, local curvature를 시간축으로 기록하면 $1/M$ 억제가 어느 optimizer에서 나타나는지 알 수 있다. direct training에 gradient clipping, per-coordinate trust region, relative-step constraint를 적용해 붕괴가 완화된다면 curvature overshoot 가설에 더 직접적인 근거가 된다.
데이터 무결성과 재현 패키지
Hessian ratio와 perturbation sensitivity는 본문 prose와 포함 plot 값이 일치하지 않는다. source data CSV, 계산 script, plotting notebook, checkpoint hash를 함께 공개하고 표와 그림을 한 데이터 객체에서 자동 생성해야 한다. finite difference의 $\epsilon=10^{-4}$ 주변 sweep, loss 계산 precision, 음수 또는 0에 가까운 denominator 처리, outlier clipping 규칙도 필요하다. 현재 상태에서는 activation amplification 결과와 수학적 스케일링은 논의할 수 있지만, 두 불일치 plot으로 강한 경험적 확인을 선언하기 어렵다.
재현성 패키지는 좌표 목록의 provenance도 포함해야 한다. 각 모델의 Super Weight가 선행 논문 좌표인지 magnitude ranking인지 activation spike 재탐색인지 표시하고, layer·row·column·weight value·activation frequency·pruning delta를 versioned manifest로 제공해야 한다. 학습 run에는 seed, optimizer state, mask 생성 코드, train/test prediction, checkpoint 변화량을 연결하면 “중요도”의 여러 정의가 섞이는 일을 줄일 수 있다.
좌표 발견부터 통계 검정까지의 재현 프로토콜
발견 단계와 검증 단계를 분리하면 좌표 과적합을 줄일 수 있다. 한 corpus split에서 activation spike 후보를 찾고, 독립 split과 다른 도메인에서 출현 빈도를 다시 계산한 뒤, 세 번째 held-out 묶음에서 pruning delta를 측정한다. 각 좌표에는 모델 revision과 tensor name, shape, dtype, zero-based index convention을 기록하고 tokenizer·context length·hook의 입력/출력 위치를 manifest에 고정한다. magnitude 후보에도 같은 수의 좌표와 같은 층 배분을 적용해야 식별법 비교가 좌표 수나 layer composition에 좌우되지 않는다.
학습 단계는 좌표 유형과 update structure를 교차시키는 요인 설계가 적합하다. Super Weight, magnitude-matched non-SW, activation-frequency-matched, row·column-matched random, 완전 random mask를 두고 direct sparse·block sparse·random dense projection·LoRA를 비교한다. $k$와 rank를 여러 수준으로 반복하며 OLMo 두 규모에서 같은 split을 사용한다. mask seed와 optimizer seed를 별도 계층으로 두고 최소한 mask별 평균, seed별 paired difference, 95% confidence interval을 보고하면 single-seed 대조보다 결론의 범위를 명시하기 쉽다.
문항별 예측이 같은 평가셋에서 짝지어지므로 정확도 평균만 비교하기보다 checkpoint 쌍의 disagreement table과 paired bootstrap 또는 McNemar 계열 검정을 함께 제시할 수 있다. seed 10개의 run 평균을 독립 문항 수천 개처럼 취급하면 불확실성이 과소평가된다. random mask를 모집단으로 일반화하려면 mask를 random effect로 다루고 optimizer seed의 nested variance를 분리해야 한다. 사전에 primary metric, 비교 쌍, 다중비교 보정, 실패 run 처리 규칙을 등록하면 scale sweep에서 가장 좋은 한 셀만 고르는 선택 편향도 줄어든다.
필수 학습 로그에는 minibatch loss와 held-out PPL, ARC 후보 margin, gradient norm, update norm, 좌표별 상대 변화, NaN·Inf, clipping 횟수, peak memory, wall-clock이 포함된다. checkpoint마다 선택 좌표 밖의 값이 bitwise 고정되었는지 검사하고 optimizer state가 frozen tensor에 생성되지 않았는지도 확인해야 한다. LoRA는 $A$, $B$ 원본과 합성 $\Delta W$, singular value spectrum, 행·열 norm을 함께 저장한다. 최종 prediction 파일과 자유 생성 표본을 run ID에 연결하면 accuracy가 유지되면서 generation이 붕괴하는 평가 효과도 사후 조사할 수 있다.
후속 PEFT 설계로 이어지는 질문
결과는 개별 중요 좌표를 업데이트 budget의 중심으로 삼는 전략보다 구조화된 basis를 설계하라는 방향을 제시한다. 그러나 구조는 저랭크만 가능한 것이 아니다. Kronecker factor, circulant update, block-diagonal plus low-rank, frozen SVD basis, random dense projection, adapter, prompt tuning을 동일 예산으로 비교할 수 있다. 중요한 평가는 trainable scalar 수와 함께 합성된 업데이트가 몇 개 위치를 어떤 결합으로 덮는가를 보고하는 것이다.
Super Weight를 보호 대상으로만 보지 않고 routing anchor로 활용하는 방법도 가능하다. 값 자체는 고정하되, 그 좌표에 들어오는 hidden dimension의 gain을 작은 bounded gate로 조절하거나, attention에서 해당 출력 차원으로 흐르는 표현을 정규화할 수 있다. 단, 이런 설계가 단순 LoRA보다 낫다는 보장은 없다. pruning sensitivity, task accuracy, calibration, catastrophic forgetting을 함께 최적화하며 명시적 제약이 정말 추가 가치를 주는지 검증해야 한다.
PEFT 체크포인트 비교와 운영 guardrail
운영 비교의 첫 조건은 동일성 확인이다. base model repository와 revision hash, tokenizer hash, chat template, precision, adapter library version, LoRA target module·rank·alpha·dropout을 checkpoint 메타데이터에 넣어야 한다. adapter-only checkpoint와 base에 merge한 checkpoint를 각각 로드해 고정 canary 입력의 logits가 허용 오차 안에서 같은지 확인한다. 서로 다른 base revision에 같은 adapter 이름을 붙인 결과나 merge 전후 evaluator가 다른 결과는 Super Weight 안정성과 무관한 배포 차이를 섞는다.
비교 보고서는 base 대비 task metric만 두지 않고 WikiText-2와 도메인 canary의 NLL, 선택형 후보 margin, 자유 생성 원문, calibration, 안전성 회귀를 함께 둔다. parameter 쪽에는 layer별 $\|\Delta W\|_F/\|W\|_F$, spectral norm, effective rank, 최대 entrywise relative change를 기록하고, 알려진 Super Weight manifest가 있으면 그 실제 down_proj 값이 불변인지 별도 assertion으로 검사한다. Attention-only LoRA에서는 base Super Weight가 바뀌지 않는 것이 구현상 예상되므로, 그 검사는 성능 증거보다 잘못된 target module이나 merge bug를 찾는 무결성 guardrail 역할을 한다.
승격 기준은 학습 전에 정한 임계값과 비교 쌍으로 자동화하는 편이 안전하다. held-out PPL 급증, candidate margin 붕괴, 반복 생성 증가, 선택 좌표의 상대 step 초과, NaN 발생 중 하나라도 정책을 위반하면 checkpoint를 격리하고 직전 승인본으로 rollback한다. 임계값의 숫자는 서비스별 baseline 분포와 비용을 바탕으로 정해야 하며 논문 결과가 범용 수치를 제공하지는 않는다. seed 1개의 최고 checkpoint를 바로 배포하기보다 여러 seed의 중앙 성능과 최악 회귀를 확인하고, 동일 test set 반복 선택에 따른 과적합을 피하도록 최종 blind set을 남겨 두어야 한다.
두 PEFT checkpoint의 차이를 해석할 때는 합성 update를 같은 base 위에서 복원한다. $A$와 $B$는 gauge 변환 때문에 원소별로 직접 비교하기 어렵지만 $BA\alpha/r$는 실제 함수 변화에 가까운 공통 대상이다. layer별 cosine similarity, singular subspace angle, update norm과 prediction disagreement를 연결하면 “큰 $\Delta W$ 위치”와 “기능적으로 중요한 변경”을 구분할 수 있다. top-magnitude 1,000개를 동결해도 성능이 유지된 논문 결과는 magnitude만으로 배포 핵심 좌표를 정하기 어렵다는 경고이며, ablation과 held-out behavior를 함께 요구하는 근거가 된다.
8. 내 해석: 고정된 학습률이 만든 약점과 상대 스텝 제약 실험
약점 1: 좌표별 민감도와 무관한 단일 최적화 설정
내가 보는 가장 큰 약점은 모든 직접·이웃·LoRA 실험에 AdamW와 학습률 $10^{-4}$를 공통 적용하면서, Super Weight의 높은 민감도를 좌표별로 보정한 직접 학습 대조군이 없다는 점이다. 논문은 곡률이 큰 좌표에서 같은 절대 step이 훨씬 큰 손실을 만든다고 설명한다. 그렇다면 현재의 chance-level 결과는 선택 좌표라는 표현 구조의 한계와 부적절한 step scale이 합쳐진 현상일 수 있다. random sparse 대조군은 같은 학습률에서 성공하지만 민감도 분포가 다르므로 이 가능성을 제거하지 못한다. 따라서 “단독 학습 가능성이 없다”는 강한 표현보다 “표준 AdamW 설정에서 단독 학습이 극도로 불안정하다”가 증거에 더 가깝다.
후속 제안 1: curvature-matched relative trust region
독자적 후속 실험으로 각 선택 좌표에 $|\Delta w_i|\le\rho|w_i|$ 제약을 두고, online Hutchinson diagonal Hessian 추정치로 step을 $1/\sqrt{H_{ii}+\epsilon}$만큼 재조정하는 curvature-matched selective training을 제안한다. Super Weight, magnitude-matched non-SW, random 좌표를 같은 $k$와 같은 총 update norm으로 맞추고 $\rho$를 sweep한다. training loss, validation PPL, ARC 정확도, 좌표별 effective step을 함께 기록한다. 작은 trust region에서 붕괴가 사라지지만 LoRA 성능에 못 미치면 좌표 학습의 표현력 부족과 overshoot를 분리할 수 있고, 여전히 chance에 머물면 층 전체 coordination 부족이라는 논문의 설명이 훨씬 강해진다.
9. 결론: 파라미터 효율의 핵심을 개수에서 결합 구조로 옮기기
경험적으로 확실한 부분
OLMo-1B와 OLMo-7B에서 criticality가 확인된 Super Weight만 학습하면 100~8,192개 범위 전체에서 ARC-Easy가 chance 수준으로 떨어진다. radius 1 neighborhood로 약 36,864개까지 늘려도 회복되지 않는다. 같은 down_proj의 무작위 4,096개 좌표는 64.18%, 해당 모듈의 rank-8 LoRA는 68.77%를 기록한다. 따라서 관찰된 붕괴를 적은 파라미터 수나 MLP 모듈의 부적합성만으로 설명할 수 없고, Super Weight를 겨냥한 독립 업데이트가 핵심 조건으로 남는다.
Vanilla attention LoRA는 OLMo-1B에서 66.88%, OLMo-7B에서 77.3%로 기준선을 높인다. 대응 attention 위치를 $s=0$으로 제한해도 66.50%와 76.7%이며, 10-seed 반복에서 평균이 동일하다. LoRA가 학습한 $\Delta W$의 상위 1,000개 위치를 동결해도 3-seed 성능은 통계적으로 구별하기 어렵다. 이 결과들은 저랭크 해가 특정 스칼라 위치에 의존하기보다 행·열과 층 전체에 분산된 경로를 사용한다는 설명에 부합한다.
중요도의 정의를 다시 나누기
한 파라미터를 0으로 만들었을 때 손실이 커지는 removal importance, 그 파라미터에 작은 변화가 생길 때 손실 곡면이 얼마나 가파른지 나타내는 perturbation sensitivity, 그 파라미터만 최적화해 새 과제를 일반화하는 adaptation utility는 동일한 개념이 아니다. Super Weight는 첫 속성이 매우 크고 두 번째도 클 가능성이 있지만, 세 번째는 표준 직접 학습에서 낮다. magnitude ranking조차 모델 계열 전반에서 첫 속성을 안정적으로 찾지 못한다.
PEFT를 설계할 때 trainable parameter count만 보고 효율을 비교하는 관행도 수정할 필요가 있다. 4,096개의 독립 좌표와 4,096개의 저랭크 인자는 숫자가 같아도 합성된 변화의 support와 coupling이 다르다. TinyLoRA처럼 극소수 scalar를 쓰더라도 frozen SVD basis가 층 전체로 변화를 전파할 수 있다. 실용 보고서에는 자유도 수, update rank, nonzero support, row·column coupling, 층 범위, 상대 perturbation norm을 함께 제시해야 구조적 용량을 비교할 수 있다.
주장을 어디까지 받아들일 것인가
논문은 “중요하면 선택적으로 학습해야 한다”는 직관을 설득력 있게 반박하고, 동일 모듈 대조군으로 희소성 설명을 약화시킨다. 특히 pruning, direct, neighborhood, random sparse, low-rank의 순차 비교는 좋은 실험 설계다. 반면 Super Weight 직접 학습이 어떠한 optimizer와 trust region에서도 원리적으로 실패한다는 결론, 저랭크가 모든 구조화 PEFT보다 우월하다는 결론, 모든 LLM에서 magnitude outlier가 같은 기능을 한다는 결론은 현재 증거를 넘는다.
가장 생산적인 결론은 좌표의 중요도 점수만으로 미세조정 budget을 배분하지 말라는 설계 원칙이다. 사전학습 모델의 기능은 스칼라 값에 저장되면서도 그 값이 작동할 입력 표현과 주변 관계에 분산된다. 제거는 그 관계의 필수 지점을 끊지만, 그 지점만 크게 움직이는 학습은 관계 전체를 새 과제에 맞추지 못한다. 효율적인 적응은 중요한 값을 직접 재작성하는 대신 공유 basis를 통해 그 값이 참여하는 계산 경로를 조정하는 쪽에서 나타난다.
증거 수준에 맞춘 최종 해석
가장 직접적인 관찰은 OLMo 두 규모의 critical 좌표를 표준 AdamW 설정으로 선택 학습했을 때의 chance-level 정확도, OLMo-1B 단일 seed random sparse의 성공, 그리고 여러 seed에서 attention LoRA 위치 제한의 무효 효과다. 여기서 Super Weight 좌표의 표준 선택 학습이 불안정하고 LoRA 해가 특정 대응 인덱스에 의존하지 않는다는 결론은 지지된다. 좌표축 coverage, gradient amplification, curvature suppression은 관찰을 조직하는 설명이며, 실제 OLMo ARC-Easy fine-tuning subspace와 AdamW의 Hessian-scaled step을 직접 측정한 결과는 아니다.
따라서 후속 판단은 세 층으로 나눌 수 있다. 제거 criticality는 activation 기반 발견과 pruning으로 확인하고, adaptation utility는 독립 held-out 학습으로 검정하며, 배포 안정성은 merge된 checkpoint의 PPL·생성·상대 update로 감시한다. magnitude가 큰 값, activation spike를 만드는 값, 학습 중 변화량이 큰 값은 목록이 겹칠 수 있어도 같은 평가를 대체하지 못한다. 이런 분리는 random sparse 단일 결과를 과대 일반화하지 않으면서도, 중요한 좌표만 고르면 효율적일 것이라는 단순한 budget 정책을 실무에서 걸러낼 수 있게 한다.
10. 요약 정리: 중요도와 학습 가능성을 구분하는 아홉 가지 핵심
- 중심 질문: 제거 시 치명적인 Super Weight가 단독 미세조정에서도 가장 효율적인 좌표인지 시험하며, 결과는 removal importance와 adaptation utility가 분리됨을 보여준다.
- 일관성: OLMo-1B의 WikiText-2 1,000개 입력에서 9개 위치가 100% activation spike를 만들고 13개가 절반 이상 등장해 입력 특이적 우연보다 구조적 core에 가깝다.
- Pruning: 기존 activation-spike 좌표를 지우면 OLMo-1B PPL이 13.09→47,951, OLMo-7B가 9.59→42,024로 붕괴하지만 magnitude 기반 좌표는 신규 다섯 모델에서 효과가 없어 식별법 일반화가 필요하다.
- 직접·이웃 학습: Super Weight 100~8,192개 또는 $3\times3$ 이웃을 포함한 최대 36,864개를 학습해도 ARC-Easy는 두 OLMo 모델에서 약 25~26%의 chance level에 머문다.
- 결정적 대조: OLMo-1B의 같은
down_proj에서 random sparse 4,096개는 64.18%, rank-8 LoRA는 68.77%로 기준선 60.65%를 넘어 sparsity와 모듈만으로 붕괴를 설명할 수 없다. - LoRA 강건성: attention 대응 인덱스를 완전히 제한한 $s=0$도 1B 66.50%, 7B 76.7%이며 10-seed 평균이 vanilla와 같아 특정 위치보다 저랭크 전체 구조가 보상한다.
- 변화량 비대칭: 직접 학습의 평균 상대 변화는 8.19%, 최대 30.89%이고 LoRA 대응 위치 평균은 0.15%다. 큰 독립 변경이 사전학습 관계와 일반화를 훼손했을 가능성이 있다.
- 이론과 무결성: 희소 overlap의 기대값 $k/N$, rank-$r$ manifold 차원, 곡률 기반 $1/M$ 억제가 설명 후보지만 실제 AdamW 보장은 아니며 Hessian·perturbation prose와 plot 수치 불일치 때문에 강한 경험적 확정은 피해야 한다.
- 실무 원칙: PEFT의 효율은 trainable scalar 수만으로 평가하지 말고 합성 업데이트의 support, rank, 행·열 coupling, 층 범위와 상대 step을 함께 측정해야 한다.