[arXiv 2606.27161] TOPS: 비전 토큰 프루닝을 정보 원리에서 다시 설계하기

TOPS: First-Principles Visual Token Pruning via Constructing Token Optimal Preservation Sets for Efficient MLLM Inference

https://arxiv.org/abs/2606.27161

Tinghao Wang, Yichen Guo, Rui Huang, Zheng Lu, Qizhe Zhang, Chenxi Li, Yuan Zhang, Jiajun Cao, Zhirong Shen, Yaosong Du, Guangyan Gan, Wenya Wang, Lin William Cong, Shanghang Zhang | Peking University, University of Electronic Science and Technology of China, Nanyang Technological University, Beijing Academy of Artificial Intelligence | arXiv:2606.27161 | 2026년 6월

---

1. 서론: MLLM 추론 병목을 토큰 선택 문제로 다시 묻기

멀티모달 대형 언어모델은 이미지를 언어모델의 문맥 안으로 들여오기 위해 시각 패치를 대량의 visual token으로 변환한다. 이 구조는 이미지 질문응답, 도표 이해, OCR, 비디오 이해처럼 입력이 복잡한 작업에서 강력하지만, 추론 단계의 계산량을 급격히 키운다. LLaVA-1.5처럼 336×336 입력을 쓰는 모델도 576개 시각 토큰을 만들고, LLaVA-NeXT의 고해상도 입력은 2,880개, LLaVA-Video의 64프레임 설정은 10,816개 토큰까지 올라간다. 언어모델 입장에서는 텍스트 몇 줄을 읽는 수준을 넘어, 긴 시각 prefix 전체를 매 레이어에서 attention 대상으로 다루는 문제가 된다.

TOPS 논문은 이 병목을 단순한 구현 최적화로 취급하지 않는다. 저자들은 어떤 토큰을 남겨야 하는가라는 질문을 먼저 세우고, 그 답을 Token Optimal Preservation Sets라는 부분집합 구성 문제로 정식화한다. 핵심 관찰은 기존 pruning 방법들이 보통 하나의 신호에 기대었다는 점이다. attention 기반 방법은 질문과 직접 연결된 위치를 잘 잡지만 중복 토큰을 많이 남길 수 있고, diversity 기반 방법은 넓게 흩어진 패치를 고르지만 사용자의 질문과 무관한 배경을 보존할 수 있다. TOPS는 relevance, coverage, diversity를 한 목적 안에서 결합해 이 균형 문제를 정면으로 다룬다.

논문의 결론은 꽤 공격적이다. LLaVA-NeXT에서는 77.8%의 시각 토큰을 제거하고도 7B 모델에서 baseline 대비 100.0%, 13B 모델에서 100.6%의 상대 성능을 보고한다. Qwen2.5-VL, InternVL3, LLaVA-Video까지 포함하면 7개 MLLM backbone과 14개 benchmark에서 비교가 이뤄진다. 특히 비디오 설정에서 64프레임 전체를 처리할 때 token 수가 폭증하는데, TOPS는 프레임당 유지 토큰 수를 64, 32, 16개로 줄이는 조건에서도 기존 attention-only나 diversity-only baseline보다 안정적인 성능을 보인다.

이 논문이 흥미로운 이유는 training-free라는 점에도 있다. 새로운 모델을 학습하거나 projector를 다시 맞추는 방식 대신, 이미 존재하는 모델의 attention과 hidden representation을 읽어 토큰 부분집합을 선택한다. 따라서 배포 관점에서는 model surgery보다 inference wrapper에 가깝고, 연구 관점에서는 시각 토큰의 정보 구조를 설명하는 분석 도구에 가깝다. 토큰을 많이 남기는 것이 항상 안전하다는 직관도 여기서 흔들린다. 저자들은 redundancy와 noise가 일부 hallucination을 키울 수 있으며, 잘 고른 작은 subset이 원본보다 더 명확한 evidence path를 제공할 수 있다고 해석한다.

Figure 1: 질적 비교와 여러 MLLM backbone에서의 성능 레이더 요약

Figure 1은 TOPS의 문제의식을 한 장에 압축한다. 왼쪽 질적 예시는 attention, diversity, coverage 중 하나에 치우친 방법이 세부 객체나 텍스트 근거를 놓치는 장면을 보여 주고, 오른쪽 레이더는 네 계열 MLLM에서 TOPS가 평균적으로 더 넓은 성능 면적을 차지한다는 점을 시각화한다. 이 그림은 논문의 주장이 단일 모델 최적화보다 selection principle의 일반성에 있다는 사실을 먼저 고정해 준다. 이 비교는 토큰 선택이 단순 삭제를 넘어 질문 정합성을 유지하는 초기 필터링이라는 점을 보여 준다.

• 문제 설정: MLLM 추론에서 시각 토큰 수가 attention 계산량과 prefill latency를 키운다.
• 핵심 제안: Token Optimal Preservation Sets를 relevance, coverage, diversity 기준으로 greedy하게 구성한다.
• 적용 방식: Stage I은 vision-side coarse pruning, Stage II는 LLM 내부 layer-wise pruning으로 나뉜다.
• 실험 범위: LLaVA-1.5, LLaVA-NeXT, LLaVA-Video, Qwen2.5-VL, InternVL3와 14개 benchmark를 포함한다.
• 운영 의미: 학습 없는 plug-and-play pruning으로 inference 비용을 줄이되, OCR·세부 인식 작업의 evidence 보존을 함께 본다.

2. 배경 및 관련 연구: attention, coverage, diversity가 각각 놓치는 것

2.1 비전 토큰이 MLLM 비용을 키우는 방식

VLM과 MLLM은 이미지를 patch sequence로 변환한 뒤 projector를 거쳐 LLM의 입력 sequence에 붙인다. 이때 LLM의 self-attention은 텍스트 토큰에 더해 시각 토큰까지 함께 다룬다. 토큰 수가 $N$에서 $N/10$으로 줄어들면 attention 연산과 KV cache 압력은 단순한 선형 감소를 넘어 prefill 단계의 체감 latency까지 크게 줄어든다. 특히 LLaVA-NeXT처럼 고해상도 이미지를 tile로 나누는 모델은 입력당 visual token이 수천 개가 되어, 동일한 언어모델 크기에서도 해상도 정책 하나로 추론 비용이 크게 달라진다.

기존 연구는 이 문제를 여러 위치에서 해결하려 했다. pre-LLM pruning은 projector 이후 LLM에 들어가기 전 토큰을 줄여 모든 downstream layer의 비용을 아낀다. in-LLM pruning은 중간 layer의 attention이나 hidden state가 충분히 형성된 뒤 토큰을 제거해 더 정교한 선택을 노린다. 두 접근은 서로 대체 관계로 보이지만, TOPS는 둘을 stage 구조로 결합한다. early layer의 coarse pruning은 계산 절감에 유리하고, 중간 layer의 fine pruning은 텍스트 질문과 이미지 근거가 실제로 상호작용한 뒤 판단할 수 있다는 장점이 있다.

2.2 attention 기반 pruning의 강점과 편향

FastV, SparseVLM, PyramidDrop 같은 attention 중심 방법은 text-to-visual cross attention이나 특정 rater token의 attention을 중요도 신호로 사용한다. 이 방식은 구현이 간단하고, 질문에 직접 응답하는 위치를 빠르게 찾는 데 강하다. 예를 들어 이미지 속 표지판의 문자를 묻는 질문이라면, 텍스트 질문과 시각 패치 사이 attention이 집중되는 영역을 남기는 편이 합리적이다. 그러나 attention만으로는 같은 객체 주변의 유사 패치를 여러 개 남기는 중복 문제가 생긴다. 또한 shallow layer attention은 위치 bias를 띠거나, 실제 근거보다 언어모델의 초기 routing 습관을 반영할 수 있다.

TOPS가 attention을 버리지 않는다는 점도 중요하다. 논문은 relevance를 핵심 기준으로 남긴다. 다만 relevance만으로 목적을 닫지 않고, coverage와 diversity를 함께 둔다. 이는 attention을 배제하는 주장이기보다, attention을 selection objective의 한 축으로 두자는 주장에 가깝다. 사용자 질문에 대한 직접성은 필요하지만, 그 직접성만 추구하면 서로 비슷한 토큰을 많이 담고 장면 전체의 증거 구조를 잃는다. 따라서 TOPS의 score는 relevance를 시작점으로 삼되, 아직 선택되지 않은 영역을 얼마나 대표하는지와 이미 고른 토큰과 얼마나 다른지를 함께 계산한다.

2.3 diversity와 coverage가 필요한 압축 구간

DART, DivPrune, VisionZip, SCOPE 같은 방법은 redundancy를 줄이는 방향으로 나아간다. diversity 계열은 이미 선택된 토큰과 덜 비슷한 후보를 고르고, coverage 계열은 선택 집합이 전체 시각 토큰을 얼마나 잘 대표하는지 본다. 이 신호들은 aggressive pruning 구간에서 특히 중요하다. 남길 수 있는 토큰 수가 128개에서 64개, 다시 32개로 줄어들수록 attention 상위 토큰만 남기는 전략은 빠르게 한계에 닿는다. 작은 예산에서는 텍스트 질문과 연결된 중심 물체와 함께 주변 관계, 작은 문자, 도표 축, 색상 대비 같은 보조 증거도 함께 압축되어야 한다.

논문의 empirical analysis는 이 지점을 logit fidelity 관점으로 보여 준다. 낮은 pruning ratio에서는 relevance-only 방법이 원본 logit을 비교적 잘 유지하지만, token budget이 매우 작아질수록 diversity와 coverage가 중요해진다. TOPS는 세 원리를 결합해 모든 budget에서 logit distortion을 가장 작게 유지하려 한다. 이 결론은 시각 입력을 단순히 “중요한 곳 몇 개”로 줄이는 수준을 넘어, 작은 subset이 원본 장면의 결정 정보를 얼마나 안정적으로 대리하는지의 문제라는 점을 드러낸다.

방법 계열	대표 방법	선택 신호	강점	주요 위험
Attention 기반	FastV, SparseVLM, PyramidDrop	text-to-visual attention, rater token attention	질문 관련 위치를 빠르게 찾음	중복 토큰과 위치 편향 가능성
Diversity 기반	DART, DivPrune	선택된 토큰과의 dissimilarity	넓은 장면 분포를 보존	질문과 무관한 배경 선택 가능성
Coverage 기반	SCOPE	선택 집합의 전체 토큰 대표성	원본 feature manifold를 압축	세부 질의 relevance가 약해질 수 있음
TOPS	Token Optimal Preservation Sets	relevance + coverage + diversity	질문 근거와 장면 대표성을 동시 고려	greedy selection overhead와 attention 의존성

3. 방법론: Token Optimal Preservation Sets를 구성하는 세 원리

3.1 정보 이론 관점의 목적 함수

TOPS의 출발점은 보존할 visual token subset $S$를 고르는 문제다. 원래 시각 토큰 집합을 $V$, 사용자 질문을 $Q$라고 두면, 이상적인 subset은 $V$와 $Q$에 대한 정보를 최대한 많이 담아야 한다. 논문은 이를 $\max_{S \subseteq V, |S| \le K} I(S; V, Q)$와 같은 형태로 해석하고, 이 목표를 task relevance, information coverage, semantic diversity로 분해한다. 이 정식화가 중요한 이유는 pruning 기준을 경험적 휴리스틱 목록에서 끌어내 subset selection objective의 구성요소로 놓기 때문이다.

첫 번째 축인 Task Relevance는 토큰이 질문 $Q$에 얼마나 직접적으로 기여하는지 측정한다. Stage I에서는 아직 텍스트와 비전이 LLM 내부에서 충분히 섞이지 않았기 때문에 CLS-to-patch attention을 proxy로 쓴다. Stage II에서는 LLM layer 안의 text rater token이 visual token을 바라보는 attention을 활용한다. 논문은 모든 텍스트 토큰을 동일하게 평균내지 않고, 시각 정보와 실제로 강하게 상호작용하는 dynamic text rater set을 고르는 방식을 사용한다. 이렇게 해야 질문의 기능어, 지시어, 답변 생성 위치가 서로 다른 역할을 갖는 상황에서 relevance가 흐려지지 않는다.

두 번째 축인 Information Coverage는 선택된 subset이 원래 visual token 전체를 얼마나 잘 대표하는지 본다. coverage score는 아직 선택되지 않은 토큰들이 새 후보를 통해 얼마나 더 잘 설명되는지를 누적한다. 직관적으로는 clustering에서 center를 고르는 문제와 닮았지만, 단순 k-medoids와 달리 relevance와 diversity가 함께 들어간다. 세 번째 축인 Semantic Diversity는 이미 고른 token들과 다른 후보를 선호한다. coverage가 전체 집합에 대한 대표성을 본다면, diversity는 선택 집합 내부의 중복을 줄이는 방향으로 작동한다.

3.2 Greedy construction과 score normalization

TOPS는 각 단계에서 seed token을 먼저 잡고, 이후 후보를 하나씩 추가하는 greedy algorithm을 사용한다. 후보 $i$의 score는 정규화된 relevance, diversity, coverage의 합으로 계산된다. 논문의 Stage II score는 대략 $ ext{score}_i= ilde{r}_i+\lpha\widetilde{\mathrm{div}}_i+\lambda\widetilde{\mathrm{cov}}_i$ 형태다. 여기서 $\lpha$는 diversity weight, $\lambda$는 coverage weight이다. 각 기준의 scale이 다르기 때문에 mean normalization을 적용해 한 항이 score를 일방적으로 지배하지 않도록 조정한다.

coverage와 diversity를 greedy하게 갱신하려면 similarity matrix와 max-similarity 상태가 필요하다. 후보를 하나 추가할 때마다 각 미선택 토큰이 선택 집합과 갖는 최대 similarity를 갱신하고, 다음 후보의 coverage gain과 diversity contribution을 다시 계산한다. 이 구조는 이론적으로 깔끔하지만 비용이 완전히 공짜는 아니다. 저자들도 limitation에서 $O(KN)$ 추가 연산을 언급한다. 다만 이 비용은 LLM 전체가 수천 개 visual token을 끝까지 attention하는 비용과 비교해 상쇄될 수 있고, 특히 Stage I에서 token 수를 먼저 줄이면 이후 layer의 비용 절감이 누적된다.

Figure 2: Stage I vision-side pruning과 Stage II in-LLM pruning으로 구성된 TOPS 방법론

Figure 2는 TOPS가 어디서 토큰을 줄이는지 보여 준다. Stage I은 projector 직후 coarse pruning으로 obvious redundancy를 먼저 제거하고, Stage II는 LLM 내부 중간 layer에서 text-guided relevance와 hidden-state similarity를 결합한다. 두 단계 모두 같은 원리의 subset construction을 쓰지만 relevance proxy가 다르며, 이 차이가 early efficiency와 later task alignment 사이의 균형을 만든다.

3.3 Stage I과 Stage II의 역할 분담

Stage I은 vision-side pruning이다. 입력 visual token $V^{(0)}$와 CLS-to-patch attention score $a_i$를 이용해 초기 보존 집합을 만든다. 이 단계는 텍스트 질문의 세부 의미를 깊이 반영하기 어렵지만, 이미지 전체에서 너무 중복적인 patch를 제거하고 LLM에 들어갈 visual prefix 크기를 줄인다. LLaVA-1.5 예시에서는 576개 토큰을 256개로 줄이고, 이후 Stage II에서 64개나 32개까지 더 줄이는 schedule이 사용된다. Stage I이 없으면 모든 LLM layer가 큰 visual prefix를 들고 시작하므로 계산 절감 효과가 늦게 나타난다.

Stage II는 in-LLM pruning이다. 여기서는 layer $l$의 hidden state와 attention weight를 사용한다. 먼저 text rater set $\mathcal{Q}^{(l)}$를 동적으로 고르고, 그 텍스트 토큰들이 visual token에 주는 relevance를 계산한다. 그 다음 hidden state similarity matrix를 기반으로 coverage와 diversity를 계산해 새 보존 집합을 만든다. 마지막에는 system token, retained visual token, text token 순서로 hidden sequence를 재구성하고 attention mask와 position ids를 다시 맞춘다. 이 재구성 단계가 구현에서 중요하다. 단순히 token을 drop하는 것처럼 보이지만, 실제 LLM inference graph에서는 위치 인덱스와 mask가 맞아야 downstream layer가 정상적으로 작동한다.

구분	적용 위치	주요 relevance 신호	목표 token 변화	운영 의미
Stage I	multimodal projector 직후	CLS-to-patch attention	예: 576 → 256	초기 visual prefix를 줄여 모든 LLM layer 비용을 낮춤
Stage II 첫 번째 pass	중간 LLM layer	dynamic text rater attention	예: 256 → 64 또는 128	텍스트-비전 상호작용 이후 task-specific evidence를 남김
Stage II 두 번째 pass	더 깊은 LLM layer	layer-wise hidden state와 attention	예: 64 → 32	aggressive pruning에서 중복과 coverage 손실을 재조정
Sequence rebuild	pruning 직후	retained indices	mask와 position ids 재생성	토큰 삭제 후에도 LLM의 causal 구조를 안정적으로 유지

이 단계 설계는 “한 번 잘 고르면 끝”이라는 가정과 거리를 둔다. appendix의 cross-layer Jaccard 분석에 따르면, 서로 다른 layer에서 independently 선택한 top token 집합은 거의 겹치지 않는다. 이는 token importance가 고정된 이미지 saliency보다 layer와 질문 처리 흐름에 따라 바뀌는 값임을 뜻한다. TOPS가 progressive multi-stage pruning을 쓰는 이유가 여기에 있다. 처음부터 32개를 고르는 것보다, coarse-to-fine 방식으로 여러 번 재평가하는 편이 layer별 표현 변화를 흡수한다.

3.4 구현 관점에서 본 selection state 관리

TOPS를 실제 inference runtime에 넣을 때 가장 먼저 부딪히는 문제는 index bookkeeping이다. visual token을 줄이면 hidden state tensor 크기와 함께 어떤 원본 patch가 어느 위치로 이동했는지 계속 추적해야 한다. Stage II가 여러 layer에서 반복되면 retained index의 기준도 바뀐다. 처음에는 원본 visual grid index였던 값이 Stage I 이후 compressed sequence index가 되고, 다시 Stage II 이후에는 더 작은 local index가 된다. 이 매핑이 꼬이면 selection map은 그럴듯하게 보이지만 실제 답변 근거와 시각화가 어긋난다.

논문은 알고리즘 설명에서 retained visual tokens와 non-visual tokens를 재조합하고 attention mask와 position ids를 업데이트한다고 적는다. 이 부분은 짧게 지나가지만, serving code에서는 sequence reconstruction의 핵심이다. causal LLM은 position id와 attention mask에 민감하고, visual prefix가 사라진 뒤 텍스트 위치가 어떻게 유지되는지에 따라 downstream layer의 hidden state가 달라질 수 있다. 특히 multi-turn setting이나 tool-augmented agent 관찰처럼 입력 prefix 구조가 복잡한 경우에는 pruning module이 model wrapper의 토큰 타입 정보를 정확히 알아야 한다.

또 하나의 구현 포인트는 similarity computation이다. coverage와 diversity는 hidden state similarity를 쓰므로, cosine similarity를 계산할 때 normalization과 dtype이 성능과 속도에 모두 영향을 준다. BF16이나 FP16 inference에서 similarity matrix를 만들면 작은 차이가 순위에 영향을 줄 수 있고, FP32로 올리면 selection overhead가 커진다. TOPS가 training-free라고 해서 engineering-free는 아니다. 어떤 dtype으로 score를 계산하고, candidate pool을 어디까지 캐시하며, batch 요청에서 per-sample selection을 어떻게 병렬화할지가 실제 latency를 좌우한다.

나는 TOPS가 제안하는 objective를 runtime primitive로 본다면 budget-aware visual prefix compiler라는 표현이 맞다고 생각한다. 입력 이미지와 질문, 현재 layer hidden state를 받아 다음 layer에 넘길 compact visual prefix를 만든다. compiler라면 최적화 pass가 너무 오래 걸리면 안 되고, 생성된 intermediate representation이 나중 pass에서 다시 해석 가능해야 한다. TOPS는 이 조건을 대부분 만족하지만, 아직 query별 budget 변경이나 실패 시 rollback 같은 compiler runtime 기능은 약하다. 이 부분은 후속 시스템 연구가 붙기 좋은 지점이다.

토큰을 줄인 뒤 KV cache가 어떻게 관리되는지도 중요하다. prefill 중 visual token을 drop하면 이후 decoding 단계에서 더 작은 cache를 유지할 수 있지만, 이미 계산된 layer의 cache와 drop 이후 layer의 cache 형태가 달라진다. single-shot QA에서는 큰 문제가 아니지만, long conversation이나 streaming generation에서는 cache segment의 shape와 metadata를 안정적으로 관리해야 한다. TOPS의 실험은 주로 benchmark inference에 맞춰져 있으므로, production chat에서의 cache lifecycle은 별도 검증이 필요하다.

4. 실험 설정: 모델, 벤치마크, 비교 기준을 넓게 잡은 이유

4.1 모델 backbone과 입력 token 규모

실험은 LLaVA 계열에서 시작해 더 최신 architecture로 확장된다. LLaVA-1.5는 CLIP ViT-L/14 vision encoder와 Vicuna language model을 2-layer MLP projector로 연결하고, 336×336 입력에서 576개 visual token을 만든다. LLaVA-NeXT는 adaptive resolution을 다루기 위해 고해상도 이미지를 tile로 나누고, controlled evaluation에서는 672×672 입력에서 2,880개 visual token을 사용한다. LLaVA-Video는 SigLIP backbone과 64프레임 입력을 쓰며 10,816개 visual token을 만든다. Qwen2.5-VL과 InternVL3는 더 다양한 vision transformer와 LLM 조합을 대표한다.

이 범위가 중요한 이유는 pruning 방법이 특정 projector나 특정 attention 패턴에 과적합될 수 있기 때문이다. LLaVA-1.5에서 잘 작동하는 방법이 Qwen2.5-VL에서도 같은 방식으로 작동한다고 보장할 수 없다. TOPS는 학습 없는 모듈이지만, 내부적으로 attention과 hidden state similarity를 사용하기 때문에 backbone의 representation geometry에 영향을 받는다. 저자들은 7B와 13B scale, image와 video, classic LLaVA와 advanced VLM을 함께 평가해 원리 기반 score가 특정 모델 family에만 붙어 있는지 확인한다.

4.2 benchmark 구성과 baseline

이미지 benchmark는 GQA, ScienceQA-IMG, TextVQA, POPE, MME, MMBench, MM-Vet, MMStar, AI2D, HallusionBench 등으로 구성된다. 이 조합은 단순 object recognition보다 넓다. GQA는 scene graph 기반 reasoning을, TextVQA는 이미지 속 텍스트 읽기를, POPE는 object hallucination을, MME와 MMBench는 perception과 cognition의 넓은 능력 축을 본다. Video benchmark로는 MLVU, LongVideoBench, Video-MME가 들어간다. 따라서 token pruning이 평균 accuracy만 유지하는지, OCR-heavy나 hallucination-sensitive task에서 근거를 잃는지 함께 볼 수 있다.

baseline은 training-free visual token pruning 방법들로 구성된다. attention-based에는 FastV, PyramidDrop, SparseVLM이 있고, pre-LLM pruning-and-merging 계열에는 PruMerge+와 VisionZip이 있다. diversity 쪽에는 DART와 DivPrune, coverage 쪽에는 SCOPE, conditional-diversity 쪽에는 CDPruner가 포함된다. 이 비교는 TOPS가 단순히 attention baseline보다 나은지 보는 수준을 넘어, 최근 pruning literature의 주요 기준들과 같은 budget에서 경쟁하는 구도다. 특히 논문은 결과표에서 색을 써서 방법 계열을 구분하며, TOPS가 어느 계열의 약점을 보완하는지 읽기 쉽게 만든다.

4.3 구현 세부사항과 pruning schedule

하이퍼파라미터는 $\lpha$와 $\lambda$가 핵심이다. 논문은 POPE, MME, GQA의 작은 held-out subset에서 검증해 diversity와 coverage weight를 정한다. Stage I에서는 모델 전반에 $\lpha_1=0.5$, $\lambda_1=0.5$를 사용하고, Stage II에서는 모델과 compression ratio에 따라 $\lambda$를 0.4에서 1.0 사이로 조정한다. LLaVA-1.5-7B에서는 77.8% pruning에서 (0.5, 0.5), 88.9%와 94.4% pruning에서 (0.5, 1.0)을 쓴다. 이는 더 작은 budget에서 coverage weight를 높이는 것이 안정성에 도움이 된다는 해석으로 이어진다.

평가는 batch size 1의 inference로 수행되며, generative task에서는 greedy decoding을 사용한다. hardware는 NVIDIA A800-80GB GPU다. 이 설정은 throughput benchmark라기보다 latency와 memory, accuracy retention을 동시에 보는 controlled comparison에 가깝다. 실제 서비스에서는 batch size, request mix, image resolution 분포, cache 재사용 방식이 달라질 수 있지만, 논문이 prefill latency와 FLOPs를 함께 제시한 덕분에 engineering trade-off를 계산할 재료가 있다. 토큰 수를 줄이는 일이 accuracy 표 하나로 끝나지 않고 serving budget으로 연결된다.

항목	설정	해석 포인트
LLaVA-1.5	336×336, 576 visual tokens, 7B/13B	낮은 해상도 이미지 MLLM에서 aggressive pruning의 기본 성능을 확인
LLaVA-NeXT	672×672, 2,880 visual tokens, 7B/13B	고해상도 tile 기반 입력에서 token redundancy가 크게 드러남
LLaVA-Video	64 frames, 10,816 visual tokens	비디오 입력처럼 token budget이 폭발하는 상황의 실용성 확인
Qwen2.5-VL / InternVL3	advanced VLM architectures	LLaVA 계열 밖에서도 원리 기반 pruning이 유지되는지 확인
평가 프로토콜	A800-80GB, batch size 1, greedy decoding	accuracy retention과 latency/memory trade-off를 함께 측정

4.4 비용 모델 관점에서의 prefill 절감

MLLM serving에서 시각 토큰 pruning의 효과는 decoding보다 prefill에서 먼저 나타난다. 사용자가 이미지를 한 장 넣고 짧은 답변을 요구하면, 생성 토큰 수보다 입력 visual prefix를 처리하는 비용이 더 큰 비중을 차지할 수 있다. TOPS가 LLaVA-NeXT-7B에서 FLOPs를 41.7T에서 4.2T로 낮춘 결과는 이 구조를 잘 보여 준다. prefill이 빨라지면 첫 토큰 latency가 줄고, 동일 GPU에서 처리할 수 있는 이미지 요청 수가 늘어난다.

다만 FLOPs 감소가 latency 감소와 1:1로 대응하지 않는 점도 중요하다. TOPS는 FLOPs를 약 10배 줄였지만 latency는 265ms에서 85ms로 약 3.12배 빨라진다. memory access, kernel launch overhead, selection computation, framework-level tensor slicing 비용이 남기 때문이다. 따라서 TOPS의 실무 효과를 평가할 때는 theoretical FLOPs, wall-clock latency, GPU memory, throughput을 분리해서 봐야 한다. 논문이 네 값을 함께 제시한 것은 이 점에서 설계가 좋다.

비용 모델을 더 구체화하면, TOPS는 고해상도 단일 이미지와 다중 프레임 비디오에서 가장 큰 이득을 낼 가능성이 높다. 텍스트 중심 대화나 작은 thumbnail 이미지에서는 visual token이 전체 비용에서 차지하는 비중이 작아 pruning 이득이 제한된다. 반대로 2,880개 또는 10,816개 visual token을 쓰는 입력에서는 selection overhead를 내고도 전체 prefill이 줄어든다. 이런 조건부 이득을 알면, 모든 요청에 pruning을 고정 적용하는 대신 input-aware routing으로 비용 대비 효과가 큰 요청만 TOPS에 보낼 수 있다.

또 하나의 효과는 memory headroom이다. LLaVA-NeXT-7B 효율성 표에서 TOPS는 16.7GB를 14.8GB로 낮춘다. 1.9GB 차이는 단일 요청에서는 작아 보일 수 있지만, 여러 worker를 한 GPU에 올리거나 batch를 조금이라도 키우려는 serving에서는 의미가 있다. 특히 long-context text와 visual prefix가 함께 들어가는 agent workflow에서는 memory fragmentation과 peak allocation이 병목이 된다. token pruning은 latency에 더해 안정적인 batch scheduling을 위한 여유 공간을 만든다.

나는 이 비용 해석 때문에 TOPS를 quantization이나 speculative decoding과 경쟁하는 기술로 보지 않는다. quantization은 weight와 activation precision을 줄이고, speculative decoding은 generation step을 줄인다. TOPS는 입력 representation 자체를 줄인다. 세 기술은 서로 다른 병목을 겨냥하므로 조합 가능성이 크다. 예를 들어 4-bit 또는 8-bit MLLM 위에 TOPS를 얹고, 짧은 답변에는 speculative decoding을 붙이면 end-to-end multimodal serving stack의 각 구간을 별도로 줄일 수 있다.

5. 주요 실험 결과: 정확도 유지와 비용 절감의 균형

5.1 LLaVA 계열 요약 결과

LLaVA series summary는 TOPS의 중심 결과다. LLaVA-1.5-7B에서 128개 토큰만 남기는 77.8% pruning 조건의 상대 성능은 98.3%이고, 64개 토큰 조건에서는 97.1%, 32개 조건에서는 94.6%다. LLaVA-1.5-13B도 같은 순서로 98.9%, 97.3%, 94.7%를 보인다. 고해상도 LLaVA-NeXT에서는 결과가 더 인상적이다. 2,880개 토큰을 upper bound로 잡고 640개만 남기는 77.8% pruning에서 7B는 100.0%, 13B는 100.6%를 기록한다. 일부 redundancy 제거가 오히려 노이즈를 낮추는 효과를 낼 수 있다는 해석이 여기서 나온다.

방법	LLaVA-1.5-7B 128/64/32	LLaVA-1.5-13B 128/64/32	LLaVA-NeXT-7B 640/320/160	LLaVA-NeXT-13B 640/320/160
SparseVLM	96.0 / 86.2 / --	98.2 / 93.0 / --	98.3 / 93.2 / --	99.7 / 96.4 / --
VisionZip	96.8 / 93.0 / 86.8	96.9 / 93.2 / 86.5	99.4 / 95.3 / 89.3	99.9 / 96.4 / 91.8
DivPrune	96.7 / 93.7 / 90.2	96.8 / 94.2 / 90.5	98.4 / 96.0 / 92.4	98.1 / 96.3 / 93.9
SCOPE	97.8 / 96.0 / 93.5	97.7 / 96.4 / 93.3	99.8 / 97.8 / 94.4	99.4 / 98.2 / 95.8
TOPS	98.3 / 97.1 / 94.6	98.9 / 97.3 / 94.7	100.0 / 99.1 / 96.4	100.6 / 99.1 / 96.6

표에서 TOPS가 모든 조건에서 가장 높지만, 더 중요한 부분은 gap의 모양이다. attention-based SparseVLM은 64개 이하 budget에서 급격히 흔들리고, VisionZip과 DivPrune은 더 안정적이지만 고해상도 LLaVA-NeXT의 extreme budget에서는 SCOPE와 TOPS가 더 앞선다. TOPS는 SCOPE처럼 coverage를 활용하되, dynamic text rater relevance와 semantic diversity를 함께 쓰기 때문에 OCR, object relation, hallucination-sensitive task를 동시에 처리하는 평균 점수에서 밀리지 않는다. 이 결과는 “많이 남기는 방법”보다 “서로 다른 기준을 섞어 작게 남기는 방법”이 낫다는 주장을 수치로 뒷받침한다.

Figure 3: 여러 MLLM backbone과 benchmark에서 TOPS가 차지하는 성능 면적

Figure 3의 레이더 차트는 평균 점수표에서 놓치기 쉬운 per-benchmark 균형을 보여 준다. TOPS 곡선은 특정 축 하나에서만 튀기보다 여러 benchmark에서 안정적으로 바깥쪽을 차지한다. 이는 token pruning이 평균 accuracy를 맞추기 위해 한두 쉬운 task에 의존한 결과로 보기 어렵고, image QA, OCR, hallucination 평가, video reasoning을 함께 통과하는 방향으로 작동한다는 해석을 가능하게 한다.

5.2 advanced VLM과 video 입력에서의 일반화

Qwen2.5-VL과 InternVL3 결과는 TOPS가 LLaVA family 내부의 우연한 최적화가 아님을 보여 준다. Qwen2.5-VL-7B에서는 1,296개 토큰 중 256개를 남기는 80.2% pruning에서 TOPS가 평균 70.4, 상대 성능 96.3%를 기록한다. 128개 토큰 조건에서도 평균 67.9, 상대 성능 92.9%다. InternVL3-8B에서는 256개 토큰 조건에서 평균 72.4, 상대 성능 96.7%, 128개 조건에서 평균 68.8, 상대 성능 91.9%를 기록한다. Vision encoder와 LLM backbone이 달라져도 세 기준의 결합이 유지되는 셈이다.

모델/조건	Baseline 또는 upper bound	TOPS 유지 토큰	TOPS 평균 성능	TOPS 상대 성능	주요 비교점
Qwen2.5-VL-7B	1296 tokens, Acc. 73.1	256 tokens	70.4	96.3%	CDPruner 94.3%, DivPrune 94.1%보다 높음
Qwen2.5-VL-7B	1296 tokens, Acc. 73.1	128 tokens	67.9	92.9%	90.1% pruning에서도 MME 2217.3 유지
InternVL3-8B	1280 tokens, Acc. 74.9	256 tokens	72.4	96.7%	FastV 95.1%, DivPrune 92.5%보다 높음
InternVL3-8B	1280 tokens, Acc. 74.9	128 tokens	68.8	91.9%	DivPrune 86.2%, FastV 80.6%보다 안정적

비디오 결과는 실용성이 더 직접적으로 드러나는 부분이다. LLaVA-Video-7B는 64프레임 입력에서 $64 imes 169$ visual token을 쓰며, baseline 평균 성능은 62.5다. TOPS는 프레임당 64개 토큰을 남기는 62.1% pruning에서 평균 61.5, 상대 98.4%를 기록하고, 프레임당 32개를 남기는 81.1% pruning에서도 평균 60.1, 상대 96.2%를 보인다. 프레임당 16개까지 줄이는 90.5% pruning에서도 평균 57.7, 상대 92.3%가 유지된다. 장시간 비디오 QA에서 토큰 수가 곧 비용이 되는 상황을 고려하면, 이 결과는 단순한 벤치마크 승리보다 배포 비용에 더 큰 함의를 갖는다.

비디오 조건	FastV Rel.	SparseVLM Rel.	DART Rel.	DivPrune Rel.	TOPS Rel.
64×64 tokens, 62.1% pruning	96.0%	95.7%	96.8%	97.0%	98.4%
64×32 tokens, 81.1% pruning	88.2%	91.7%	91.2%	93.8%	96.2%
64×16 tokens, 90.5% pruning	78.6%	78.9%	86.7%	88.5%	92.3%

5.3 latency, FLOPs, memory

효율성 표는 LLaVA-NeXT-7B와 POPE benchmark에서 측정된다. baseline은 2,880개 토큰, 41.7T FLOPs, 265ms latency, 16.7GB memory, F1 86.8이다. TOPS는 320개 토큰 조건에서 FLOPs 4.2T, latency 85ms, memory 14.8GB, F1 86.3을 기록한다. FLOPs는 약 9.9배 줄고, latency는 3.12배 빨라지며, memory는 1.9GB 낮아진다. PruMerge+와 VisionZip은 latency가 더 낮지만 F1이 각각 79.5와 82.3으로 떨어진다. TOPS는 pure latency 최저점보다 accuracy retention을 우선한 지점에 있다.

방법	#Tok	FLOPs	Latency	Memory	F1
Baseline	2880	41.7T	265ms	16.7GB	86.8
FastV	320	4.4T (×9.5)	77ms	15.6GB	49.5
PyramidDrop	320	4.4T (×9.4)	67ms	15.6GB	60.8
SparseVLM	320	4.4T (×9.5)	101ms	18.6GB	85.3
PruMerge+	320	4.2T (×9.9)	54ms	14.8GB	79.5
VisionZip	320	4.2T (×9.9)	60ms	14.8GB	82.3
TOPS	320	4.2T (×9.9)	85ms	14.8GB	86.3

여기서 latency 해석은 조심해야 한다. TOPS의 greedy selection 자체가 추가 연산을 만들기 때문에, 같은 token count에서 가장 빠른 방법은 아니다. 그러나 F1을 baseline 수준으로 보존하면서 3배 이상 prefill speedup을 얻는 위치가 중요하다. 실제 서비스에서는 정확도 손실이 일정 임계값을 넘으면 retry, human review, fallback model 호출 같은 숨은 비용이 생긴다. 따라서 단순 latency만 줄이는 pruning보다, downstream 오류 비용을 고려한 latency-quality frontier가 더 중요하다. TOPS는 이 frontier에서 conservative하지만 실용적인 점을 차지한다.

5.4 benchmark별 결과를 읽을 때의 주의점

TOPS 결과를 읽을 때 평균 점수만 보는 것은 부족하다. 예를 들어 MME는 숫자 범위가 1,000점대이고, GQA나 POPE는 0에서 100 사이 accuracy 혹은 F1에 가깝다. 평균 Acc.를 만들 때 논문은 benchmark별 정규화와 상대 성능을 함께 보고하지만, 독자는 metric scale이 서로 다르다는 점을 기억해야 한다. 어떤 방법이 MME에서 크게 이득을 얻고 TextVQA에서 조금 손해를 보면 평균은 좋아 보일 수 있다. 따라서 TOPS의 강점은 평균값 자체보다 여러 benchmark에서 동시에 크게 무너지지 않는 패턴에 있다.

POPE 결과는 특히 중요하다. POPE는 object hallucination을 평가하므로, visual token pruning이 잘못되면 모델이 보지 못한 객체를 더 쉽게 말할 수 있다. TOPS가 POPE에서 baseline에 가까운 F1을 유지하고 일부 설정에서는 attention-only보다 훨씬 안정적인 것은 hallucination-sensitive pruning 관점에서 의미가 있다. 많은 시각 토큰이 항상 hallucination을 줄인다고 생각하기 쉽지만, redundant visual evidence가 언어모델의 prior와 섞이면 오히려 불필요한 확신을 만들 수 있다.

TextVQA와 AI2D는 다른 종류의 압력을 준다. TextVQA는 작은 문자와 주변 맥락이 중요하고, AI2D는 diagram 구조와 관계를 읽어야 한다. TOPS가 Qwen2.5-VL과 InternVL3의 AI2D, MME, MMStar에서 비교적 강한 성능을 보이는 것은 fine-grained evidence를 완전히 희생하지 않았다는 신호다. 다만 이 결과가 모든 문서형 이미지에 그대로 확장되지는 않는다. 실제 문서 extraction은 텍스트 밀도와 표 구조가 benchmark보다 더 극단적일 수 있다.

비디오 benchmark에서는 시간축 압축의 문제가 추가된다. LLaVA-Video 결과표는 프레임당 token 수를 줄이는 형태로 제시되지만, 실제로는 어떤 frame의 어떤 patch를 남기는지가 함께 중요하다. action recognition이나 long-video QA에서는 특정 순간의 작은 이벤트가 답을 좌우한다. TOPS가 video에서 높은 상대 성능을 보인 것은 공간 selection 원리가 시간축 redundancy에도 어느 정도 통한다는 의미지만, temporal coverage를 명시적으로 모델링한 것은 아니다. 프레임 간 diversity나 event boundary awareness를 붙이면 더 강해질 여지가 있다.

성능 유지율이 100%를 넘는 경우도 해석이 필요하다. LLaVA-NeXT-13B에서 77.8% pruning 후 100.6% relative performance가 나온다는 것은 pruning이 원본보다 모든 면에서 더 좋은 representation을 만들었다는 일반 명제가 아니다. benchmark 평균에서 redundant 또는 distracting token을 줄인 효과, sampling noise, task별 score composition이 함께 작용한 결과다. 그럼에도 이런 수치는 visual redundancy가 상당히 크고, 일부 불필요한 visual context가 답변을 방해할 수 있다는 실험적 단서를 준다.

나는 이 논문을 읽을 때 TOPS를 무조건 높은 compression ratio로 밀어붙이는 방법으로 보지 않는 편이 안전하다고 본다. 운영자는 먼저 target task의 tolerance를 정하고, 그 다음 token budget을 고르는 것이 맞다. 예를 들어 customer-support 이미지 QA는 약간의 세부 손실을 허용할 수 있지만, 의료·법률·금융 문서 입력은 보수적으로 가야 한다. TOPS는 latency-quality frontier를 넓혀 주는 도구이지, 모든 입력을 같은 비율로 줄이라는 규칙은 아니다.

6. 추가 분석 및 Ablation Study: 세 원리가 실제로 필요한가

6.1 두 단계 구조의 효과

Ablation table은 Stage I-only, Stage II-only, full TOPS를 비교한다. GQA에서는 S1-only 59.2, S2-only 59.1, TOPS 60.5이고, POPE에서는 86.2, 86.5, 86.8이다. MME에서는 S1-only 1444.0, S2-only 1412.6, TOPS 1482.7로 차이가 더 크다. MMBench EN/CN에서도 full TOPS가 각각 62.5, 57.2로 가장 높다. 두 단계 중 하나만 남겨도 어느 정도 작동하지만, coarse pruning과 in-LLM refinement가 결합될 때 더 안정적인 결과가 나온다.

설정	GQA	POPE	MME	MMBench EN	MMBench CN
Stage I only	59.2	86.2	1444.0	61.1	56.5
Stage II only	59.1	86.5	1412.6	61.7	56.0
TOPS	60.5	86.8	1482.7	62.5	57.2

이 결과는 Stage I이 단순한 조기 절감 장치를 넘어선다는 점을 보여 준다. Stage I에서 이미 중복을 줄여 놓으면 Stage II가 다룰 후보 공간이 작아지고, text-guided selection이 더 안정적인 범위에서 작동한다. 반대로 Stage II는 Stage I이 놓친 task-specific signal을 보정한다. 특히 MME처럼 perception과 cognition이 함께 들어간 benchmark에서 full TOPS의 이득이 큰 것은, 초기 공간 압축과 중간 layer 재평가가 서로 보완된다는 해석과 맞는다.

6.2 hyperparameter sensitivity와 coverage weight

Hyperparameter ablation은 $\lpha$와 $\lambda$의 감도를 본다. 64개 토큰 조건에서 (0.5, 1.0)은 평균 61.3으로 가장 높고, (0.5, 0.5)와 (1,1)은 61.2다. 32개 토큰 조건에서는 (0.5, 1.0)이 평균 59.7로 가장 높고, (1,2)가 59.6으로 뒤따른다. coverage weight가 너무 작으면 aggressive pruning에서 장면 대표성이 약해지고, 너무 크면 relevance와 fine detail을 흐릴 수 있다. 논문의 결과는 대략 $\lpha=0.5$, $\lambda=0.5$에서 $1.0$ 사이가 안정적인 영역임을 보여 준다.

Figure 4: 다양한 benchmark에서 diversity weight와 coverage weight가 성능에 미치는 영향

Figure 4는 $\lpha$와 $\lambda$ 조합을 benchmark별 contour로 보여 준다. 별표가 최적 조합이고 흰 점이 다른 실험 조합이다. 압축이 강해질수록 coverage 쪽 가중치가 작은 차이로도 성능을 흔들 수 있다는 점이 보이며, TOPS가 한 가지 고정 score를 모든 상황에 기계적으로 넣은 방법보다 budget별 균형을 조정하는 framework에 가깝다는 사실을 확인시켜 준다. 이 contour는 budget이 줄어들수록 coverage와 relevance의 균형이 다시 조정된다는 사실을 드러낸다.

Retain token	설정	GQA	TextVQA	POPE	MME	MMBench EN	MMVet	평균
64	α=0.5, λ=0.5	58.9	56.4	86.5	1441.7	61.3	28.6	61.2
64	α=0.5, λ=1.0	58.7	56.2	86.5	1442.7	60.9	30.6	61.3
32	α=0.5, λ=0.5	55.9	55.5	81.6	1362.6	60.2	28.9	59.3
32	α=0.5, λ=1.0	56.7	55.1	83.5	1384.7	59.5	29.7	59.7
32	α=1.0, λ=2.0	56.8	54.0	84.6	1388.9	59.5	28.4	59.6

6.3 text rater와 pruning layer 선택

Dynamic text rater ablation은 Stage II relevance가 어떻게 계산되는지에 대한 검증이다. all_mean은 모든 텍스트 토큰 attention을 평균내고, last_token은 마지막 토큰에 의존한다. TOPS의 dynamic rater는 layer마다 visual token과 강하게 상호작용하는 text token set을 고른다. 77.8% pruning에서 TOPS는 MMBench 62.5와 GQA 60.5로 가장 높고, 88.9% pruning에서도 MME 1442.7과 GQA 58.7을 기록한다. 단일 rater 선택이 항상 압도적으로 나쁜 것은 아니지만, benchmark별로 흔들림이 생긴다. dynamic rater는 이 흔들림을 줄이는 장치다.

Pruning layer ablation도 비슷한 메시지를 준다. Stage I은 동일하게 576개를 256개로 줄인 뒤, Stage II layer 위치를 바꾼다. L2만 쓰거나 L10만 쓰는 설정, L2+L14 설정보다 L12+L24가 평균 62.0, baseline 대비 98.3%로 가장 높다. 너무 이른 layer에서는 텍스트-비전 상호작용이 충분히 형성되지 않았고, 너무 늦은 layer에서는 이미 많은 계산을 소모한 뒤라 효율성이 줄어든다. 중간 layer 두 곳에서 progressive하게 줄이는 설정은 evidence가 어느 정도 모였고 비용 절감도 여전히 가능한 타협점이다.

Stage-2 layer 설정	MME	MMB EN	MMB CN	GQA	POPE	Avg	Rel.
L2 (256→119)	1421.1	60.5	54.8	58.9	85.9	60.9	96.5%
L10 (256→70)	1472.0	61.6	57.5	60.0	86.0	61.6	97.6%
L2+L14 (256→128→114)	1439.1	60.9	55.4	59.1	86.3	61.3	97.1%
L12+L24 TOPS (256→64→32)	1482.7	62.5	57.2	60.5	86.8	62.0	98.3%

Figure 5: TextVQA에서 token budget별 pruning method의 logit distortion 비교

Figure 5는 TextVQA 200개 sample에서 pruning 후 logit loss 증가량을 비교한다. token budget이 넉넉할 때는 relevance 기반 방법도 원본 분포를 꽤 잘 보존하지만, budget이 64와 32로 줄어들수록 coverage와 diversity를 함께 본 TOPS가 더 낮은 distortion을 만든다. 이는 accuracy 표에서 보이는 이득이 우연한 정답률 변동에 머물지 않고, 모델 출력 분포의 보존성과도 연결된다는 점을 보강한다.

Figure 6: FastV, DivPrune, DART, SCOPE의 spatial token selection frequency 비교

Figure 6은 9,000개 POPE sample에서 선택된 토큰의 공간 빈도를 보여 준다. FastV는 shallow attention shift 때문에 이미지 하단에 강한 bias를 보이는 반면, diversity와 coverage 계열은 더 균일한 분포를 만든다. TOPS가 relevance를 쓰면서도 coverage와 diversity를 결합하는 이유가 여기서 드러난다. 질문 관련 영역을 찾되, 특정 행이나 반복 패턴에 갇히지 않는 공간 균형이 필요하다.

Figure 7: TOPS 세 pruning stage의 token selection probability와 공간 균형

Figure 7은 TOPS의 stage별 선택 확률을 보여 준다. 논문은 budget 128, POPE 9,000개 sample, LLaVA-1.5-7B 조건에서 모든 stage가 낮은 Gini와 높은 normalized entropy를 유지한다고 설명한다. 이는 Stage I과 Stage II가 서로 다른 신호를 쓰더라도 결과적으로 특정 위치에 과도하게 몰리지 않는다는 뜻이다. aggressive pruning에서 spatial balance가 무너지면 작은 객체와 텍스트 영역이 쉽게 사라지므로 중요한 진단이다.

6.4 질적 시각화가 보여 주는 evidence 보존 패턴

정량 결과만 보면 TOPS가 평균 점수를 잘 유지한다는 사실은 알 수 있지만, 어떤 시각 근거가 실제로 남는지는 따로 봐야 한다. 논문 후반의 qualitative visualization은 retained token map을 답변과 함께 제시한다. 여기서 중요한 관찰은 TOPS가 이미지 중심의 큰 객체만 남기는 방식으로 움직이지 않는다는 점이다. 질문이 작은 문자나 주변 물체를 요구하면 해당 영역이 선택되고, 배경이 넓어도 답변 근거와 무관한 반복 texture는 상대적으로 덜 남는다.

이 시각화는 coverage와 diversity가 추상적인 보조 항이 아니라 실제 selection map의 모양을 바꾼다는 점을 보여 준다. attention-only 방법은 질문과 연결된 영역을 찾더라도 같은 주변 패치를 반복해서 잡을 수 있고, diversity-only 방법은 여러 위치를 흩어 고르지만 답변 근거와의 연결이 약해질 수 있다. TOPS는 두 현상 사이에서 retained set이 질문의 evidence path를 따라가도록 조정한다.

Figure 8: Vanilla 모델과 TOPS의 token selection 및 답변 비교

Figure 8은 pruning을 하지 않은 Vanilla 모델과 TOPS를 비교한다. TOPS는 훨씬 적은 토큰을 사용하면서도 질문에 필요한 물체, 문자, 세부 영역을 유지하는 사례를 보여 준다. 이 그림은 token count 감소가 곧 정보 손실이라는 단순한 관계로만 설명되지 않음을 보여 주며, 잘 설계된 subset이 답변에 필요한 evidence를 더 압축된 형태로 제공할 수 있다는 논문의 메시지를 강화한다. 이런 차이는 pruning이 단순 압축을 넘어 근거 보존 정책이라는 점을 뒷받침한다.

qualitative example은 benchmark 평균이 놓치는 오류 유형도 드러낸다. 예를 들어 scene-level 질문에서는 넓은 coverage가 도움이 되지만, OCR-heavy 질문에서는 작은 글자 영역 하나가 답변 전체를 좌우한다. TOPS가 두 상황을 모두 완벽히 해결한다고 볼 수는 없지만, retained token map을 함께 제시했다는 점은 좋다. pruning 논문은 점수만 보여 주면 실패 원인이 token drop 때문인지, 원래 모델의 한계인지 구분하기 어렵다. selection heatmap은 그 구분을 시작할 수 있는 최소한의 debugging surface다.

Figure 9: FastV, DivPrune, SCOPE, TOPS의 token selection 및 답변 비교

Figure 9는 여러 baseline과 TOPS를 같은 질문 묶음에서 비교한다. green answer와 red answer 표시를 함께 두어 선택된 token map이 실제 정답 여부와 어떻게 맞물리는지 볼 수 있다. TOPS가 항상 가장 넓게 보존하는 방식보다 질문 근거와 장면 대표성을 함께 살리는 방향으로 sparse map을 만든다는 점이 핵심이다. 이 비교는 score table의 평균 차이를 사람이 읽을 수 있는 evidence 차이로 번역한다.

내가 이 시각화를 특히 중요하게 보는 이유는 operational observability 때문이다. MLLM pruning을 서비스에 넣으면 사용자는 token map을 보지 않고 답변만 본다. 그러나 운영자는 실패한 요청을 분석해야 한다. TOPS처럼 retained token을 명시적으로 구성하는 방법은 answer log와 함께 selection log를 남길 수 있고, 특정 benchmark나 도메인에서 어떤 영역이 반복적으로 사라지는지 추적할 수 있다. 이는 black-box latency optimization보다 유지보수에 유리하다.

반대로 이 장점은 새로운 검증 의무도 만든다. retained token map이 사람이 보기에는 합리적으로 보여도, 실제 모델 내부에서 어떤 token이 어떤 semantic unit을 대표하는지는 모호하다. patch 단위 선택은 객체 경계와 맞지 않을 수 있고, high-resolution tile에서는 같은 물체가 여러 tile에 걸쳐 분산된다. 따라서 qualitative visualization은 설득 자료인 동시에 더 엄격한 평가가 필요하다는 신호다. token map을 human annotation, OCR box, object bounding box와 맞춰 보는 진단이 뒤따라야 한다.

이 지점에서 token pruning은 모델 압축과 해석 가능성 사이에 걸쳐 있다. pruning score가 정확도를 높이면 효율화 도구이고, 선택된 토큰이 답변 근거를 설명하면 해석 도구가 된다. TOPS는 두 성격을 모두 갖지만, 논문은 아직 설명 가능성 평가를 별도 benchmark로 정식화하지는 않는다. 후속 연구가 retained token set의 faithfulness를 측정한다면, 단순 accuracy retention을 넘어 “왜 이 subset이 충분한가”라는 질문에 더 강하게 답할 수 있다.

7. 한계점 및 향후 연구 방향: training-free pruning이 남기는 과제

7.1 Greedy construction overhead

TOPS의 가장 직접적인 비용은 greedy construction이다. 논문은 선택 budget을 $K$, 현재 token 수를 $N$으로 두면 pruning layer마다 $O(KN)$ 수준의 추가 연산이 생긴다고 설명한다. similarity matrix와 max-similarity 갱신을 incremental하게 관리하더라도, 후보를 하나씩 고르는 루프가 완전히 사라지지는 않는다. 따라서 TOPS는 같은 token budget에서 가장 빠른 pruning method가 되기보다, accuracy retention을 위해 약간의 selection overhead를 지불하는 방법이다. 이 trade-off는 서비스 환경에 따라 다르게 평가된다. latency가 극단적으로 중요한 real-time UI에서는 더 간단한 approximate selection이 필요할 수 있고, 고가의 multimodal reasoning API에서는 accuracy 보존이 더 중요할 수 있다.

향후 연구는 greedy selection을 병렬화하거나 근사화하는 쪽으로 갈 수 있다. 예를 들어 coverage gain을 매 step 완전히 다시 계산하지 않고 candidate pool을 coarse clustering으로 줄이거나, layer별 pruning 위치를 동적으로 줄이는 방식이 가능하다. 또 TOPS가 현재는 inference-time module로 제시되지만, 반복적으로 선택되는 token 패턴을 distillation signal로 사용해 모델 자체가 compact visual representation을 더 잘 만들도록 학습할 수도 있다. 이 경우 training-free 장점은 줄어들지만, 반복 inference에서 selection overhead를 amortize할 수 있다.

7.2 attention signal 의존성과 architecture 차이

두 번째 한계는 relevance signal이 attention에 의존한다는 점이다. 표준 transformer 구조에서는 cross-modal attention weight를 읽기 쉽지만, linear attention, sparse attention, grouped query attention 변형, 또는 vision-language fusion 방식이 다른 모델에서는 같은 proxy가 안정적이지 않을 수 있다. Stage I의 CLS attention도 dedicated CLS token이 없는 vision encoder에서는 그대로 쓰기 어렵다. Qwen2.5-VL과 InternVL3 결과가 일반성을 보강하더라도, 모든 차세대 VLM architecture에 같은 방식으로 적용된다고 말하기에는 아직 조심스럽다.

이 문제를 줄이려면 attention 이외의 relevance proxy가 필요하다. gradient-free perturbation score, logit lens 기반 token contribution, lightweight probe, visual-text contrastive score 같은 신호를 함께 쓸 수 있다. 다만 이런 신호는 계산 비용이나 추가 학습이 필요할 수 있다. TOPS의 강점은 기존 모델에서 곧바로 읽을 수 있는 값만으로 작동한다는 데 있으므로, relevance proxy를 확장할 때도 plug-and-play 성격을 잃지 않는 설계가 중요하다. architecture별 adapter를 두되, 선택 objective 자체는 relevance, coverage, diversity의 세 축으로 유지하는 방식이 현실적인 방향이다.

7.3 평가 범위와 도메인 특화 입력

논문은 14개 benchmark를 포함하지만, 전문 도메인 입력까지 체계적으로 다루지는 않는다. 의료 영상, 원격 탐사, 회로도, 금융 문서, 법률 계약서처럼 작은 구조와 텍스트, 위치 관계가 결정적인 입력에서는 pruning 실패 비용이 훨씬 크다. TextVQA와 AI2D가 일부 힌트를 주지만, dense captioning이나 document extraction처럼 페이지 전체의 모든 작은 영역이 후보 근거가 되는 task에서는 token budget을 줄이는 방식이 더 보수적이어야 한다. 특히 표, 좌표, 작은 숫자, 주석이 많은 이미지는 diversity나 coverage가 평균적으로 좋아도 특정 tiny evidence를 잃을 수 있다.

또 하나의 한계는 fixed hyperparameter다. $\lpha$와 $\lambda$는 모델과 compression ratio별로 정해지지만, 개별 query와 이미지 유형에 따라 최적 균형은 달라질 수 있다. 예를 들어 “이 표의 두 번째 행 숫자를 읽어라” 같은 질의는 relevance와 OCR region 보존이 중요하고, “장면 전체 분위기를 설명하라”는 질의는 coverage와 diversity가 중요하다. query-aware 또는 uncertainty-aware weighting이 붙으면 TOPS는 더 안전해질 수 있다. 다만 그 경우에도 평가가 필요하다. adaptive weighting이 일부 benchmark 평균을 올리면서 rare detail task를 망가뜨릴 수 있기 때문이다.

7.4 서비스 적용 시 필요한 안전장치

실제 배포에서는 TOPS 앞뒤로 guardrail이 붙어야 한다. 첫 번째 guardrail은 입력 유형 감지다. 자연 이미지, 스크린샷, 문서, 차트, 의료 영상은 서로 다른 token budget이 필요하다. 두 번째 guardrail은 답변 불확실성 감지다. pruning 후 모델의 logit margin이 낮거나, 답변이 OCR 숫자와 강하게 연결되거나, self-consistency가 흔들리면 더 큰 budget으로 재실행하는 fallback이 필요하다. 세 번째 guardrail은 retained token map 감사 로그다. 실패 요청을 나중에 분석할 수 있어야 pruning policy를 고칠 수 있다.

TOPS의 training-free 성격은 배포를 쉽게 하지만, 동시에 책임 소재를 흐릴 수 있다. 모델 가중치는 바꾸지 않았으니 안전하다고 생각할 수 있지만, 입력 representation을 바꾸는 순간 모델의 관찰 세계가 달라진다. 따라서 pruning module은 단순 preprocessor가 아니라 model behavior modifier로 취급해야 한다. 특히 enterprise 환경에서는 어떤 요청에서 몇 개 토큰을 남겼고, 어떤 원칙으로 drop했으며, fallback이 작동했는지 로그가 남아야 한다.

A/B test도 평균 latency와 평균 accuracy만 보면 부족하다. pruning이 특정 사용자군이나 특정 이미지 유형에서만 실패할 수 있기 때문이다. 예를 들어 모바일 스크린샷의 작은 버튼, 지도 이미지의 작은 지명, 영수증의 작은 금액처럼 long-tail 영역이 있다. TOPS를 적용한다면 slice-based evaluation을 만들어 작은 텍스트, 작은 객체, dense chart, multi-panel figure, low-contrast image를 따로 봐야 한다. 전체 평균이 좋아도 이 slice 중 하나가 망가지면 제품 품질은 크게 떨어진다.

또한 token pruning은 prompt injection이나 visual adversarial pattern과도 만난다. 악의적인 문구가 이미지 작은 영역에 숨어 있을 때 pruning이 그 영역을 제거하면 오히려 안전할 수 있지만, 반대로 안전 경고나 disclaiming text를 제거하면 위험해질 수 있다. TOPS는 relevance와 coverage를 쓰지만 safety-critical token이라는 별도 범주는 없다. 향후에는 policy-sensitive region, OCR-detected warning text, UI affordance처럼 안전상 반드시 남겨야 하는 영역을 hard constraint로 넣는 확장이 필요하다.

마지막으로, pruning ratio는 비용 정책과 직접 연결된다. GPU가 바쁜 시간에는 더 강하게 줄이고, 중요 요청이나 paid tier에서는 더 많이 남기는 식의 운영도 가능하다. 하지만 이런 정책은 품질 편차를 만들 수 있다. 사용자에게 같은 질문을 했는데 시간대에 따라 답변이 달라지면 신뢰가 떨어진다. TOPS 기반 운영에서는 deterministic budget policy와 재현 가능한 selection seed, 그리고 변경 이력을 함께 관리해야 한다.

8. 내 해석: 작은 subset의 품질을 어떻게 검증할 것인가

나는 TOPS의 가장 설득력 있는 부분이 “무엇을 남길 것인가”를 세 기준으로 쪼갠 데 있다고 본다. 이전에 위키에서 정리한 document extraction VLM 흐름이나 multimodal RAG 계열처럼, 실제 운영 시스템에서는 시각 입력을 downstream retrieval, extraction, agent action으로 넘기는 경우가 많다. 그때 토큰을 줄이는 목적은 단순한 평균 benchmark 절약을 넘어, 이후 파이프라인이 참조할 evidence를 얼마나 안전하게 보존하느냐로 바뀐다. TOPS의 relevance, coverage, diversity는 이 운영 질문에 꽤 잘 맞는다. 질문과 직접 연결된 토큰만 남기면 문서의 주변 구조를 잃고, 전체를 대표하려고만 하면 답변에 필요한 작은 숫자나 아이콘이 사라진다. 세 축을 함께 두는 설계는 이런 실무적 긴장을 정확히 짚는다.

다만 내가 이 논문에서 가장 걸리는 지점은 “subset이 충분히 좋은가”를 여전히 benchmark 평균으로 주로 판단한다는 점이다. POPE, MME, TextVQA, AI2D가 넓은 편이지만, 실제 배포에서는 실패가 평균적으로 희석되지 않는다. 예를 들어 병원 영수증의 작은 금액, 산업 도면의 작은 라벨, 모바일 화면의 비활성 버튼처럼 한 토큰 영역이 전체 task 성공을 결정하는 경우가 있다. TOPS가 spatial entropy와 logit fidelity를 추가로 보여 준 것은 좋지만, subset quality를 instance-level로 판정하는 safety gate는 아직 약하다. 내가 이 방법을 서비스에 붙인다면, pruning 후 답변만 보는 데서 멈추지 않고 retained token map이 OCR 영역, salient object, 질문 noun phrase와 얼마나 겹치는지 별도 진단 로그로 남길 것 같다.

후속 제안은 query-conditioned budget controller다. 현재 TOPS는 compression ratio별 schedule과 weight를 주로 고정해 쓰지만, 실제 입력은 난이도가 크게 다르다. 단순 색상 질의나 큰 객체 분류는 32개 토큰으로도 충분할 수 있고, 긴 표나 복잡한 diagram은 320개를 남겨도 모자랄 수 있다. 따라서 작은 verifier를 붙여 pruning 전후의 answer uncertainty, attention dispersion, OCR density, visual patch entropy를 보고 token budget을 자동으로 조정하는 구조가 필요하다. 이 방향은 TOPS를 대체하기보다 TOPS 위에 policy layer를 얹는 방식이다. 먼저 TOPS로 candidate subset을 만들고, risk가 높으면 budget을 늘리거나 pruning layer를 늦추는 식으로 운영할 수 있다.

이전에 개인 위키에서 적어 둔 deferred context pruning과도 묘하게 연결된다. 작업 자료를 모두 같은 무게로 보관하면 재진입 비용이 커지고, 반대로 너무 빨리 버리면 다음 판단 근거가 사라진다. MLLM의 visual token도 비슷하다. 모든 패치를 LLM 끝까지 들고 가면 계산 비용이 커지고, 너무 과감히 버리면 나중 layer가 다시 해석할 재료를 잃는다. TOPS는 “지금 질문에 필요한 것, 전체 장면을 대표하는 것, 이미 고른 것과 다른 것”을 분리해 작은 working set을 만드는 방법으로 읽힌다. 내가 확장한다면, retained token을 나중에 다시 키울 수 있는 re-entry mechanism, 예를 들어 답변 중 uncertainty가 커질 때 주변 patch를 재삽입하는 reversible pruning을 붙여보고 싶다.

9. 결론: 원리 기반 visual token pruning이 주는 실무적 신호

TOPS는 visual token pruning을 단순한 speed hack에서 subset construction 문제로 끌어올린 논문이다. relevance, coverage, diversity라는 세 기준은 직관적으로도 명확하고, 실험적으로도 서로 보완된다. LLaVA series, Qwen2.5-VL, InternVL3, LLaVA-Video를 함께 평가한 덕분에 특정 모델 계열의 작은 trick으로 보이지 않는다. 77.8%에서 90%대 token reduction을 걸어도 상대 성능을 90% 후반 또는 100% 근처로 유지하는 결과는 MLLM inference 최적화에서 token redundancy가 여전히 크다는 사실을 보여 준다.

실무적으로는 TOPS가 “정확도를 거의 잃지 않는 compression point를 어떻게 찾을 것인가”에 대한 기준선을 제공한다. 단순히 가장 빠른 방법을 고르면 작은 객체와 텍스트 근거를 잃을 수 있고, 무조건 보수적으로 많은 토큰을 남기면 고해상도 이미지와 비디오 입력에서 비용이 감당하기 어려워진다. TOPS는 그 사이에서 selection objective를 설명 가능하게 만들며, retained token map과 per-stage analysis를 통해 실패를 진단할 실마리도 준다. 특히 video, document-like image, agent observation처럼 입력이 길어지는 응용에서 이런 principled pruning은 단순 비용 절감보다 시스템 설계의 기본 부품이 될 가능성이 있다.

물론 바로 제품 환경에 넣으려면 추가 검증이 필요하다. greedy overhead, attention proxy의 architecture 의존성, domain-specific tiny evidence 보존, adaptive budget 정책은 아직 열린 문제다. 그러나 논문이 보여 준 방향은 분명하다. MLLM 효율화는 더 작은 모델을 쓰거나 quantization만 적용하는 범위를 넘어, 모델이 실제로 읽어야 할 시각 증거를 선택하는 문제이기도 하다. TOPS는 이 선택을 정보 원리와 실험 분석으로 묶어 설명했고, 그 점에서 이후 visual token pruning 연구의 강한 baseline이 될 만하다.

10. 요약 정리

• TOPS는 MLLM의 visual token pruning을 Token Optimal Preservation Sets 구성 문제로 정식화한다.
• 핵심 기준은 Task Relevance, Information Coverage, Semantic Diversity의 세 축이다.
• Stage I은 projector 직후 coarse pruning을 수행하고, Stage II는 LLM 중간 layer에서 dynamic text rater와 hidden similarity를 활용한다.
• LLaVA-NeXT에서는 77.8% token reduction에서도 7B 100.0%, 13B 100.6%의 상대 성능을 보고한다.
• Qwen2.5-VL, InternVL3, LLaVA-Video까지 포함한 넓은 평가에서 TOPS는 attention-only, diversity-only, coverage-only baseline보다 안정적이다.
• LLaVA-NeXT-7B efficiency 분석에서 320개 token 조건은 4.2T FLOPs, 85ms latency, 14.8GB memory, F1 86.3을 보인다.
• Ablation은 두 단계 구조, dynamic text rater, 중간 layer pruning, coverage weight 조정이 모두 성능 유지에 기여함을 보여 준다.
• 남는 과제는 greedy selection overhead, attention signal 의존성, 도메인 특화 작은 근거 보존, query-conditioned adaptive budget controller다.
• 실무적으로 TOPS는 고해상도 이미지와 비디오 입력에서 비용을 줄이면서 evidence 손실을 진단 가능한 형태로 관리하는 기준선으로 읽힌다.