[arXiv 2605.15128] MemEye: 멀티모달 에이전트 메모리의 시각 증거 평가

MemEye: A Visual-Centric Evaluation Framework for Multimodal Agent Memory

https://arxiv.org/abs/2605.15128

Minghao Guo, Qingyue Jiao, Zeru Shi, Yihao Quan, Boxuan Zhang, Danrui Li, Liwei Che, Wujiang Xu, Shilong Liu, Zirui Liu, Mubbasir Kapadia, Vladimir Pavlovic, Jiang Liu, Mengdi Wang, Yiyu Shi, Dimitris N. Metaxas, Ruixiang Tang | Rutgers, Notre Dame, Princeton, UMN, AMD | arXiv:2605.15128 | 2026년 5월

---

장기 에이전트 메모리가 텍스트 대화 기록을 넘어 이미지, 화면, 사진, 문서, 게임 상태, 의료 포털 같은 시각 경험까지 보관하기 시작하면 평가 문제도 달라진다. 단순히 과거 대화에서 문자열을 되찾는 능력만으로는 충분하지 않다. 에이전트는 어느 세션에 어떤 이미지가 있었는지 기억해야 하고, 그 이미지 안에서 어떤 물체·영역·작은 글자·색상·상태 변화가 나중 질문의 결정적 증거였는지 유지해야 한다. MemEye는 바로 이 지점을 전면에 세운다.

이 논문이 겨냥하는 핵심 문제는 기존 멀티모달 장기 메모리 벤치마크가 실제 이미지 보존 능력을 충분히 분리해서 보지 못했다는 점이다. 질문이 시각적으로 보이더라도 답이 주변 대화, 캡션, 선택지, 일반 상식에서 추론 가능하면 모델은 원본 이미지를 제대로 기억하지 못해도 좋은 점수를 받을 수 있다. MemEye는 이런 우회 경로를 줄이기 위해 시각 증거의 세밀도와 메모리 추론의 깊이를 두 축으로 나누고, 8개 생활 시나리오에서 371개 질문을 구성한다.

결과는 꽤 직접적이다. 논문은 13개 메모리 방식과 4개 VLM 백본을 평가한 뒤, 현재 시스템이 장기 멀티모달 메모리에서 세 가지 병목을 반복해서 보인다고 보고한다. 첫째, 이미지가 캡션으로 바뀌는 순간 instance-level 또는 pixel-level 단서가 사라진다. 둘째, 검색기는 관련 있어 보이는 과거 이미지를 찾더라도 최신 상태를 반영한 증거를 우선순위에 올리지 못한다. 셋째, 원본 이미지를 보존하는 방식도 업데이트·충돌·상태 전이를 추적하는 구조가 약하면 $Y_3$ 유형 질문에서 크게 흔들린다.

1. 서론: 장기 에이전트 메모리가 시각 증거를 잃는 문제

장기 메모리는 최근 에이전트 시스템의 핵심 구성 요소가 됐다. 코딩 에이전트는 이전 오류와 수정 이력을 기억하고, 개인 비서는 사용자의 선호와 일정 맥락을 저장하며, 멀티모달 챗봇은 사용자가 올린 사진과 화면을 다음 세션에서 다시 참조한다. 하지만 저장 대상이 텍스트에서 이미지로 확장되면 문제는 단순한 recall에서 evidence preservation으로 옮겨 간다. 이미지에는 한 문장 요약으로 담기 어려운 작은 문자, 비슷한 물체 사이의 차이, 위치 관계, 시간에 따른 상태 변화가 들어 있기 때문이다.

기존 장기 메모리 평가의 많은 부분은 언어적 사실 회수에 초점을 맞췄다. 예를 들어 사용자가 예전에 좋아한다고 말한 음식, 약속한 날짜, 문서에서 언급된 이름 같은 정보는 텍스트로 저장해도 비교적 안정적으로 유지된다. 반면 “거실 사진에서 나무 패턴이 있는 샘플이 나중에 어느 위치로 옮겨졌는가” 같은 질문은 원본 사진의 세부 시각 단서와 이후 세션의 업데이트를 함께 요구한다. 이 경우 단순 caption memory는 의미상 비슷한 힌트를 남겨도 결정적 근거를 빠뜨릴 수 있다.

MemEye는 이 차이를 평가의 중심에 놓는다. 논문의 문제의식은 “모델이 이미지를 볼 수 있는가”보다 “메모리 시스템이 나중 추론에 필요한 원본 시각 증거를 보존하고, 바뀐 상태를 올바르게 선택할 수 있는가”에 가깝다. 여기서 중요한 점은 시각 증거와 시간적 유효성이 서로 다른 병목이라는 점이다. 어떤 시스템은 이미지를 잘 저장하지만 오래된 이미지를 최신 상태로 착각하고, 어떤 시스템은 업데이트 기록을 잘 요약하지만 작은 로고나 색상 차이를 잃어버린다.

Figure 1: MemEye 데이터셋 개요와 예시 사례. 왼쪽은 8개 생활 시나리오와 통계를 원형 구조로 보여 주고, 오른쪽은 실제 질문이 어떤 시각 단서와 연결되는지 예시로 제시한다.

이 그림은 MemEye가 단일 이미지 질의응답 벤치마크를 넘어 긴 세션 기록 안에서 시각 단서를 다시 꺼내 쓰는 평가라는 점을 보여 준다. 원형 개요는 여가, 가정, 전문 업무, 개인 영역을 나누고, 예시 패널은 카드 게임 상태나 만화 장면처럼 텍스트 캡션만으로는 세부 단서가 사라지기 쉬운 상황을 배치한다. 따라서 데이터셋의 초점은 이미지 인식 자체보다 장기 메모리 안의 증거 보존과 재사용에 있다. 특히 각 예시는 답변이 특정 라운드의 시각 단서와 연결되어야 함을 보여 주므로, 단발성 VQA와 장기 메모리 평가의 차이가 분명해진다.

논문의 기여는 세 층으로 정리할 수 있다. 첫째, 2차원 평가 좌표계를 도입해 시각 증거의 세밀도와 메모리 추론의 깊이를 분리한다. 둘째, 각 질문이 원본 이미지 없이도 풀리는지, 짧은 캡션으로 우회 가능한지, 정답 증거가 주어졌을 때 풀 수 있는지를 단계적으로 걸러 벤치마크를 만든다. 셋째, 텍스트 기반 메모리와 멀티모달 메모리를 한 행렬 위에서 비교해 어떤 종류의 시스템이 어떤 좌표에서 실패하는지 진단한다.

• 시각 증거 세밀도: 장면 수준에서 픽셀 수준까지, 답을 결정하는 시각 단서가 얼마나 세밀한지 측정한다.
• 메모리 추론 깊이: 단일 증거 회수, 여러 세션의 관계 연결, 업데이트와 충돌을 반영한 진화적 합성을 구분한다.
• 우회 경로 제거: 선택지·대화 텍스트·최소 캡션만으로 풀리는 후보를 제거해 원본 이미지 필요성을 강화한다.
• 시스템 수준 비교: Full Context, Semantic RAG, Reflexion, Generative Agents, MemOS, A-Mem, MIRIX, MMA, M2A 등 13개 방식을 같은 좌표계에서 본다.

이 관점은 기존 위키에서 다룬 [[concepts/memory-policy-selection]]이나 [[concepts/search-first-agent-memory]]와도 연결된다. AEL 계열 연구가 메모리를 언제 어떤 인터페이스로 꺼낼지를 다뤘다면, MemEye는 그 메모리가 이미지일 때 어떤 세부 증거가 보존되어야 하는지까지 묻는다. LongSeeker가 검색 에이전트의 working context를 압축·삭제·되돌림으로 관리했다면, MemEye는 그런 관리 전략이 시각 증거와 상태 갱신 앞에서 충분한지 검사하는 평가장에 가깝다.

2. 배경 및 관련 연구: 텍스트 메모리에서 멀티모달 메모리로 이동

2.1 장기 에이전트 메모리의 기본 전환

텍스트 기반 에이전트 메모리는 대체로 세 가지 기능으로 설명된다. 첫째, 과거 세션의 사실과 에피소드를 저장한다. 둘째, 현재 질문과 관련된 항목을 검색한다. 셋째, 검색된 내용을 답변 또는 계획에 통합한다. 이 흐름에서는 메모리를 문장, 요약, 키-값, 벡터 검색 단위로 다뤄도 많은 문제가 해결된다. 하지만 멀티모달 세션에서는 저장 단위가 “텍스트로 요약된 사실”에 머물지 않는다. 사진 속 작은 표식, UI의 특정 버튼 위치, 게임 보드의 카드 배열, 방 사진의 재료 샘플이 나중 결정을 좌우할 수 있다.

논문은 기존 메모리 시스템들이 서로 다른 장점을 갖는다고 본다. Reflexion이나 Generative Agents류 방법은 경험을 언어적 반성 또는 memory stream으로 정리한다. MemOS와 A-Mem은 메모리 조직과 검색을 더 명시적으로 다룬다. MIRIX, MMA, M2A 같은 멀티모달 메모리 방식은 원본 이미지나 시각 임베딩을 유지하려 한다. 그러나 이런 방법들이 한 숫자 평균 성능으로만 비교되면, 실제 실패 원인이 시각 디테일 손실인지, 검색 실패인지, 최신 상태 선택 실패인지 분리하기 어렵다.

MemEye가 유용한 이유는 이 실패 원인을 분해하는 평가 행렬을 제공하기 때문이다. 같은 메모리 시스템이 $X_1$ 장면 수준 질문에서는 잘 동작해도 $X_4$ 작은 글자 질문에서는 실패할 수 있고, $Y_1$ 단일 증거 질문에서는 강해도 $Y_3$ 업데이트 반영 질문에서는 오래된 증거를 고를 수 있다. 따라서 장기 메모리 평가는 평균 정확도와 함께 좌표별 병목을 함께 봐야 한다.

2.2 기존 멀티모달 대화 벤치마크의 빈칸

기존 벤치마크는 이미지 대화, 장기 대화, 멀티세션 기억을 각각 다뤄 왔다. VisDial과 CLEVR-dialog는 이미지 기반 대화를 열었고, LoCoMo나 LongMemEval은 장기 기억을 평가했으며, MMRC와 Mem-Gallery는 멀티모달 장기 문맥을 더 직접적으로 다룬다. 하지만 논문은 이들 다수가 원본 이미지의 대체 불가능성을 강하게 검증하지 못한다고 지적한다. 질문이 캡션이나 대화 문맥으로 풀리면 원본 이미지 보존 능력이 평가 지표에 크게 반영되지 않는다.

벤치마크	Caption-Proof	Long Memory	Fine Visual	State Revision	Visual-State
VisDial / CLEVR-dialog	낮음	낮음	높음	낮음	낮음
LoCoMo	낮음	높음	낮음	제한적	낮음
MMRC	낮음	제한적	낮음	높음	낮음
Mem-Gallery	낮음	높음	제한적	제한적	낮음
MemEye	높음	높음	높음	높음	높음

이 표가 말하는 바는 단순히 MemEye가 더 많은 항목을 가진다는 뜻이 아니다. 핵심은 “이미지를 캡션으로 바꿔도 풀리는가”, “장기 기록에서 state revision이 필요한가”, “시각 상태가 실제로 바뀌는가”를 동시에 묻는다는 점이다. 특히 Visual-State 축은 사진이나 화면에 포함된 상태 자체가 시간이 지나며 바뀌는 상황을 평가한다. 사용자가 방을 리모델링하거나 게임 보드가 진행되거나 의료 포털 값이 업데이트되는 경우, 오래된 단서와 최신 단서를 구분하는 능력이 필요하다.

기존 메모리 연구와 비교하면 MemEye의 위치는 명확하다. 저장·검색·요약 알고리즘 자체를 새로 제안하기보다, 그런 알고리즘들이 실제 멀티모달 장기 상호작용에서 어떤 정보를 잃는지 보여 주는 diagnostic benchmark다. 따라서 이 논문은 시스템 설계 논문이라기보다 평가 프레임워크 논문이며, 좋은 점수표를 만드는 목적보다 실패를 잘 보이게 만드는 목적이 강하다. 이 때문에 표와 figure가 단순 leaderboard보다 진단 축 중심으로 구성되어 있다.

Figure 2: 기존 장기 메모리 벤치마크와 MemEye에서 원본 시각 정보가 얼마나 대체 불가능한지 비교한다. No Visual Info, Caption Only, Multimodal 설정을 같은 질문에 적용해 원본 이미지의 추가 기여를 측정한다.

Figure 2는 MemEye가 왜 caption-proof 검사를 강조하는지 보여 준다. LoCoMo, MMRC, Mem-Gallery는 멀티모달 요소를 포함하더라도 많은 질문이 텍스트 대체물로 풀릴 수 있다. 반면 MemEye는 원본 이미지가 들어갔을 때의 이득이 더 크게 나타나도록 설계되어, 메모리 시스템이 실제 시각 증거를 보존했는지 평가 지표에 반영되게 만든다. 이 비교는 벤치마크 자체가 얼마나 원본 이미지 의존적인지 확인하는 사전 검증이기도 하다.

이 배경을 이해하면 MemEye의 실험 결과도 다르게 읽힌다. 어떤 시스템이 평균적으로 낮은 점수를 받았다는 사실보다, 낮은 점수가 어느 좌표에서 나왔는지가 중요하다. 텍스트 메모리가 낮은 $X$에서 경쟁력 있고 높은 $X$에서 흔들린다면 문제의 중심은 검색량보다 표현 손실에 있다. 멀티모달 검색이 $Y_3$에서 흔들린다면 문제의 중심은 원본 이미지 부족보다 업데이트된 상태를 고르는 temporal authority에 있다.

3. 방법론: MemEye의 두 축과 시각 중심 데이터 구축

3.1 $X$축: 결정적 시각 증거의 세밀도

MemEye의 첫 번째 축은 visual evidence granularity다. $X_1$은 장면 수준 증거를 뜻한다. 예를 들어 장면이 실내인지 야외인지, 어떤 활동이 벌어지는지, 전체 분위기나 의미적 gist가 무엇인지 묻는 경우다. $X_2$는 의미적으로 묶인 영역이나 부분 장면을 다룬다. 방 한쪽의 수납장 영역, 게임 화면의 특정 구역, 여러 객체가 놓인 국소 패치가 여기에 해당한다.

$X_3$부터는 캡션으로 버티기 어려워진다. instance-level 질문은 비슷한 후보들 사이에서 특정 물체나 사람의 정체성을 유지해야 한다. 세 개의 샘플 중 어떤 것이 나중 사진의 줄자 옆에 다시 등장했는지, 동일한 캐릭터가 다음 장면에서 어떤 위치에 있는지 묻는 식이다. $X_4$는 작은 글자, 색상, 텍스처, 숫자, 세부 카운트처럼 픽셀 수준 단서를 요구한다. 이런 정보는 dense caption에서도 누락되거나 일반화되기 쉽다.

3.2 $Y$축: 메모리 사용의 추론 깊이

두 번째 축은 memory-reasoning depth다. $Y_1$은 단일 증거 회수에 가까운 atomic retrieval이다. 필요한 단서가 한 세션이나 한 이미지에 있고, 그것을 찾으면 답을 낼 수 있다. $Y_2$는 relational association으로, 여러 세션 또는 여러 모달리티에 흩어진 정보를 연결해야 한다. 여기서는 증거들이 서로 충돌하지 않고 누적되므로, 올바른 조합을 찾는 일이 중요하다.

$Y_3$는 evolutionary synthesis다. 정보가 시간이 지나며 바뀌거나 이전 상태가 나중 상태에 의해 덮어써지는 경우다. 예를 들어 의료 포털의 수치가 업데이트되거나, 리모델링 후보가 교체되거나, 게임 보드 상태가 새 턴으로 넘어가면 단순히 관련 증거를 많이 찾는 것으로는 부족하다. 시스템은 어떤 증거가 현재 유효한지 판단해야 한다. 논문이 반복해서 강조하는 “semantic relevance is not temporal validity”라는 진단은 바로 이 축에서 나온다.

Figure 3: MemEye의 두 축 taxonomy. 가로축은 장면 수준에서 픽셀 수준까지 시각 증거 세밀도를 나타내고, 세로축은 atomic retrieval에서 evolutionary synthesis까지 메모리 추론 깊이를 나타낸다.

Figure 3은 MemEye의 핵심 설계도를 한 장으로 압축한다. 같은 질문이라도 답을 결정하는 단서가 장면 전체인지 작은 문자 하나인지에 따라 $X$ 좌표가 달라지고, 단서를 단순히 찾으면 되는지 최신 상태로 갱신해야 하는지에 따라 $Y$ 좌표가 달라진다. 이 분리는 평균 점수 뒤에 숨어 있던 표현 손실과 상태 선택 손실을 서로 다른 실패 모드로 읽게 해 준다. 따라서 어느 메모리 방식이 어느 좌표에서 깨지는지 추적하면 architecture 개선 방향도 더 구체적으로 잡힌다.

축	수준	정의	대표 예시
$X$	$X_1$ Scene-level	장면 유형, 활동, 전체 의미 gist	만화 장면의 하늘과 구름 같은 전역 배경 파악
$X$	$X_2$ Region-level	의미 있는 부분 영역과 국소 구조	방 사진에서 특정 수납장 샘플 영역 비교
$X$	$X_3$ Instance-level	비슷한 후보 중 특정 객체·인스턴스 식별	세 샘플 중 나중 사진에 재등장한 샘플 추적
$X$	$X_4$ Pixel-level	작은 글자, 정확한 색, 질감, 숫자	전시 케이스 안 식별 태그 번호 읽기
$Y$	$Y_1$ Atomic Retrieval	단일 증거 회수	한 이미지에 있는 단서 하나를 찾아 답하기
$Y$	$Y_2$ Relational Association	여러 증거 연결	다른 세션의 시각 단서를 관계로 묶기
$Y$	$Y_3$ Evolutionary Synthesis	업데이트·충돌·override 처리	최신 상태가 과거 상태를 대체했는지 판단하기

이 taxonomy는 질문 난이도를 단순히 쉬움·어려움으로 나누지 않는다. $X_4,Y_1$ 질문은 시각적으로는 세밀하지만 메모리 추론은 단순할 수 있고, $X_1,Y_3$ 질문은 이미지 세부사항은 거칠어도 상태 업데이트 추론이 어렵다. 이 조합이 중요하다. 멀티모달 메모리 시스템을 설계할 때 시각 저장 계층과 시간 상태 계층을 따로 설계해야 할 가능성을 보여 주기 때문이다.

3.3 데이터 구축: 생활 시나리오와 필터링 게이트

MemEye 데이터셋은 8개 life-scenario task로 구성된다. 여가 영역에는 Card Playlog와 Cartoon Entertainment가 있고, 가정 영역에는 Home Renovation과 Outdoor Navigation이 있다. 전문 업무 영역은 Brand Memory와 CrossScene Memory를 포함하며, 개인 영역은 Health Care와 Social Chat을 다룬다. 전체 규모는 221개 세션, 848개 대화 라운드, 438개 이미지, 371개 질문이다. 각 질문은 multiple-choice와 open-ended 형식으로 mirror되어 평가된다.

Task	Sessions	Rounds	Images	Questions
Home Renovation	13	120	89	52
Brand Memory	42	72	30	29
Card Playlog	4	30	30	48
Cartoon Ent.	86	299	87	76
CrossScene Memory	15	117	57	50
Outdoor Nav.	10	60	40	28
Health Care	12	97	62	51
Social Chat	39	53	43	37
Total	221	848	438	371

데이터 구축에서 중요한 장치는 세 가지 필터링이다. 첫째, 질문과 선택지, 정답 관련 텍스트만으로 풀리는 항목을 제거한다. 둘째, 이미지를 매우 짧은 캡션으로 바꿔도 풀리는 항목을 제거하거나 수정한다. 셋째, 원본 이미지와 정답 clue round를 제공해도 풀리지 않는 항목을 제거한다. 세 번째 단계는 foundation model의 기본 인식 능력 부족과 memory failure를 섞지 않기 위한 통제다.

Figure 4: MemEye 후보 질문을 answer leakage, caption bypassability, oracle answerability 관점에서 걸러 내는 데이터 필터링 절차.

Figure 4는 벤치마크 구축이 단순한 데이터 수집을 넘어 우회 경로를 제거하는 과정임을 보여 준다. 텍스트 단서만으로 풀리는 문항, 최소 캡션으로 원본 이미지를 대체할 수 있는 문항, 정답 증거를 줘도 모호한 문항을 차례대로 걸러 낸다. 이 절차 덕분에 최종 질문은 메모리 시스템이 실제로 시각 증거를 보존하고 검색해야 풀리는 형태에 가까워진다. 또한 foundation model이 애초에 풀 수 없는 모호한 항목을 제거해, 평가 결과가 메모리 실패를 더 직접적으로 반영하게 만든다.

또 하나의 설계는 multiple-choice bias를 줄이기 위한 네 방향 answer rotation이다. 선택지 A, B, C, D 중 어디에 정답이 놓이느냐에 따라 VLM이 보이는 위치 편향을 완화하기 위해 정답 위치를 회전한 변형을 만든다. open-ended 형식도 함께 둔 이유는 multiple-choice에서 보기 단서가 문제 해결을 돕는 효과를 분리하기 위해서다. 논문은 EM과 LLM-as-a-Judge를 함께 보고하며, 두 지표의 차이를 통해 답안 선택과 자유 응답 설명의 난이도 차이를 읽는다.

Figure 5: MemEye의 전체 구축·검증 파이프라인. 시나리오와 목표 좌표에서 후보 질문을 만들고, mirrored MCQ/open-ended 항목과 clue-round annotation을 거쳐 여러 검증 게이트를 통과시킨다.

Figure 5는 Figure 4보다 더 넓은 파이프라인을 보여 준다. 후보 질문은 task scenario, visual evidence, 목표 $(X,Y)$ 영역에서 생성되고, clue round와 정답 회전이 붙은 뒤 shortcut, visual necessity, reasoning structure 검사를 거친다. 이 흐름은 MemEye가 단순히 어려운 이미지 질문을 모으는 데 그치지 않고, 어느 축의 능력을 재는지 명시된 평가 항목을 만들려 했다는 점을 확인시킨다.

4. 실험 설정: 13개 메모리 방식과 4개 VLM 백본

4.1 데이터셋 및 벤치마크

실험은 MemEye의 371개 질문을 중심으로 진행된다. 질문은 같은 의미를 multiple-choice와 open-ended로 모두 평가할 수 있게 구성되어 있으며, MCQ는 네 가지 answer rotation 평균으로 EM을 계산한다. open-ended 답변은 LLM-as-a-Judge를 주 지표로 사용하고, BLEU-1은 보조 지표로 appendix에 보고한다. 논문은 72개 예측 샘플에 대한 human-judge agreement를 확인했고, 자동 accept/reject 판정이 human label과 Cohen의 $\kappa=0.94$ 수준으로 강하게 일치한다고 보고한다.

평가 요소	설정	목적
질문 형식	MCQ와 open-ended mirror	선택지 단서와 자유 응답 설명 능력을 분리
MCQ 지표	4개 answer rotation 평균 EM	선택지 위치 편향 완화
Open-ended 지표	LLM-as-a-Judge	정답 상태를 자연어로 복원했는지 평가
보조 지표	BLEU-1	표현 중복도와 lexical overlap 참고
Judge 검증	72개 샘플 human agreement, Cohen $\kappa=0.94$	자동 채점 신뢰도 점검

좌표 분포를 보면 $Y_2$가 198개로 가장 많고, $Y_1$이 113개, $Y_3$가 60개다. 시각 세밀도는 $X_3$ 144개와 $X_4$ 136개가 큰 비중을 차지한다. 이는 MemEye가 의도적으로 fine-grained visual memory를 많이 포함한다는 뜻이다. 단순 scene-level question 위주였다면 caption memory도 쉽게 통과했겠지만, instance와 pixel 수준 질문이 많아지면 이미지 보존 방식의 차이가 드러난다.

구분	$X_1$	$X_2$	$X_3$	$X_4$	Total
$Y_1$	10	11	74	18	113
$Y_2$	29	21	60	88	198
$Y_3$	10	10	10	30	60
Total	49	42	144	136	371

4.2 구현 세부사항

논문은 4개 VLM 백본을 사용한다. Qwen3-VL-8B-Instruct, GPT-4.1-nano, GPT-5.4-mini, Gemini-2.5-flash-lite가 포함된다. main result는 gpt-5.4-mini 기준으로 자세히 보고하고, 다른 백본 결과는 appendix에 둔다. 이 설정은 특정 모델 하나의 시각 인식 능력보다 메모리 방식의 상대적 병목을 보려는 목적이다. 같은 memory method라도 백본의 시각 인식 능력, context handling, instruction following 특성에 따라 점수가 달라질 수 있기 때문이다.

평가 대상 메모리 방식은 크게 텍스트 기반 7개와 멀티모달 기반 6개로 나뉜다. 텍스트 기반 방식은 이미지를 GPT-5.2 dense caption으로 바꾼 뒤 저장·검색·추론한다. 멀티모달 방식은 원본 시각 입력 또는 시각 임베딩을 유지하는 쪽에 가깝다. retrieval 기반 방법은 top-$K=10$을 사용하고, 가능한 범위에서 텍스트·이미지 embedding backbone을 표준화한다. 논문은 공식 또는 권장 retrieval stack을 따랐기 때문에 결과를 encoder-controlled ablation보다 system-level comparison으로 해석해야 한다고 명시한다.

4.3 베이스라인

계열	방법	입력 표현	해석 포인트
Textual memory	FC(T), SRAG(T), Reflexion, Generative Agents	이미지의 dense caption	텍스트 요약과 검색이 시각 단서를 얼마나 대체하는지 확인
Textual memory	MemOS, A-Mem, SimpleMem(T)	언어 메모리 구조	업데이트·반성·메모리 조직이 $Y$축에서 주는 이득 확인
Multimodal memory	FC(V), SRAG(V)	원본 이미지 포함 또는 시각 검색	full context와 semantic retrieval의 차이 비교
Multimodal memory	MIRIX, MMA, M2A, SimpleMem(V)	시각 임베딩·멀티모달 메모리	원본 시각 증거 보존과 상태 선택 사이의 trade-off 확인

베이스라인 선택에서 흥미로운 점은 Full Context를 텍스트와 비주얼 양쪽에 모두 둔 것이다. FC는 검색을 생략하고 가능한 많은 history를 넣는 단순한 상한선처럼 보일 수 있지만, 장기 멀티모달 환경에서는 unrelated history가 늘어날수록 context interference를 만든다. 반대로 SRAG는 관련 증거를 좁히지만 temporal validity를 보장하지 않는다. 그래서 MemEye 결과는 “검색이 좋은가, full context가 좋은가”보다 “어떤 좌표에서 어떤 오류가 생기는가”로 읽어야 한다.

이 실험 설정은 실제 제품형 에이전트에도 시사점이 있다. 사용자 사진첩, 업무 스크린샷, 웹 탐색 캡처, 의료 대시보드처럼 시간이 지나며 업데이트되는 시각 정보를 저장하는 시스템은 원본 보관 비용, caption index, image embedding, state summary, recency signal을 함께 조정해야 한다. MemEye는 이런 설계 선택을 정량적으로 비교할 수 있는 작은 지도 역할을 한다.

5. 주요 실험 결과: MemEye 행렬에서 드러난 병목

5.1 평균 성능: SRAG(V)가 가장 강하지만 포화와 거리가 멀다

gpt-5.4-mini 기준 main matrix에서 평균적으로 가장 강한 방식은 SRAG(V)다. open-ended LLM-as-a-Judge 평균은 0.4937이고, MCQ EM 평균은 0.6177로 보고된다. 그러나 이 수치는 benchmark가 이미 해결됐다는 뜻과 거리가 멀다. open-ended 점수가 0.5 안팎에 머문다는 것은 관련 증거를 찾더라도 정답 상태를 설명하는 과정에서 많은 오류가 남는다는 의미다. 특히 high-$X$와 high-$Y$가 겹치는 영역에서는 이미지 보존과 상태 선택이 동시에 필요해진다.

방법	평균 EM	평균 LLM-Judge	주요 특징
FC(T)	0.5670	0.4280	텍스트 full context, 낮은 $X$에서 비교적 안정
SRAG(T)	0.5484	0.3909	caption 기반 semantic retrieval
MemOS	0.4866	0.3326	언어 메모리 구조화 방식
A-Mem	0.4797	0.3524	텍스트 메모리 organization 계열
FC(V)	0.6038	0.4391	원본 이미지 포함 full context
SRAG(V)	0.6177	0.4937	최고 평균, 시각 검색 장점
MMA	0.5386	0.4329	멀티모달 메모리 계열
M2A	0.4011	0.3347	state-aware 가능성은 있으나 평균은 낮음

평균만 보면 “시각 정보를 그대로 쓰는 SRAG(V)가 좋다”로 끝날 수 있다. 하지만 좌표별 결과를 보면 더 복잡하다. $Y_1,X_3$에서는 SRAG(V)가 LLM-Judge 0.6554로 A-Mem의 0.4459를 크게 앞선다. $Y_1,X_4$에서도 SRAG(V)와 MMA가 0.6389로 best cell을 차지한다. 이는 fine-grained evidence가 단일 증거로 충분한 경우 원본 이미지 보존과 시각 검색이 분명히 유리하다는 뜻이다.

반면 $Y_3$에서는 그림이 바뀐다. $Y_3,X_3$ open-ended에서는 FC(T), SRAG(T), Reflexion, A-Mem, M2A가 모두 0.5500 근처의 best cell로 묶이고, SRAG(V)는 0.3000에 머문다. $Y_3,X_4$에서는 FC(V)가 0.4500으로 가장 높지만 SRAG(V)는 0.2167이다. 즉 원본 이미지를 검색하는 방식은 fine visual evidence를 보존하는 데 도움이 되지만, 업데이트와 충돌이 걸린 evolutionary synthesis에서는 관련 이미지 검색만으로 충분하지 않다.

Figure 6: gpt-5.4-mini에서 대표 메모리 방법의 MemEye 행렬 성능을 heatmap으로 시각화한다. 왼쪽은 LLM-as-a-Judge, 오른쪽은 MCQ EM 결과다.

Figure 6은 평균 점수 하나로는 보이지 않는 좌표별 실패 패턴을 보여 준다. 낮은 $Y$와 높은 $X$에서는 원본 이미지 기반 방식이 강하게 나타나지만, $Y_3$ 영역에서는 retrieval 성능이 곧 정답 상태 선택으로 이어지지 않는다. MCQ와 open-ended heatmap의 차이도 중요하다. 보기 선택에서는 일부 단서를 활용해 맞힐 수 있어도, 자유 응답에서는 유효한 메모리 상태를 언어로 복원해야 하므로 더 엄격한 차이가 드러난다. 그래서 이 heatmap은 선택지 도움을 받은 정답률과 실제 상태 설명 능력을 분리해서 읽게 해 준다.

5.2 fine-grained evidence와 evolving state는 다른 병목이다

논문의 가장 중요한 해석은 두 스트레스 요인이 서로 다르다는 것이다. 첫 번째는 fine-grained visual evidence loss다. caption memory는 장면 수준이나 영역 수준 설명을 잘 담을 수 있지만, 작은 글자, 동일한 샘플의 재등장, 비슷한 물체의 identity binding을 자주 놓친다. 이 문제는 $X_3$와 $X_4$에서 원본 이미지 기반 방식이 caption 기반 방식보다 좋아지는 현상으로 나타난다.

두 번째는 evolving visual state tracking이다. 이 문제에서는 원본 이미지가 있어도 답이 바로 나오지 않는다. 여러 세션에 걸쳐 같은 대상의 상태가 바뀌었고, 최신 상태가 과거 상태를 덮어썼다면 시스템은 관련 evidence와 함께 현재 유효한 evidence를 선택해야 한다. semantic retrieval은 관련성 중심으로 작동하기 때문에 시각적으로 비슷하거나 주제상 관련된 stale evidence를 높은 순위로 올릴 수 있다.

이 구분은 실제 메모리 아키텍처 설계에 직접 연결된다. 이미지 저장 계층은 $X$축을 담당하고, state record 또는 temporal authority 계층은 $Y$축을 담당해야 한다. 하나의 vector retrieval module이 두 문제를 동시에 해결한다고 가정하면 MemEye의 lower-right region에서 실패가 반복된다. 특히 $X_4,Y_3$ 같은 좌표는 작은 시각 단서와 상태 업데이트를 함께 요구하므로, 단순 caption, 단순 image embedding, 단순 recency rule 각각의 한계를 동시에 드러낸다.

좌표/조건	관찰된 현상	해석
$Y_1,X_3$	SRAG(V) LLM-Judge 0.6554, A-Mem 0.4459	instance-level 단일 증거에서는 원본 이미지 기반 검색이 강함
$Y_1,X_4$	SRAG(V)와 MMA LLM-Judge 0.6389	pixel-level 단서 보존에서 visual memory 이점
$Y_3,X_3$	텍스트/상태형 방식과 M2A가 0.5500 수준, SRAG(V) 0.3000	업데이트 처리에서는 semantic visual retrieval만으로 부족
$Y_3,X_4$	FC(V) 0.4500, SRAG(V) 0.2167	관련 이미지 검색보다 유효 상태 선택이 병목

이 결과는 memory benchmark를 설계할 때 단일 난이도 점수로는 충분하지 않다는 점도 보여 준다. fine visual recognition과 long-horizon state reasoning은 서로 보완적이지만 동일한 능력이 아니다. 강한 VLM이 단일 이미지의 작은 텍스트를 읽을 수 있어도, 10세션 전 이미지와 2세션 전 업데이트 중 어느 것이 현재 기준인지 고르지 못하면 장기 메모리 에이전트로는 실패한다. 반대로 state summary가 좋아도 원본 이미지의 작은 표식을 잃으면 정확한 상태를 기록할 수 없다.

6. 추가 분석 및 Ablation Study: 캡션, 오라클, 시간 신호의 역할

6.1 Caption-Proof 분석: 원본 이미지가 언제 필요한가

Caption-Proof 분석은 같은 질문에서 caption-based stream과 native-image stream의 차이를 본다. 수식으로는 $\Delta=Score_V-Score_T$처럼 표현된다. 논문은 low-$X$ 영역에서는 원본 이미지 이득이 작거나 불안정하지만, high-$X$ 영역에서는 LLM-Judge와 EM 모두에서 양의 confidence interval이 나타난다고 보고한다. 이는 caption이 충분한 장면 수준 설명을 제공할 수 있어도 instance·pixel 단서에는 구조적 손실이 남는다는 뜻이다.

비교	Slice	n	Mean	CI-L	CI-U
Cap.-Proof Judge	Low-$X$ V–T	91	+0.024	-0.035	+0.081
Cap.-Proof Judge	High-$X$ V–T	280	+0.079	+0.042	+0.115
Cap.-Proof EM	Low-$X$ V–T	91	+0.010	-0.037	+0.058
Cap.-Proof EM	High-$X$ V–T	280	+0.075	+0.043	+0.107
SRAG(V)–FC(V) Judge	All	371	+0.058	+0.005	+0.111
SRAG(V)–M2A Judge	$Y_3-Y_1$	113/60	-0.425	-0.586	-0.265

표에서 특히 중요한 줄은 high-$X$ V–T다. LLM-Judge 기준 평균 이득 +0.079와 95% CI [+0.042, +0.115]는 원본 이미지가 dense caption보다 통계적으로 안정적인 이득을 준다는 근거다. EM 기준도 +0.075와 CI [+0.043, +0.107]로 비슷한 방향이다. 반면 low-$X$ 영역에서는 CI가 0을 포함한다. 즉 MemEye의 $X$축은 실제로 caption 대체 가능성과 연결되어 있고, 시각 단서 세밀도가 높아질수록 원본 이미지 보존 필요성이 증가한다.

Figure 7: gpt-5.4-mini에서 각 좌표별 native image stream과 dense caption stream의 차이 $\Delta=Score_V-Score_T$를 heatmap으로 표시한다.

Figure 7은 caption-proof 효과가 전체 행렬에 균일하게 퍼져 있지 않음을 보여 준다. 일부 낮은 $X$ 좌표에서는 caption이 충분하거나 오히려 텍스트 추상화가 안정적인 경우도 있지만, instance와 pixel 단서가 필요한 영역에서는 native image stream의 이득이 더 분명하다. 이 차이는 이미지 저장 비용을 어디에 써야 하는지 알려 주는 practical signal로도 읽힌다. 모든 이미지를 같은 방식으로 저장하기보다 fine-grained evidence가 필요한 세션을 식별해야 한다.

6.2 Oracle evidence 분석: 검색을 제거해도 $Y$축 난이도는 남는다

오라클 evidence 분석은 retrieval 병목을 제거하고, 정답에 필요한 clue round와 원본 이미지를 직접 제공한다. 이때도 $Y_1$에서 $Y_3$로 갈수록 open-ended Judge 점수는 0.673에서 0.601, 0.558로 내려간다. 검색 실패가 제거된 상황에서도 추론 깊이에 따른 성능 하락이 남는다는 뜻이다. 따라서 $Y$축은 단순히 “찾기 어려운 정도”를 넘어 증거를 어떻게 결합·수정·합성해야 하는지를 측정한다.

분석	수준	n	EM	BLEU-1	Judge
Reasoning depth	$Y_1$ Atomic	113	0.856	0.412	0.673
Reasoning depth	$Y_2$ Relational	198	0.633	0.426	0.601
Reasoning depth	$Y_3$ Evolutionary	60	0.696	0.327	0.558
Visual granularity	$X_1$ Scene	49	-	-	0.653
Visual granularity	$X_2$ Region	42	-	-	0.262
Visual granularity	$X_3$ Instance	144	-	-	0.358
Visual granularity	$X_4$ Pixel	136	-	-	0.335

오라클 결과에서 흥미로운 부분은 $Y_3$ EM이 $Y_2$보다 높을 수 있다는 점이다. multiple-choice에서는 정답 후보가 상태 선택을 도울 수 있기 때문이다. 그러나 Judge와 BLEU-1은 open-ended 복원의 난도를 더 잘 보여 준다. $Y_3$에서 Judge 0.558로 내려가는 현상은 정답 clue가 있어도 최신 상태와 과거 상태를 합성하는 과정이 부담스럽다는 뜻이다. 실제 메모리 시스템에서는 여기에 retrieval noise와 stale evidence까지 더해진다.

6.3 Retrieval diagnostics: 관련 증거와 유효 증거의 차이

retrieval diagnostics는 SRAG(T), SRAG(V), MMA 같은 검색 기반 또는 retrieval provenance가 있는 방법에서 top-10 memory round와 annotated gold clue round를 비교한다. $Y_1$에서는 SRAG(V)의 Any-Clue가 0.885, Coverage가 0.870, Full-Clue가 0.858로 높다. 단일 증거 회수에서는 시각 검색이 비교적 잘 작동한다. 하지만 $Y_3$에서는 Latest/Stale 지표가 중요해진다. SRAG(V)는 $Y_3$에서 Any-Clue 0.750을 보이지만 Latest/Stale은 0.533/0.767이다. 관련 단서를 찾더라도 오래된 단서가 강하게 섞인다는 뜻이다.

Method	$Y$	n	Any-Clue	Coverage	Full-Clue	Latest / Stale
SRAG(T)	$Y_1$	113	0.832	0.819	0.805	- / -
SRAG(T)	$Y_2$	195	0.826	0.590	0.344	- / -
SRAG(T)	$Y_3$	60	0.667	0.510	0.367	0.517 / 0.526
SRAG(V)	$Y_1$	113	0.885	0.870	0.858	- / -
SRAG(V)	$Y_2$	195	0.826	0.622	0.410	- / -
SRAG(V)	$Y_3$	60	0.750	0.553	0.367	0.533 / 0.767

이 결과는 검색기의 scoring objective와 메모리 상태 추론의 objective가 다르다는 점을 드러낸다. 일반적인 semantic retrieval은 현재 질문과 의미적으로 가까운 evidence를 찾는다. 하지만 상태가 바뀌는 질문에서는 의미적으로 가까운 과거 evidence가 오히려 방해가 된다. 최신 clue를 포함하지 못하거나, 최신 clue보다 stale clue를 높은 순위에 올리면 answer generation 단계는 잘못된 상태를 자연스럽게 설명할 수 있다. 따라서 $Y_3$ 문제는 retrieval recall과 함께 temporal ordering, update semantics, invalidation rule을 요구한다.

Figure 8: MemEye 실험 진단 패널. 좌표 균형 macro-average, Caption-Proof gain, SRAG(V) retrieval diagnostics, cross-topic dialogue scaling을 함께 보여 준다.

Figure 8은 논문의 분석을 가장 잘 압축한 그림이다. (a)는 좌표별 평균 성능을 보여 주고, (b)는 원본 이미지가 caption보다 어디서 이득을 주는지 나타낸다. (c)는 SRAG(V)가 단서를 찾는 문제와 최신 상태를 고르는 문제를 분리하고, (d)는 unrelated history가 늘어날 때 full-context와 memory mechanism이 어떻게 달라지는지 보여 준다. 네 패널은 메모리 실패가 하나의 원인으로 환원되지 않고 보존, 검색, 상태 선택의 조합임을 보여 준다.

6.4 Recency counterfactual과 evolving-state probe

논문은 SRAG(V)의 $Y_3$ 실패를 더 자세히 보기 위해 recency counterfactual을 수행한다. 검색된 candidate pool은 유지하고 순위만 similarity와 recency를 섞은 점수로 바꾼다. $\alpha=1.0$은 순수 similarity, $\alpha=0.7$과 $\alpha=0.5$는 recency를 더 반영한다. 결과적으로 stale dominance와 rank inversion은 줄어든다. 하지만 Judge 점수 개선은 안정적인 해결책이라기보다 진단 신호에 가깝다. 시간 신호만 더한다고 answer generation 오류가 모두 사라지지는 않는다.

Ranking	Latest@10	Latest-Miss	Stale-Dom.	Rank-Inv.	$Y_3$ Judge
SRAG(V), $\alpha=1.0$	0.600	0.400	0.767	0.483	0.292
+ Recency, $\alpha=0.7$	0.550	0.450	0.683	0.367	0.358
+ Recency, $\alpha=0.5$	0.550	0.450	0.583	0.283	0.325

evolving visual-state probe는 더 직접적이다. $Y_3$ subset에서 stale-only, latest-only, all-clue oracle을 비교하면 latest-only가 0.712, all-clue oracle이 0.727이다. 최신 상태만 정확히 주어져도 전체 clue chain에 가까운 점수를 낸다는 뜻이다. 반면 일반 memory system은 FC(V) 0.333, SRAG(V) 0.379, MMA 0.394, M2A 0.182 수준이다. 이 간격은 모델이 최신 상태를 읽을 수 없어서라기보다, 긴 memory history에서 그 상태를 회수하고 우선순위화하지 못해서 생긴다.

Evaluation	Method	LLM-as-a-Judge
Oracle control	Stale-only	0.591
Oracle control	Latest-only	0.712
Oracle control	All-clue oracle	0.727
Memory system	FC(V)	0.333
Memory system	SRAG(V)	0.379
Memory system	MMA	0.394
Memory system	M2A	0.182

이 ablation은 후속 시스템 설계 방향을 꽤 선명하게 만든다. 첫째, memory item에는 시각 임베딩에 더해 시간 좌표와 state validity metadata가 필요하다. 둘째, retrieval 결과는 의미 관련성, 최신성, update relation, invalidation relation을 함께 고려해 재정렬되어야 한다. 셋째, answer generator는 검색된 이미지 목록을 그대로 소비하기보다 현재 유효 상태를 명시적으로 선택한 중간 state record를 거친 뒤 답해야 한다.

6.5 오류 유형을 좌표로 다시 읽기

MemEye 결과를 실제 시스템 디버깅 관점으로 보면 좌표는 오류 유형 라벨로 바뀐다. $X_1,Y_1$에서 실패한 시스템은 기본적인 장면 기억 또는 대화 연결부터 흔들린다. $X_4,Y_1$에서 실패한 시스템은 원본 이미지의 작은 문자와 색상 차이를 보존하지 못한 것이다. $X_2,Y_3$에서 실패한 시스템은 영역 수준 시각 단서는 읽을 수 있어도 나중 세션의 업데이트를 반영하는 rule이 부족하다. $X_4,Y_3$ 실패는 가장 복합적이다. 작은 단서를 유지해야 하고, 여러 세션의 상태 변화를 추적해야 하며, stale evidence를 제거해야 한다.

이런 식으로 좌표를 읽으면 leaderboard를 보는 방식도 달라진다. 어떤 새 메모리 모델이 평균 EM을 2포인트 올렸더라도, 그 개선이 $X_1,Y_1$이나 $X_2,Y_1$에 몰려 있다면 장기 멀티모달 메모리의 어려운 부분을 건드리지 못했을 수 있다. 반대로 평균 상승은 작아도 $X_4,Y_3$에서 stale evidence selection을 크게 줄였다면 실제 제품형 에이전트에는 더 가치 있는 개선일 수 있다. MemEye는 이런 판단을 가능하게 하는 좌표 기반 회귀 테스트로 볼 수 있다.

caption loss는 특히 데이터 파이프라인 초기에 발생한다. 이미지를 caption으로 변환할 때 모델은 장면 요약, 주요 물체, 두드러진 행동을 먼저 말한다. 하지만 MemEye의 질문은 종종 주 단서가 아닌 주변부 단서, 작은 UI 텍스트, 색상 톤, 이전에 본 샘플과의 동일성에 걸려 있다. captioner가 모든 세부사항을 exhaustive하게 기록하면 context cost가 커지고, 짧게 기록하면 결정적 단서가 빠진다. 이 trade-off는 단순히 더 좋은 captioner를 쓰는 문제를 넘어선다.

retrieval loss는 저장된 증거가 충분해도 생긴다. image embedding은 시각적으로 비슷한 이미지를 잘 묶지만, “현재 유효한 상태”를 직접 표현하지 않는다. 예를 들어 같은 방 사진이 여러 번 등장하면 embedding은 모두 비슷하게 본다. 사용자가 나중에 샘플을 교체했는지, 이전 사진이 폐기되었는지, 특정 객체가 더 이상 유효하지 않은지는 별도 상태 정보가 있어야 한다. 그래서 SRAG(V)의 높은 Any-Clue와 낮은 $Y_3$ Judge가 동시에 나타날 수 있다.

generation loss도 분리해야 한다. 검색기가 올바른 clue round를 찾아도 답변 생성기는 관련 증거를 시간순으로 정렬하지 않거나, stale clue와 latest clue를 같은 신뢰도로 취급할 수 있다. open-ended Judge가 EM보다 낮게 나오는 일부 영역은 이 문제를 시사한다. 선택지 기반 문제에서는 정답 후보가 state disambiguation을 돕지만, 자유 응답에서는 모델이 어떤 상태를 최종으로 채택했는지 스스로 구성해야 한다. 이때 evidence citation이나 intermediate state table이 없으면 오류가 자연어 답변 안에 숨어 들어간다.

오류 유형	주로 드러나는 좌표	필요한 보강
Caption loss	높은 $X$, 특히 $X_3$·$X_4$	원본 이미지 보존, region/instance crop, OCR-like detail record
Retrieval loss	$Y_1$·$Y_2$ 전반	clue-round recall, multimodal embedding, top-$K$ provenance
Temporal authority loss	$Y_3$ 전반	latest-state 추적, stale invalidation, update relation graph
Generation loss	open-ended $Y_2$·$Y_3$	중간 state table, evidence citation, answer grounding judge

위 표는 논문 결과를 engineering checklist로 바꾼 것이다. MemEye 자체는 새로운 memory algorithm을 제안하지 않지만, 어떤 module을 붙여야 하는지 충분한 방향을 준다. caption loss가 크면 visual store를 강화해야 하고, temporal authority loss가 크면 state ledger가 필요하다. generation loss가 크면 검색 결과를 바로 LLM에 넣는 대신 중간 representation을 거쳐야 한다. 이런 분해는 장기 에이전트의 회귀 테스트를 만들 때 특히 중요하다.

6.6 mixed-memory scaling이 말하는 운영 비용

Figure 6(d)의 mixed-memory scaling은 별도로 볼 가치가 있다. 사용자의 장기 기록이 한 주제만 담고 있을 때와 여러 unrelated task가 섞여 있을 때 메모리 시스템의 부담은 다르다. full-context 방식은 모든 history를 넣으므로 빠뜨리는 단서는 줄일 수 있지만, unrelated visual history가 늘어나면 attention과 reasoning이 분산된다. 반대로 retrieval 또는 structured memory 방식은 먼저 후보를 좁혀 context interference를 줄이지만, retrieval scoring이 잘못되면 최신 clue를 놓친다.

실제 배포에서는 이 trade-off가 비용 문제와 결합된다. 모든 이미지를 원본으로 저장하고 매번 모델에 제공하면 token·latency·privacy 비용이 커진다. 모든 이미지를 caption으로만 바꾸면 $X_3$·$X_4$ 단서가 빠진다. image embedding만 저장하면 temporal authority가 약하다. 따라서 실용적인 시스템은 multi-tier memory가 될 가능성이 크다. 낮은 중요도 이미지는 caption과 thumbnail만 남기고, high-risk 또는 high-detail 이미지에는 원본, crop, OCR, state metadata를 함께 보존하는 식이다.

MemEye의 task 구성은 이런 tiering 정책을 실험하기 좋은 출발점이다. Brand Memory는 로고와 시각 정체성처럼 작은 차이를 요구하고, Home Renovation은 물체 상태와 위치 변화가 중요하며, Health Care는 dashboard update와 portal value가 중요하다. 각 task는 서로 다른 storage policy를 요구한다. 예를 들어 Brand Memory에는 crop-level visual evidence가, Health Care에는 timestamped state record가, Card Playlog에는 game-state transition log가 더 직접적인 보강이 된다.

좌표 기반 저장 정책을 상상해 보면 더 분명하다. $X_1,Y_1$ 자료는 coarse caption과 session summary로 충분할 수 있다. $X_4,Y_1$ 자료는 원본 이미지와 OCR 세부값을 함께 보존해야 한다. $X_2,Y_3$ 자료는 이미지보다 state update relation이 중요할 수 있다. $X_4,Y_3$ 자료는 원본 이미지, crop, OCR, timestamp, invalidation rule을 모두 필요로 한다. MemEye는 이런 정책을 학습하거나 평가할 때 목표 label로 쓸 수 있다.

또한 MemEye는 privacy-aware memory 연구와도 연결된다. 원본 이미지를 오래 저장하는 것이 항상 허용되는 것은 아니다. 사용자의 집, 건강 정보, 사적 대화 화면은 저장과 검색 과정에서 별도 동의와 삭제 정책을 요구한다. 따라서 “원본 이미지를 보존해야 한다”는 결론은 기술적으로 맞더라도, 제품에서는 selective retention과 user-controlled recall이 필요하다. MemEye의 caption-proof 결과는 어떤 이미지가 원본 보존 후보인지 판정하는 risk signal로 활용될 수 있다.

7. 한계점 및 향후 연구 방향: 진단 벤치마크가 남기는 열린 문제

MemEye는 강한 진단 벤치마크지만, 논문 자체가 인정하듯 exhaustive benchmark는 아니다. 8개 life-scenario task는 실제 장기 멀티모달 메모리의 중요한 축을 포착하지만, 모든 deployment domain을 대표하지 않는다. 예를 들어 엔터프라이즈 문서 워크플로, 로봇 조작 기록, 의료 영상 판독, 게임 장기 플레이, 디자인 협업 도구는 각기 다른 visual state와 update rule을 가진다. MemEye의 taxonomy는 이런 도메인으로 확장 가능하지만, 현재 데이터 분포는 curated scenario 중심이다.

또 다른 한계는 VLM 백본과 메모리 구현의 빠른 변화다. 논문은 4개 backbone과 13개 memory method를 평가하지만, 더 강한 closed model이나 multimodal long-context architecture가 등장하면 절대 점수는 빠르게 바뀔 수 있다. 따라서 MemEye의 가치가 오래가려면 leaderboard보다 diagnostic slice가 더 중요하다. 새로운 모델이 전체 점수를 올리더라도 high-$X$ caption-proof gap, $Y_3$ stale evidence rate, cross-topic scaling sensitivity가 얼마나 줄었는지 계속 봐야 한다.

인간 기준선도 더 넓게 확장될 여지가 있다. 논문은 stratified subsample에서 3명의 annotator가 gold clue round와 원본 이미지를 보고 majority-vote accuracy 0.88, mean individual accuracy 0.85를 보고한다. 이는 문항이 원천적으로 풀 수 있는지 sanity check로 충분하지만, 인간이 장기 시각 메모리를 실제로 어떻게 압축하고 되찾는지까지 보여 주지는 않는다. 장기 상호작용 환경에서 사람도 full visual history를 계속 들고 있지 않으므로, 인간의 note-taking과 visual reference strategy를 함께 비교하면 더 현실적인 상한선을 만들 수 있다.

평가 방식 측면에서는 LLM-as-a-Judge의 장기 안정성이 남는다. 논문은 human agreement로 judge 신뢰도를 확인했지만, open-ended memory question은 정답 상태의 표현 방식이 다양할 수 있다. 특히 state revision이 있는 문항에서는 정답의 핵심 단서와 설명 순서, 불확실성 표현이 모두 중요하다. 따라서 후속 연구에서는 structured rubric, evidence citation, clue grounding check를 함께 붙여 judge가 답변만 보지 않고 어떤 이미지와 라운드를 근거로 삼았는지 검사하는 방향이 필요하다.

시스템 설계 관점에서 MemEye는 평가장일 뿐 직접적인 architecture를 제안하지 않는다. 이 점은 장점이자 한계다. 다양한 memory method를 공정하게 진단할 수 있지만, “어떻게 고쳐야 하는가”는 각 시스템 설계자가 풀어야 한다. 논문이 제안하는 방향은 image evidence, text 또는 structured state record, valid evidence selection mechanism을 결합하는 쪽이다. 실제 구현에서는 저장 비용, 개인정보 보호, 이미지 임베딩 drift, 검색 latency, 오래된 state의 폐기 정책까지 함께 결정해야 한다.

마지막으로 MemEye의 caption-proof 철학은 데이터셋 생성 과정에서도 조심스럽게 다뤄야 한다. 너무 caption으로 풀기 어려운 항목만 남기면 실제 사용자 질문보다 artificial하게 세밀한 visual puzzle이 될 수 있다. 반대로 캡션 우회 가능 문항을 충분히 제거하지 않으면 원본 이미지 보존 평가가 흐려진다. 후속 데이터셋은 realistic user intent와 diagnostic hardness 사이의 균형을 더 체계적으로 조절해야 한다.

7.1 실제 적용을 위한 평가 프로토콜 제안

MemEye를 실제 조직의 에이전트 평가에 적용한다면, 먼저 기존 세션 로그를 $X$와 $Y$ 관점으로 다시 라벨링하는 절차가 필요하다. 모든 사용자 질문이 벤치마크 문항처럼 정리되어 있지는 않지만, 답을 내는 데 필요한 시각 단서가 장면 수준인지 픽셀 수준인지, 단일 증거인지 업데이트 합성인지 분류할 수 있다. 이렇게 라벨링하면 메모리 시스템의 failure report가 훨씬 구체화된다. “이미지 기억 실패” 대신 “$X_4,Y_3$ portal update에서 stale screenshot을 선택함”처럼 기록할 수 있다.

두 번째 단계는 evidence provenance를 강제하는 것이다. 에이전트가 답변을 만들 때 어떤 세션, 어떤 이미지, 어떤 crop, 어떤 caption, 어떤 state record를 사용했는지 남겨야 한다. MemEye의 clue-round annotation은 이 방향의 좋은 예시다. production system에서도 답변만 저장하면 실패 원인을 재현하기 어렵다. 검색 후보, 최종 사용 evidence, 폐기한 stale evidence까지 기록해야 caption loss와 temporal authority loss를 구분할 수 있다.

세 번째 단계는 open-ended judge를 단순 정답 판정에서 evidence-grounded judge로 확장하는 것이다. 답이 맞아 보여도 잘못된 이미지를 근거로 삼았으면 장기 메모리 시스템으로는 위험하다. 특히 의료, 금융, 법률, 디자인 변경 이력처럼 provenance가 중요한 영역에서는 정답 문자열보다 근거 선택이 더 중요하다. MemEye가 제공하는 mirrored MCQ/open-ended 구조에 evidence citation scoring을 추가하면 이 문제를 더 엄격하게 볼 수 있다.

네 번째 단계는 memory budget ablation이다. 같은 시스템을 caption-only, native-image-only, state-ledger-only, hybrid 형태로 돌려 어느 계층이 어떤 좌표에 기여하는지 봐야 한다. 평균 점수가 비슷하더라도 storage cost와 privacy cost는 크게 다를 수 있다. MemEye의 high-$X$와 high-$Y$ slice를 따로 보면, 원본 보존 비용을 어디에 집중해야 하는지 더 실용적으로 결정할 수 있다.

운영 평가 단계	필수 산출물	MemEye와의 연결
좌표 라벨링	질문별 $X,Y$ label	실패 위치를 평균 점수 밖으로 노출
증거 provenance	사용 이미지·caption·state record 로그	clue-round 기반 오류 재현
Evidence-grounded judge	답변 정확도와 근거 정확도 분리	open-ended 평가 강화
Budget ablation	caption/native/state/hybrid 비교	저장 비용과 품질 trade-off 측정
Stale evidence audit	최신 clue 누락과 stale dominance 통계	$Y_3$ 병목 추적

이런 프로토콜을 붙이면 MemEye는 연구 벤치마크를 넘어 내부 품질 게이트가 될 수 있다. 새 메모리 시스템을 배포하기 전 high-$X$ caption-proof slice와 $Y_3$ stale evidence slice를 반드시 통과하게 만들 수 있다. 특히 기존 agent benchmark는 final success만 보는 경우가 많지만, 장기 메모리에서는 성공처럼 보이는 답도 잘못된 근거에 기대면 다음 상호작용에서 누적 오류를 만든다. MemEye식 검증은 그런 누적 오류를 초기에 잡는 역할을 한다.

7.2 후속 연구에서 특히 봐야 할 네 가지 방향

첫째, visual state graph가 필요하다. 이미지를 독립 memory item으로 저장하면 여러 세션의 상태 변화가 edge 없이 흩어진다. 같은 객체나 장소가 다시 등장했을 때 “같은 entity의 새 상태”인지 “비슷하지만 다른 entity”인지 구분해야 한다. 이 graph는 visual entity linking, timestamp, update relation, invalidation marker를 포함할 수 있다. MemEye의 Home Renovation, CrossScene Memory, Health Care task는 이런 graph 설계를 시험하기 좋은 사례다.

둘째, adaptive visual retention이 필요하다. 모든 이미지를 원본으로 저장하는 방식은 비용과 privacy가 크고, 모든 이미지를 caption으로 줄이는 방식은 high-$X$ 정보를 잃는다. 질문 유형, 사용자 중요도, 이미지 내 작은 텍스트 존재, 추후 업데이트 가능성을 바탕으로 어떤 이미지를 원본·crop·OCR·caption 중 어떤 조합으로 남길지 결정해야 한다. MemEye의 caption-proof gap은 retention policy의 training signal로 쓸 수 있다.

셋째, state-aware retrieval이 필요하다. 검색 점수는 similarity 하나로 끝나기 어렵다. 최신성, entity match, update chain completeness, stale evidence penalty, user confirmation status가 함께 들어가야 한다. 논문의 recency counterfactual은 작은 출발점이다. $\alpha=0.7$에서 stale dominance와 rank inversion은 줄지만 answer quality 개선은 제한적이었다. 이는 temporal signal이 필요하지만 단독으로 충분하지 않다는 뜻이다.

넷째, interactive repair를 평가해야 한다. 실제 에이전트는 불확실할 때 “이전 사진과 최신 사진 중 어느 쪽을 기준으로 할까요?”라고 물을 수 있다. MemEye의 현재 설정은 주어진 memory에서 바로 답하는 능력을 본다. 후속 benchmark는 에이전트가 evidence conflict를 감지하고 추가 확인을 요청하는지, 사용자의 답변을 state ledger에 반영하는지까지 포함할 수 있다. 이 방향은 안전성과 사용자 통제권 측면에서도 중요하다.

이 네 방향은 모두 MemEye의 좌표와 잘 맞물린다. visual state graph는 $Y_3$를, adaptive retention은 $X_3$·$X_4$를, state-aware retrieval은 high-$Y$ 검색 실패를, interactive repair는 불확실한 상태 선택을 다룬다. 따라서 후속 논문이 MemEye를 사용할 때 단순히 평균 성능을 올리는 데 머물지 않고, 어떤 설계가 어떤 좌표를 개선했는지 명시하면 연구 축적이 더 빨라질 것이다.

8. 내 해석: 약점 1 + 후속 제안 1

나는 MemEye의 가장 설득력 있는 지점이 “메모리를 많이 넣으면 된다”는 직관을 깨뜨리는 데 있다고 본다. 기존에 리뷰한 AEL은 memory-policy selection을 통해 어떤 memory interface를 고를지 학습 대상으로 만들었고, LongSeeker는 검색 에이전트의 working context를 operation으로 편집했다. MemEye는 그 다음 질문을 던진다. 그렇게 고르고 편집한 memory가 이미지라면, 캡션으로 추상화된 기억이 정말 충분한가? 논문의 답은 좌표별로 다르다. 낮은 $X$에서는 충분할 수 있지만 높은 $X$에서는 원본 시각 증거가 필요하고, 높은 $Y$에서는 원본 증거만으로도 최신 상태 선택이 해결되지 않는다.

약점도 분명하다. MemEye는 visual-centric memory evaluation을 잘 만들었지만, 실제 배포형 에이전트의 행동 루프와는 아직 거리가 있다. benchmark의 질문은 clue round와 정답이 깔끔하게 정의되어 있고, 시스템은 주어진 history에서 답을 찾는다. 실제 에이전트는 필요한 순간에 사용자의 확인을 요청하거나, 오래된 상태를 폐기하거나, 이미지 원본을 다시 열어 검증하거나, privacy boundary 때문에 일부 이미지를 저장하지 못할 수 있다. 따라서 이 논문이 보여 준 실패가 실제 제품의 모든 실패를 대표한다고 보기보다, 장기 멀티모달 메모리의 핵심 하위 병목을 분리한 실험실 지도라고 보는 편이 정확하다.

내가 이 연구를 확장한다면 먼저 state ledger를 가진 멀티모달 메모리를 붙여 볼 것 같다. 이미지 원본과 caption, image embedding을 저장하는 것에 더해, 각 memory item이 어떤 entity의 어떤 state를 주장하는지 작은 구조화 레코드로 남긴다. 새 이미지가 들어오면 이전 state를 “대체”, “보완”, “충돌”, “무관” 중 하나로 표시하고, retrieval 단계에서는 semantic similarity와 recency와 함께 state validity score를 함께 사용한다. 이렇게 하면 $X$축은 원본 이미지로 버티고, $Y$축은 ledger update rule로 보강할 수 있다.

이 제안은 기존 위키의 Search-First Agent Memory와도 잘 맞는다. 과거 기록을 무조건 프롬프트에 주입하지 않고 먼저 좁게 검색하되, 검색 결과를 바로 답변에 넣지 말고 state validity를 한 번 더 통과시키는 구조다. Memory-policy selection 관점에서는 `caption_only`, `native_image`, `state_ledger`, `ask_user_confirmation` 같은 interface family를 episode나 질문 좌표에 따라 고를 수 있다. MemEye의 좌표는 그 policy를 학습하거나 평가하기 위한 feature로도 쓸 수 있다.

결국 MemEye가 보여 준 핵심은 멀티모달 에이전트 메모리의 실패가 하나의 큰 “기억력 부족”으로 설명되지 않는다는 점이다. 어떤 실패는 작은 시각 단서가 사라져서 생기고, 어떤 실패는 관련 단서는 찾았지만 과거 상태를 최신 상태로 착각해서 생긴다. 나는 이 구분이 앞으로 개인 비서, 업무 에이전트, 의료/디자인/로봇 보조 시스템에서 중요해질 것이라고 본다. 사용자가 기대하는 메모리는 오래 기억하는 저장소보다, 지금 유효한 시각 증거를 근거와 함께 다시 꺼내는 절차에 가깝기 때문이다.

8.1 내가 이 논문을 적용한다면 보는 체크포인트

내가 실제 멀티모달 에이전트 메모리를 운영한다면 첫 번째로 볼 지표는 원본 증거 보존율이다. 저장소 안에 이미지 URL이나 파일이 남아 있다는 사실만으로는 부족하다. 답변에 필요한 crop, 작은 글자, 특정 객체 identity, 시간표시가 재구성 가능한 상태로 남아 있는지 봐야 한다. 예를 들어 Brand Memory에서는 로고의 색상과 글자 형태가 필요하고, Health Care에서는 포털 화면의 숫자와 날짜가 필요하다. 이런 정보가 caption summary에 들어가지 않았다면 검색이 아무리 좋아도 답변 단계에서 복구할 방법이 없다.

두 번째 지표는 유효 상태 선택률이다. 사용자가 같은 대상을 여러 번 보여 주는 상황에서는 과거 상태와 최신 상태가 동시에 검색될 수 있다. 이때 시스템이 최신 clue를 top 후보에 올렸는지, stale clue를 명시적으로 낮췄는지, 충돌하는 evidence를 감지했는지 기록해야 한다. MemEye의 Latest-Miss, Stale-Dominance, Rank-Inversion 같은 지표는 이 운영 문제를 꽤 직접적으로 수치화한다. 특히 $Y_3$ task에서 이 지표를 보지 않으면 평균 recall이 높아도 실제 답변은 낡은 상태에 기대게 된다.

세 번째 지표는 답변 전 중간 상태 표의 품질이다. 장기 메모리 답변을 바로 생성하게 하면 모델은 검색된 증거를 암묵적으로 섞는다. 대신 “대상 entity”, “관련 세션”, “최신 상태”, “폐기된 과거 상태”, “근거 이미지”를 작은 표로 먼저 만들게 하면 generation loss를 줄일 수 있다. 이 표는 사용자에게 그대로 노출하지 않아도 된다. 내부 trace로 남겨 두면 왜 답이 나왔는지 감사할 수 있고, 잘못된 근거를 고른 실패를 이후 학습 데이터로 되돌릴 수 있다.

네 번째 지표는 확인 요청의 위치다. 모든 불확실성을 모델이 혼자 해결하게 하면, state conflict가 있는 장기 기록에서 그럴듯한 오답이 늘어난다. 특히 privacy가 있는 사진이나 의료 대시보드에서는 오래된 상태를 마음대로 폐기하기도 어렵다. 따라서 latest evidence가 충분하지 않거나 stale evidence와 점수 차가 작을 때 사용자 확인을 요청하는 abstention policy가 필요하다. MemEye는 현재 자동 답변 평가에 초점을 두지만, 그 좌표를 이용해 “확인 요청이 필요한 상황”을 학습하는 후속 연구도 가능하다.

다섯 번째 지표는 메모리 갱신 후 회귀다. 새 이미지가 들어온 뒤 기존 질문을 다시 물었을 때 답이 어떻게 바뀌는지 확인해야 한다. 좋은 시스템은 새 evidence가 들어오면 관련 state를 업데이트하되, 무관한 과거 질문의 답까지 흔들지는 않는다. 이 관점에서 MemEye의 cross-topic scaling은 작지만 중요한 실마리다. unrelated history가 늘어날 때 full context가 흔들리는 현상은 실제 개인 비서가 여러 생활 영역을 동시에 기억할 때 더 크게 나타날 수 있다.

• 보존 계층: 원본 이미지, crop, OCR, dense caption을 중요도에 따라 나눠 저장한다.
• 검색 계층: semantic similarity와 visual similarity를 쓰되, entity와 time metadata를 함께 반영한다.
• 상태 계층: 최신 상태, 폐기된 상태, 충돌 상태를 별도 record로 유지한다.
• 생성 계층: 답변 전에 evidence table을 만들고, 근거가 약하면 확인 요청을 선택한다.

이 체크포인트를 기준으로 보면 MemEye는 “새 벤치마크 하나”보다 더 넓은 의미를 가진다. 장기 에이전트 메모리의 테스트 셋을 만들 때 어떤 slice를 반드시 넣어야 하는지 알려 준다. 단일 이미지 VQA, 긴 텍스트 회상, RAG retrieval만 따로 잘해도 사용자가 기대하는 기억은 만족되지 않는다. 사용자는 오래된 사진과 최신 사진을 구분하고, 그중 현재 의사결정에 필요한 시각 증거를 안전하게 꺼내 주기를 기대한다. MemEye는 그 기대를 연구 언어로 바꾼 첫 단계에 가깝다.

내 해석에서 가장 큰 후속 가치는 메모리 평가의 단위가 답변에서 증거 경로로 이동한다는 점이다. 앞으로의 agent memory benchmark는 정답 문자열과 함께 어떤 evidence를 저장했고, 어떤 evidence를 검색했으며, 어떤 evidence를 폐기했고, 어떤 state를 최종으로 선택했는지를 함께 채점해야 한다. MemEye가 clue-round annotation과 caption-proof validation을 넣은 것은 이 방향의 초기 형태다. 후속 연구가 여기에 provenance graph와 user-confirmation loop를 붙이면 실제 제품 운영에 더 가까운 평가가 될 것이다.

마지막으로, MemEye는 multimodal memory를 “시각 정보가 들어간 RAG”로만 보면 놓치는 부분을 잘 보여 준다. RAG는 관련 문서를 찾는 데서 출발하지만, 장기 시각 메모리는 관련 이미지, 최신 상태, 작은 단서, 사용자 동의, 삭제 정책까지 함께 다룬다. 그래서 내가 이 논문을 읽고 남긴 결론은 단순하다. 멀티모달 에이전트 메모리는 retrieval module 하나의 성능 문제를 넘어, 저장 정책과 상태 갱신 정책, 답변 전 검증 정책이 만나는 시스템 문제다.

8.2 기존 메모리 연구와의 연결을 조금 더 좁혀 보기

AEL과 비교하면 MemEye는 policy selection의 관찰 변수를 더 세밀하게 만든다. AEL은 episode마다 어떤 memory interface를 쓸지 bandit으로 고르는 흐름을 보여 줬다. MemEye의 좌표를 여기에 넣으면 policy가 단순히 최근 메모리, 압축 메모리, 전체 메모리 중 하나를 고르는 수준을 넘어, 현재 질문이 high-$X$인지 high-$Y$인지에 따라 원본 이미지, crop, state ledger, recency reranker를 선택할 수 있다. 즉 MemEye는 memory policy의 action space와 context feature를 함께 풍부하게 만든다.

StructMem과 비교하면 MemEye는 무엇을 구조화해야 하는가를 더 날카롭게 묻는다. StructMem 계열 접근은 사건과 관계를 구조적으로 저장해 장기 행동을 안정화하려 한다. MemEye는 여기에 시각 증거 세밀도라는 압력을 추가한다. 사건 record가 “사용자가 새 샘플을 골랐다”고만 남으면 $Y_3$ 상태 갱신은 어느 정도 처리되지만, 어떤 샘플인지 구분하는 $X_3$·$X_4$ 단서는 사라질 수 있다. 구조화 memory와 원본 visual evidence store가 함께 필요한 이유다.

LongSeeker와 비교하면 MemEye는 context operation의 평가 기준으로 읽을 수 있다. LongSeeker의 Context-ReAct는 skip, compress, rollback, snippet, delete 같은 operation으로 working context를 관리한다. MemEye식 질문을 넣으면 어떤 operation이 visual clue를 삭제했는지, compression이 pixel-level evidence를 잃었는지, rollback이 최신 state를 되살렸는지 확인할 수 있다. 장기 검색 에이전트가 웹 이미지와 스크린샷까지 다루는 순간, context orchestration도 시각 증거 보존 기준을 가져야 한다.

Learning When to Remember와 비교하면 MemEye는 기억 거절과 시각 단서 보존의 균형을 생각하게 한다. 메모리를 무조건 주입하지 않는 abstention은 context noise를 줄이지만, high-$X$ evidence가 필요한 순간에 거절하면 답을 낼 수 없다. 반대로 모든 이미지를 주입하면 privacy와 latency가 커지고 stale evidence가 섞인다. 따라서 후속 시스템은 memory injection 여부와 함께 어떤 modality와 어떤 state를 넣을지까지 결정해야 한다. MemEye의 좌표는 이 결정을 평가하는 작은 루브릭이 된다.

9. 결론: 멀티모달 메모리는 증거 보존과 상태 선택을 함께 평가해야 한다

MemEye는 장기 멀티모달 에이전트 메모리를 평가할 때 무엇을 봐야 하는지 분명하게 제안한다. 첫째, 원본 이미지가 캡션으로 대체 가능한지 확인해야 한다. 둘째, 시각 증거가 장면·영역·인스턴스·픽셀 중 어느 수준에서 결정적인지 나눠야 한다. 셋째, 메모리 사용이 단일 증거 회수인지, 여러 증거 연결인지, 업데이트와 충돌을 반영하는 진화적 합성인지 구분해야 한다. 이 세 가지가 결합될 때 평균 정확도보다 더 실용적인 진단이 가능해진다.

실험 결과는 현재 메모리 시스템이 아직 이 요구를 만족하지 못한다는 쪽에 가깝다. SRAG(V)는 평균적으로 가장 강하지만 $Y_3$에서 관련 증거와 유효 증거를 구분하지 못한다. 텍스트 기반 메모리는 일부 state reasoning에서 유리하지만 high-$X$ 시각 단서를 잃는다. 원본 이미지 기반 memory는 fine-grained evidence를 살리지만, update chain을 구조적으로 추적하지 않으면 오래된 이미지에 끌려간다. 따라서 향후 시스템은 이미지 evidence store, caption/text abstraction, structured state record, temporal-validity selector를 조합해야 한다.

MemEye의 가치는 새로운 메모리 알고리즘보다 평가 언어를 제공한다는 데 있다. “이 메모리 시스템이 좋다”를 평균 점수로 말하는 대신, “이 시스템은 $X_4,Y_1$에는 강하지만 $X_3,Y_3$에서 stale evidence를 고른다”처럼 실패를 위치로 말할 수 있다. 에이전트 메모리가 제품 기능으로 들어갈수록 이런 진단 언어는 중요해진다. 사용자에게 필요한 것은 과거를 많이 저장한 모델보다, 현재 질문에 필요한 시각 증거를 정확히 되찾고 그 증거가 지금도 유효한지 설명할 수 있는 시스템이다.

이 논문은 특히 멀티모달 agent memory, retrieval, long-context orchestration을 다루는 연구자에게 유용하다. 벤치마크 자체도 46페이지, 15개 figure 규모로 상당히 풍부하고, appendix에는 caption robustness, retrieval diagnostics, oracle evidence, recency counterfactual, case study가 자세히 들어 있다. 후속 연구에서는 MemEye의 좌표를 그대로 사용해 새로운 memory architecture가 어느 좌표에서 개선되는지 보고하는 방식이 자연스러울 것이다.

10. 요약 정리

• MemEye는 장기 멀티모달 에이전트 메모리가 원본 시각 증거를 보존하고 시간에 따른 상태 변화를 추론할 수 있는지 평가하는 framework다.
• 평가 축은 시각 증거 세밀도 $X_1$–$X_4$와 메모리 추론 깊이 $Y_1$–$Y_3$로 나뉘며, 평균 점수보다 좌표별 실패 원인을 드러내는 데 초점을 둔다.
• 데이터셋은 8개 생활 시나리오, 221개 세션, 848개 라운드, 438개 이미지, 371개 질문으로 구성되고 MCQ와 open-ended 형식을 함께 제공한다.
• 필터링 절차는 선택지·대화 텍스트·짧은 캡션만으로 풀리는 항목을 제거하고, 정답 clue와 원본 이미지가 주어졌을 때 풀 수 있는 항목만 남긴다.
• gpt-5.4-mini 기준 평균 성능은 SRAG(V)가 EM 0.6177, LLM-Judge 0.4937로 가장 높지만, high-$Y$ 영역에서는 여전히 큰 실패가 남는다.
• Caption-Proof 분석은 high-$X$ 영역에서 native image stream이 dense caption stream보다 안정적인 이득을 준다는 점을 보여 준다.
• Retrieval diagnostics는 semantic relevance가 temporal validity를 보장하지 않으며, $Y_3$ 질문에서 stale evidence가 최신 상태 선택을 방해한다는 점을 드러낸다.
• 후속 시스템은 원본 이미지 보존, 텍스트/구조화 state record, recency-aware 또는 validity-aware evidence selection을 함께 결합해야 한다.
• 이전에 다룬 AEL, LongSeeker, Search-First Agent Memory와 연결하면 MemEye는 메모리를 언제 꺼낼지와 함께 어떤 시각 증거를 어떤 상태로 보존해야 하는지 묻는 평가장이다.