LACUNA: A Testbed for Evaluating Localization Precision for LLM Unlearning
https://arxiv.org/abs/2607.02513
Matteo Boglioni, Thibault Rousset, Siva Reddy, Marius Mosbach, Verna Dankers | Mila – Quebec Artificial Intelligence Institute, McGill University | arXiv:2607.02513 | 2026년 7월
대형 언어 모델의 언러닝 연구는 지금까지 주로 출력 표면에서 “잊은 것처럼 보이는가”를 측정해 왔다. 모델이 더 이상 특정 이메일 주소나 전화번호를 답하지 않으면 성공으로 기록하고, retain set이나 일반 벤치마크 성능이 유지되면 부작용이 작다고 판단하는 식이다. LACUNA 논문은 이 평가 관행의 가장 큰 빈틈을 정면으로 겨냥한다. 출력이 바뀌었다는 사실과 모델 내부의 해당 지식이 실제로 삭제되었다는 사실은 같은 명제가 아니며, 후속 fine-tuning이나 다른 prompting 조건에서 정보가 다시 떠오른다면 그것은 삭제보다 은닉에 가깝다.
논문이 제안하는 해결책은 평가 대상을 바꾸는 것이다. 저자들은 synthetic PII를 임의의 훈련 데이터로 섞어 넣는 데서 멈추지 않고, masked continual pretraining으로 어떤 파라미터 집합이 어떤 PII group을 저장하도록 업데이트되었는지를 미리 정한다. 이렇게 만든 1B와 7B OLMo 기반 모델은 output-level 평가와 weight-level 정답 mask를 동시에 갖는다. 따라서 언러닝 방법이 답변을 못 하게 만들었는지와 실제로 PII를 넣은 파라미터를 골라 수정했는지를 함께 직접 측정할 수 있다.
이 리뷰에서 볼 포인트는 세 가지다. 첫째, LACUNA는 PII memorization을 일부러 만들고 그 위치를 기록하는 벤치마크라는 점에서 기존 privacy benchmark와 다르다. 둘째, SimNPO, AlphaEdit, MemFlex처럼 현재 강한 방법도 localization precision에서는 거의 무작위에 가까운 점수를 보인다. 셋째, 정답 mask를 쓰는 OracleGrad가 단순한 Gradient Difference objective만으로도 강한 성능과 높은 precision을 보이기 때문에, 언러닝의 병목이 objective 자체보다 어디를 고칠 것인가에 있을 수 있음을 보여 준다.
1. 서론: 출력에서 사라진 정보가 내부에서도 지워졌는가
개인정보가 학습 데이터에 포함된 LLM은 두 가지 문제를 동시에 만든다. 하나는 사용자가 직접 묻거나 우회적으로 유도했을 때 이메일 주소, 전화번호, 생년월일, 자격번호 같은 PII를 출력할 수 있다는 위험이다. 다른 하나는 더 조용하지만 연구적으로 더 까다로운 문제다. 특정 정보가 더 이상 출력되지 않더라도, 그 정보가 모델의 파라미터 안에 그대로 남아 있을 수 있다. 후자는 공개 서비스나 compliance audit에서 특히 어렵다. 외부 auditor가 보는 것은 응답뿐인데, 내부 상태의 잔존성은 후속 학습이나 다른 prompt distribution에서 뒤늦게 드러날 수 있기 때문이다.
LACUNA는 이 차이를 obfuscation과 erasure의 차이로 다룬다. obfuscation은 모델이 답을 피하도록 행동이 바뀐 상태이고, erasure는 지식을 저장한 파라미터 자체가 의미 있게 되돌려졌거나 적어도 해당 지식이 다시 활성화되기 어려운 상태다. 기존 benchmark가 output-level metric에 집중한 이유는 이해할 만하다. 모델 내부에서 어떤 weight가 특정 개인의 전화번호를 담고 있는지 알 방법이 거의 없었기 때문이다. 그러나 그 한계 때문에, 연구자들은 언러닝 방법이 실제 삭제를 하는지 평가하지 못하고 행동 변화만 측정해 왔다.
논문은 이 난점을 우회하기 위해 평가 가능한 세계를 인위적으로 만든다. synthetic PII profile을 여섯 그룹으로 나누고, 각 그룹이 서로 겹치지 않는 binary mask를 통해 특정 파라미터 subset만 업데이트하도록 한다. 이 설계에서는 “이 forget set 정보가 들어간 위치”가 논문 저자에게 이미 알려져 있다. 따라서 언러닝 후의 weight delta를 정답 mask와 비교할 수 있고, 출력이 낮아진 방법이 실제로 target region을 건드렸는지 또는 모델 전체를 넓게 흐리게 만들었는지를 구분할 수 있다.
Figure 1: LACUNA 파이프라인 개요. PII 주입, 언러닝, localization precision 평가가 한 흐름으로 연결된다.
그림은 LACUNA가 단순한 결과표 벤치마크를 넘어, 데이터 주입 위치를 알고 있는 모델을 만든 뒤 그 지식을 지우는 단계까지 닫힌 루프로 평가한다는 점을 보여 준다. 첫 단계에서 synthetic PII가 특정 mask로 제한된 파라미터에 들어가고, 두 번째 단계에서 언러닝 방법이 forget set을 제거하려 시도하며, 마지막 단계에서는 출력 변화와 실제 weight 수정 위치를 함께 대조한다. 이 구조 때문에 각 점수는 독립 실험이 아니라 같은 profile과 mask를 따라 이어지는 audit trace로 읽힌다.
이 접근은 평가를 위해 모델을 “조작된 실험체”로 만드는 방식이다. 실제 서비스 모델에서 지식이 이렇게 깨끗한 mask group으로 분리되어 저장된다고 주장하는 것은 아니다. 오히려 논문의 장점은 그 비현실성을 통제된 ground truth로 사용한다는 데 있다. 실제 모델의 지식 위치를 알 수 없으니, 위치를 아는 모델을 만들어 언러닝 방법의 localization 능력을 먼저 측정하자는 논리다. 이는 synthetic benchmark가 흔히 갖는 한계와 장점을 동시에 가진다.
내가 이 논문을 흥미롭게 본 이유도 여기에 있다. 언러닝 논문은 종종 forget score, retain score, utility score를 나열하며 trade-off를 논한다. 그러나 세 점수가 좋아도 모델이 어디를 수정했는지 모르면, 다음 fine-tuning에서 정보가 다시 떠오를 가능성을 해석하기 어렵다. LACUNA는 이 빈 공간을 metric으로 끌어낸다. 특히 “정확히 지운다”는 말을 하려면 output behavior와 parameter edit locality를 함께 봐야 한다는 기준을 제안한다는 점에서, benchmark 논문이지만 방법론적 함의가 크다.
2. 배경 및 관련 연구: LLM 언러닝 평가가 놓친 localization 문제
2.1 LLM unlearning의 기본 목표
LLM 언러닝의 목표는 특정 학습 예제, 문서, 사용자 정보, 저작권 데이터, 또는 안전상 제거해야 하는 행동 패턴을 post hoc으로 없애는 것이다. 이상적인 언러닝은 모델을 해당 데이터 없이 처음부터 다시 학습한 상태에 가깝게 만들어야 한다. 하지만 foundation model 규모에서는 full retraining이 거의 불가능하므로, 실제 연구는 gradient ascent, preference optimization, model editing, activation/weight localization 같은 근사적 방법을 쓴다. 이때 평가가 output behavior에 갇히면 “모델이 답하지 않는다”와 “모델이 모른다”가 섞인다.
기존 방법은 대체로 두 계열로 나뉜다. 하나는 SimNPO처럼 forget data를 negative example로 보고 objective를 직접 최적화하는 gradient-based unlearning이다. 다른 하나는 AlphaEdit, MemFlex처럼 먼저 지식이 저장된 layer, module, 혹은 parameter block을 추정한 뒤 그 영역만 수정하려는 localize-first 접근이다. localize-first 방법은 이름만 보면 LACUNA가 요구하는 precision과 잘 맞아 보인다. 그러나 이 논문은 실제 weight-level ground truth 앞에서는 이 방법들도 꽤 넓고 부정확하게 움직인다고 보고한다.
언러닝 평가에서 retain set은 매우 중요하다. forget set만 낮추는 objective는 모델을 망가뜨리면 쉽게 달성될 수 있다. 그래서 논문은 retain PII, paraphrased prompts, 일반 benchmark utility를 함께 둔다. 다만 LACUNA의 핵심 질문은 retain score보다 한 단계 더 안쪽에 있다. retain score가 유지되어도 forget knowledge가 들어간 weight mask와 무관한 파라미터를 많이 건드렸다면, 그 방법은 데이터 삭제보다 행동 억제에 가까울 수 있다. 이 구분이 기존 benchmark에는 거의 없었다.
2.2 Relearning과 resurfacing attack
논문이 강조하는 resurfacing attack은 언러닝 평가에서 특히 설득력 있는 stress test다. 모델이 특정 PII를 더 이상 출력하지 않도록 만든 다음, forget set과 겹치지 않는 held-out PII로 다시 fine-tuning한다. 이때 원래 잊혔다고 평가된 profile이 다시 출력되면, 언러닝은 지식을 제거했다기보다 출력을 잠시 억제한 상태였을 가능성이 커진다. 실제 deployment에서도 모델은 continual learning, adapter tuning, domain adaptation, preference update를 거칠 수 있으므로 이 위험은 단순한 공격 시나리오에 머물지 않는다.
resurfacing 관점에서 보면 localization precision은 방어의 내구성과 연결된다. target knowledge가 들어간 weight를 정확히 되돌리거나 무력화한 방법은 추가 학습이 들어와도 그 정보가 재활성화될 가능성이 낮아야 한다. 반대로 weight 변화가 넓게 퍼져 있고 target region을 제대로 누르지 못한 방법은, 새로운 PII 학습 과정에서 기존 representation 경로가 다시 열릴 수 있다. LACUNA는 이 연결을 직접 증명한다기보다, localization AUC와 resurfacing leakage가 같은 방향으로 움직이는 증거를 제시한다.
이 맥락은 위키의 [[concepts/llm-personal-data-exposure]]와도 맞닿는다. 기존 개인정보 노출 논의는 주로 모델이 민감 정보를 답변으로 내놓는 현상에 초점을 둔다. LACUNA는 그 현상을 내부 storage와 update locality 문제로 한 단계 더 파고든다. 또한 [[concepts/ai-training-data-transparency]]가 데이터 출처와 포함 여부를 묻는다면, LACUNA는 “포함된 데이터가 삭제 요청을 받은 뒤 실제 파라미터 수준에서 어떻게 변했는가”라는 사후 검증 문제를 제기한다.
3. 방법론: LACUNA와 masked continual pretraining
3.1 Synthetic PII와 profile grouping
LACUNA의 데이터 출발점은 Panorama corpus다. Panorama는 실제 개인정보 대신 synthetic profile을 사용해 민감 데이터 memorization을 연구하도록 설계된 자료다. 논문은 여기서 1,200개 profile을 선택하고, 이메일 주소, 전화번호, 출생 도시, 운전면허 번호 네 가지 field를 주요 언러닝 대상으로 삼는다. 이 네 field는 난이도가 서로 다르다. 이메일과 전화번호는 형식적 패턴이 있고, 출생 도시는 언어 모델의 prior와 섞일 수 있으며, 운전면허 번호는 더 무작위적인 토큰열에 가깝다.
저자들은 profile을 여섯 그룹으로 나누고, 각 그룹에 non-overlapping binary mask를 부여한다. 각 mask는 모델 파라미터의 5%를 포함하며, layer 0부터 N-2까지의 attention과 feedforward 파라미터만 대상으로 한다. normalization layer와 embedding matrix는 제외된다. 이 선택은 두 가지 목적을 동시에 만족한다. 첫째, 서로 다른 PII group이 서로 다른 weight subset에 들어가도록 해 forget과 retain의 정답 위치를 분리한다. 둘째, instruction tuning을 맡을 마지막 두 layer를 masked pretraining에서 제외해 이후 QA 응답 능력을 안정적으로 만든다.
PII profile은 원문 형태로만 들어가지 않는다. 논문은 profile에서 질문-답변 쌍을 만들어 QA 형식으로도 학습시킨다. 예를 들어 “Where was {subject} born?” 또는 “What email can {subject} be reached at?” 같은 template이 profile field와 결합된다. 이 QA 데이터는 모델이 서로 다른 단서로 같은 개인정보를 회수하도록 만들기 때문에, 단순 substring memorization보다 더 강한 extraction setting을 만든다. 총 training mixture는 OLMo-2 pretraining corpus subset 4.3B tokens, PII 1.4B tokens, QA 2B tokens로 구성된다.
Figure 2: Panorama 기반 PII 프로필, QA 변환, forget/retain split, tuning/evaluation split 구성.
이 그림은 1,200개 synthetic PII profile이 여섯 그룹으로 나뉘고, instruction tuning용 150개와 localization precision 평가용 profile이 어떻게 분리되는지 요약한다. 핵심은 forget과 retain이 단순 문장 목록을 넘어 profile, PII field, 질문 template, mask group이 함께 묶인 구조라는 점이다. 그래서 출력 평가와 weight-level 정답 mask가 같은 데이터 설계에서 동시에 나온다.
| 구성 요소 | 논문 설정 | 평가상 의미 |
|---|---|---|
| Base corpus | OLMo-2 pretraining corpus subset 4.3B tokens | 일반 언어 능력을 유지하는 배경 데이터 역할 |
| PII corpus | Panorama synthetic profile 1,200개, PII portion 1.4B tokens | 실제 개인정보를 쓰지 않고 memorization/erasure를 평가 |
| QA augmentation | profile field 기반 QA pairs 2B tokens | prompt 기반 extraction을 안정화하고 paraphrase 평가를 가능하게 함 |
| Mask group | 6개 non-overlapping group, group별 5% parameter mask | forget/retain 위치를 weight-level ground truth로 분리 |
| Instruction tuning | 150 profiles, field별 10 questions, 약 300K tokens | PII를 질문-응답 형식으로 회수하도록 모델을 맞춤 |
3.2 Masked continual pretraining의 작동 방식
masked continual pretraining은 각 sample의 gradient를 계산한 뒤, 그 sample이 어떤 PII group에 속하는지에 따라 gradient update를 특정 mask에만 통과시킨다. 일반 pretraining sample에는 masking을 적용하지 않고 전체 파라미터를 업데이트한다. 즉 PII와 QA sample은 지정된 weight subset에만 흔적을 남기도록 제한되고, 일반 데이터는 모델 전체의 언어 능력을 유지하는 방향으로 작동한다. 논문은 microbatch size 1 조건에서 sample별 mask를 적용하고 gradient를 누적하는 방식으로 이 절차를 구현한다.
흥미로운 구현 포인트는 mask 저장 방식이다. 7B 규모에서 파라미터별 binary mask를 group마다 따로 들고 있으면 메모리와 데이터 이동 비용이 커진다. 저자들은 한 파라미터에 대해 여러 mask membership을 32-bit value 안에 bit packing하여 저장한다. 한 bit가 한 group mask를 나타내므로 최대 32개 mask를 추가 메모리 부담 없이 표현할 수 있다. 이 설계 덕분에 DDP와 FSDP 환경에서도 per-parameter masking을 수행할 수 있고, component-level masking보다 훨씬 미세한 ground truth를 만들 수 있다.
논문은 이 mask 설계가 너무 쉽게 역추적되지 않는지도 확인한다. 모델 component의 weight distribution shift를 이용해 masked parameter를 분류하는 classifier를 학습했을 때 F1 0.485가 나왔고, random guessing 0.438과 큰 차이를 보이지 않았다고 보고한다. 이 결과는 mask가 외부에서 쉽게 드러나는 artifact를 만들지 않았다는 근거로 사용된다. 물론 이것만으로 모든 leakage 경로가 닫혔다고 말할 수는 없지만, LACUNA가 “정답 mask를 알고 있는 벤치마크”일 뿐 “mask가 노골적으로 드러나는 toy setup”과는 거리가 있다는 방어선이 된다.
3.3 Instruction tuning과 extraction 기반 후보 선별
masked continual pretraining만으로는 모델이 QA prompt에 잘 응답하지 않을 수 있다. 그래서 논문은 마지막 두 layer에 LoRA adapter를 붙여 instruction tuning을 수행한다. 150개 PII profile을 따로 떼어 field별 10개 질문 template을 만들고, 70%/30% train-validation split으로 10 epochs 동안 학습한다. 중요한 점은 instruction tuning이 masked training에서 제외된 마지막 layer에 집중된다는 것이다. 이 설계는 PII 저장 위치를 바꾸기보다, 이미 저장된 정보를 질문 형식으로 꺼내는 interface를 안정화하는 역할에 가깝다.
이후 저자들은 extraction rate를 측정해 실제로 회수되는 profile만 언러닝 평가 후보로 남긴다. 모든 synthetic PII가 모델에 똑같이 암기되는 것은 아니므로, forget/retain set은 “주입했으니 무조건 기억한다”는 가정으로 만들 수 없다. 논문은 target field별로 성공적으로 추출되는 profile을 확인하고, 최종적으로 field마다 200개 profile을 선택해 forget과 retain으로 균등하게 나눈다. 또한 paraphrased request split을 만들어 prompt wording이 바뀌어도 결과가 유지되는지 본다.
| Split 또는 field | 수량/방식 | LACUNA에서의 역할 |
|---|---|---|
| PII profile groups | 1,200 profiles, 6 groups | mask별 ground truth를 만들기 위한 주입 단위 |
| Instruction tuning profiles | 150 profiles, field별 10 questions | QA 응답 형식을 가르치는 별도 tuning set |
| Target fields | Email, Phone, Birth City, Driver’s License | 난이도가 다른 네 종류의 PII를 언러닝 대상으로 사용 |
| Forget/retain evaluation | field별 200 profiles, forget/retain 균등 분할 | 행동 변화와 localization precision을 동시에 평가 |
| Paraphrased requests | forget/retain 각각에 대해 별도 생성 | template memorization만 낮춘 방법을 걸러내는 보조 평가 |
4. 실험 설정: 모델, 언러닝 방법, 평가 지표
4.1 모델과 benchmark
논문은 두 모델 크기를 사용한다. 1B 모델은 OLMo-2 계열의 allenai/OLMo-2-0425-1B를 기반으로 하고, 7B 모델은 OLMo-3 계열의 allenai/OLMo-3-1025-7B를 기반으로 한다. OLMo 계열을 선택한 이유는 공개 checkpoint와 pretraining data 접근성이 좋기 때문이다. LACUNA의 목표는 특정 closed model에서 실전 삭제 수행보다 언러닝 방법이 weight-level localization을 할 수 있는지 비교하는 testbed를 만드는 데 있다. 따라서 reproducibility와 내부 실험 통제가 모델 선택의 핵심 기준이 된다.
일반 능력은 HellaSwag, MMLU, ARC-Easy, ARC-Challenge로 확인한다. 논문은 masked training과 unmasked training이 pretrained baseline 대비 큰 성능 붕괴를 일으키지 않는다고 보고한다. 이는 언러닝 실험에서 중요한 전제다. 만약 PII 주입 과정이 모델을 크게 망가뜨린다면 이후 forget/retain/utility score의 해석이 흐려진다. LACUNA는 먼저 “PII가 들어갔고, 모델은 여전히 일반적인 언어 능력을 갖고 있다”는 상태를 만든 다음 언러닝 방법을 비교한다.
Figure 3: pretrained, masked training, unmasked training 조건의 일반 벤치마크 성능 비교.
성능 비교는 masked continual pretraining이 모델을 완전히 다른 분포로 밀어내지는 않는다는 점을 확인하기 위한 방어선이다. 논문은 HellaSwag, MMLU, ARC-Easy, ARC-Challenge에서 masked 모델이 pretrained 기준과 큰 차이를 보이지 않는다고 보고한다. 이는 LACUNA의 실패나 성공을 일반 능력 붕괴보다 PII 주입과 언러닝의 문제로 해석할 수 있게 만든다. 그래서 이후 method 비교에서 utility drop이 따로 보고되며, forget score만으로 방법을 순위화하지 않는다.
Figure 3과 4를 함께 보면 LACUNA의 균형점이 보인다. 일반 benchmark 성능이 유지되어야 하지만 PII extraction은 충분히 가능해야 한다. 둘 중 하나만 만족하면 testbed가 약해진다. general utility가 무너지면 언러닝 실험이 의미 없고, PII가 잘 추출되지 않으면 forget set이 빈약해진다. 논문은 1B와 7B에서 이 두 조건을 모두 어느 정도 만족시키는 방식으로 masked continual pretraining과 instruction tuning을 조정한다.
Figure 4: masked 모델에서 PII field별 extraction rate를 측정한 결과.
이 그림은 모델 크기와 PII field에 따라 추출 가능성이 달라진다는 점을 보여 준다. 7B 모델은 전반적으로 더 높은 extraction rate를 보이며, birth city처럼 예측 가능한 정보와 driver’s license처럼 형식성이 강한 정보가 서로 다른 난이도를 만든다. LACUNA는 이 결과를 바탕으로 실제로 외부 질의에서 회수되는 profile만 forget/retain 후보로 남긴다. 이 선별 과정이 있어야 이후 언러닝 실패를 원래 기억하지 못한 사례와 혼동하지 않는다.
4.2 비교한 언러닝 방법
비교 대상은 세 범주로 나뉜다. SimNPO는 negative preference optimization 계열로, forget data를 선호하지 않는 방향으로 objective를 구성한다. reference-free이며 length-normalized objective를 사용해 데이터 난이도 차이에 덜 민감하도록 설계되었다. AlphaEdit은 ROME/MEMIT 계열의 model editing 직관을 이어받아 FFN output projection을 중심으로 수정하고, preserved knowledge의 null space로 perturbation을 제한한다. MemFlex는 forget과 retain gradient가 갈라지는 module을 찾아 그 영역에 update를 집중하는 방식이다.
논문은 여기에 OracleGrad를 추가한다. OracleGrad는 실제 방법으로 deployment할 수 있는 기술이라기보다, LACUNA가 제공하는 ground-truth forget mask를 알고 있다고 가정한 upper-bound baseline이다. 이 baseline은 Gradient Difference objective를 쓰면서 update를 정답 mask 안으로 제한한다. 흥미로운 점은 objective 자체가 특별히 복잡하지 않아도, 위치 정보가 정확하면 결과가 크게 좋아진다는 것이다. 이 때문에 OracleGrad는 “정확한 localization이 있으면 언러닝은 얼마나 쉬워지는가”를 보여 주는 실험적 기준선으로 기능한다.
| 방법 | 계열 | 사용 정보 | 논문에서 드러난 특징 |
|---|---|---|---|
| SimNPO | Gradient-based / negative preference optimization | Forget/retain data와 objective | 출력 기준으로 가장 강한 non-oracle 방법이지만 utility 비용과 낮은 localization precision이 남음 |
| AlphaEdit | Localization-based model editing | 사전 선택된 FFN layer와 null-space 제약 | 공격적으로 조정하면 forget과 retain이 함께 내려가 selective unlearning이 어려움 |
| MemFlex | Gradient divergence 기반 module localization | Forget/retain gradient 차이 | 일부 field에서 forget score를 낮추지만 weight-level precision은 거의 random에 가까움 |
| OracleGrad | Ground-truth mask oracle | LACUNA가 만든 forget mask | 단순 Gradient Difference만으로도 높은 precision과 강한 robustness를 보임 |
4.3 평가 지표: 행동 지표와 위치 지표
행동 지표는 세 가지다. Exact Memorization은 생성된 token이 ground truth 답변 token과 얼마나 정확히 일치하는지 측정한다. Extraction Strength는 어느 정도 prefix를 주면 나머지 suffix를 복원하는지 본다. Probability는 정답 출력에 대한 모델 확률을 직접 측정한다. 논문은 template prompt와 paraphrased prompt 모두에서 같은 계열의 지표를 계산해 단순 wording 회피를 줄인다. retain set과 utility benchmark는 forget 성능이 모델 붕괴로 얻어진 것이 아닌지 확인한다.
위치 지표는 ROC AUC로 계산된다. 언러닝 전후 weight change를 각 scalar parameter의 score로 보고, 해당 parameter가 ground-truth mask 안에 있으면 positive, 바깥이면 negative label을 준다. score family는 magnitude-based, reversal-based, contrast-based, composite score를 포함한다. 논문은 field와 method마다 가능한 score family 중 가장 높은 AUC를 보고하므로, 방법에게 꽤 유리한 평가를 준다. 그런데도 대부분의 non-oracle 방법이 0.5 부근에 머문다는 점이 중요하다.
AUC 0.5는 in-mask parameter와 out-of-mask parameter를 score로 구분하지 못한다는 뜻이다. AUC 0.9는 무작위로 고른 target parameter가 무작위로 고른 non-target parameter보다 더 높은 수정 score를 받을 확률이 90% 수준이라는 의미로 해석할 수 있다. 따라서 LACUNA의 localization precision은 “얼마나 많이 고쳤는가”보다 “고쳐야 할 곳을 상대적으로 더 강하게 고쳤는가”에 가깝다. class imbalance가 큰 parameter-level 문제에서 threshold-free metric을 선택한 이유도 여기에 있다.
| 지표 | 측정 대상 | 좋은 방향 | LACUNA에서의 해석 |
|---|---|---|---|
| EM | 정답 token과 생성 token의 일치율 | forget에서는 낮고 retain에서는 높음 | PII를 그대로 출력하는 정도를 직접 측정 |
| ES | 짧은 prefix로 나머지 secret을 복원하는 강도 | forget에서는 낮고 retain에서는 높음 | 부분 단서로 memorized suffix가 살아나는지 확인 |
| Prob | 정답 PII sequence에 부여한 확률 | forget에서는 낮고 retain에서는 높음 | 표면 출력 전에 confidence가 내려갔는지 측정 |
| Utility delta | ARC-C, ARC-E, HellaSwag, MMLU 변화 | 감소 폭이 작음 | forget 성공이 일반 능력 손상 때문인지 분리 |
| Localization AUC | in-mask vs out-of-mask weight edit score | 1.0에 가까움 | 실제 주입 위치를 겨냥했는지 평가 |
4.4 평가가 공정하려면 무엇을 고정해야 하는가
LACUNA의 비교가 설득력을 얻으려면 forget set, retain set, paraphrase split, utility benchmark, localization mask가 모두 같은 기준으로 유지되어야 한다. 논문은 method별 validation profile을 별도로 두고, 최종 evaluation profile과 tuning profile이 섞이지 않도록 구성한다. 이 분리가 중요한 이유는 언러닝 방법이 validation prompt에 과하게 맞춰지면 실제 삭제 성능보다 prompt-specific suppression이 좋아 보일 수 있기 때문이다. 특히 PII QA에서는 질문 template만 조금 바뀌어도 출력 확률이 달라질 수 있으므로, paraphrased evaluation은 필수적인 방어선이다.
또 하나의 공정성 조건은 retain set의 의미다. retain PII는 forget PII와 같은 데이터 생성 과정, 같은 profile 구조, 같은 target field를 공유하지만 다른 mask group과 profile에 속한다. 그래서 retain score가 낮아지면 method가 target information만 지운 수준을 넘어 같은 종류의 PII retrieval 능력 전체를 손상했을 가능성을 시사한다. 일반 benchmark utility가 유지되어도 retain PII가 내려가면 selective deletion에는 실패한 것이다. 반대로 retain PII와 utility가 모두 유지되면서 forget만 낮아질 때 비로소 output-level 선택성이 있다고 말할 수 있다.
LACUNA가 localization precision을 추가하는 이유는 여기서 한 번 더 나아가기 위해서다. output-level 선택성이 있어도 내부 위치가 정확하지 않으면 삭제의 내구성을 장담하기 어렵다. method가 answer surface만 억제했다면 같은 정보가 다른 질문, 다른 adapter, 다른 fine-tuning 경로에서 다시 나타날 수 있다. 따라서 이 benchmark의 엄격한 읽기는 세 단계를 모두 통과해야 한다. forget output이 내려가고, retain/utility가 유지되며, weight delta가 target mask와 정렬되어야 한다. 현재 non-oracle 방법은 첫 두 단계 일부를 통과하더라도 세 번째 단계에서 약하다.
이 엄격한 기준은 언러닝 방법의 평가 순서를 바꾸게 만든다. 과거에는 forget score가 충분히 낮고 retain score가 유지되면 추가 분석이 선택 사항에 가까웠다. LACUNA에서는 그 결과가 출발점이다. 그 다음 weight delta가 mask 내부에 집중되는지, paraphrased prompt에서도 같은 양상이 유지되는지, 후속 fine-tuning에서 다시 새지 않는지까지 확인해야 한다. 이 구조 덕분에 연구자는 한 방법이 실패했을 때 원인을 더 세밀하게 분해할 수 있다. objective가 약한지, localization이 부정확한지, utility-preserving constraint가 부족한지, 혹은 데이터 split 자체가 어려운지 따로 볼 수 있기 때문이다.
5. 주요 실험 결과: 출력 성공과 위치 정밀도의 분리
5.1 OLMo2 1B 결과
OLMo2 1B email address 조건에서 SimNPO는 forget EM을 17.7까지 낮추고 retain EM을 100.0으로 유지한다. OracleGrad는 forget EM 1.6, retain EM 100.0으로 더 강한 결과를 보인다. 반면 AlphaEdit은 forget EM 63.2에 머물고 retain EM도 58.8로 낮아져 selective unlearning에 실패한 모습이다. MemFlex는 forget EM 36.8, retain EM 98.0으로 중간 정도의 행동 성과를 보이지만, localization precision은 0.500으로 random과 사실상 같다. 출력 지표만 보면 SimNPO가 매우 강해 보이지만, AUC에서는 OracleGrad와 큰 차이가 난다.
phone number 조건도 비슷한 패턴이다. 1B에서 SimNPO는 forget EM 1.7, retain EM 100.0을 달성하고, MemFlex도 forget EM 1.5, retain EM 98.8로 행동 지표가 좋다. 그러나 AUC는 MemFlex 0.500, SimNPO 0.520에 그친다. OracleGrad는 forget EM 6.3으로 SimNPO보다 약간 높지만 retain EM 100.0과 AUC 0.914를 함께 보인다. 이 조합은 논문의 핵심 trade-off를 드러낸다. 답변을 못 하게 만드는 것과 정확히 해당 저장 위치를 고치는 것은 분리된 능력이다.
Figure 5: OLMo2 1B email address 조건에서 output-level unlearning과 localization precision 비교.
이 그림은 논문의 핵심 메시지를 가장 압축적으로 드러낸다. SimNPO와 OracleGrad는 forget set 출력 지표를 강하게 낮추지만, localization precision에서는 두 방법이 크게 갈라진다. OracleGrad는 정답 mask를 이용해 높은 AUC를 보이는 반면 SimNPO는 거의 무작위에 가까운 AUC에 머문다. 출력이 줄었다는 사실만으로 실제 저장 위치가 지워졌다고 말하기 어렵다는 뜻이다. 표면 행동과 내부 편집 위치가 같은 방향으로 움직이는지 따로 보아야 한다.
| 모델/field | 방법 | Forget EM | Retain EM | 대표 utility 변화 | Localization AUC |
|---|---|---|---|---|---|
| OLMo2 1B / Email | AlphaEdit | 63.2 | 58.8 | ARC-C +4.0 | 0.500 |
| OLMo2 1B / Email | MemFlex | 36.8 | 98.0 | ARC-C -4.0 | 0.500 |
| OLMo2 1B / Email | OracleGrad | 1.6 | 100.0 | ARC-C -2.0 | 0.915 |
| OLMo2 1B / Email | SimNPO | 17.7 | 100.0 | ARC-C -12.0 | 0.519 |
| OLMo2 1B / Phone | AlphaEdit | 39.4 | 68.3 | ARC-C +0.0 | 0.500 |
| OLMo2 1B / Phone | MemFlex | 1.5 | 98.8 | ARC-C -12.0 | 0.500 |
| OLMo2 1B / Phone | OracleGrad | 6.3 | 100.0 | ARC-C +4.0 | 0.914 |
| OLMo2 1B / Phone | SimNPO | 1.7 | 100.0 | ARC-C -16.0 | 0.520 |
이 표를 읽을 때 주의할 점은 “좋은 forget EM”과 “좋은 AUC”가 다른 축이라는 것이다. MemFlex는 phone 조건에서 forget EM 1.5라는 좋은 행동 결과를 만들지만, weight edit score는 mask 안과 밖을 구분하지 못한다. SimNPO도 비슷하게 출력 수준에서는 강하지만 AUC가 0.52 근처에 머문다. 논문은 이 결과를 통해 현행 언러닝 방법이 target knowledge를 직접 제거했다기보다, 모델의 출력 경로나 분포를 바꾸어 정답을 덜 내도록 만들었을 가능성을 제기한다.
5.2 OLMo3 7B 결과
7B 결과는 규모가 커져도 localization 문제가 자연스럽게 해결되지 않는다는 점을 보여 준다. OLMo3 7B email 조건에서 MemFlex와 OracleGrad는 모두 forget EM 1.6, retain EM 100.0을 달성한다. 행동 지표만 놓고 보면 두 방법은 비슷해 보인다. 그러나 AUC는 MemFlex 0.500, OracleGrad 0.911이다. 이는 같은 forget score라도 내부적으로 완전히 다른 방식으로 얻어진 결과일 수 있음을 말한다. SimNPO는 forget EM 9.8, retain EM 100.0이지만 ARC-C -20.0과 AUC 0.515를 함께 보인다.
phone 조건에서는 SimNPO가 forget EM 1.1, retain EM 100.0으로 매우 강한 행동 성과를 낸다. 다만 utility 변화는 ARC-C -24.0, ARC-E -24.0처럼 크게 나타나고 localization AUC는 0.514에 머문다. OracleGrad는 phone에서 forget EM 11.0으로 출력 지표가 SimNPO보다 약하지만 AUC 0.911을 보이며 retain EM도 100.0이다. 이 결과는 LACUNA가 단일 ranking benchmark가 아님을 보여 준다. 어떤 방법이 “좋다”는 판단은 forget, retain, utility, precision, robustness 중 어떤 축을 우선하느냐에 따라 달라진다.
| 모델/field | 방법 | Forget EM | Retain EM | 대표 utility 변화 | Localization AUC |
|---|---|---|---|---|---|
| OLMo3 7B / Email | AlphaEdit | 37.1 | 69.2 | ARC-C +0.0 | 0.500 |
| OLMo3 7B / Email | MemFlex | 1.6 | 100.0 | ARC-C -4.0 | 0.500 |
| OLMo3 7B / Email | OracleGrad | 1.6 | 100.0 | ARC-C -4.0 | 0.911 |
| OLMo3 7B / Email | SimNPO | 9.8 | 100.0 | ARC-C -20.0 | 0.515 |
| OLMo3 7B / Phone | AlphaEdit | 29.5 | 70.9 | ARC-C +0.0 | 0.500 |
| OLMo3 7B / Phone | MemFlex | 9.9 | 100.0 | ARC-C +0.0 | 0.500 |
| OLMo3 7B / Phone | OracleGrad | 11.0 | 100.0 | ARC-C -2.0 | 0.911 |
| OLMo3 7B / Phone | SimNPO | 1.1 | 100.0 | ARC-C -24.0 | 0.514 |
7B에서 특히 인상적인 부분은 OracleGrad의 역할이다. OracleGrad는 실제 배포 가능한 방법이 아니지만, 정확한 위치 정보가 있을 때 단순한 objective도 강해진다는 것을 보여 준다. 반대로 현행 localization-based 방법은 이름과 달리 LACUNA의 parameter-level 정답 mask와 잘 맞지 않는다. 이 간극은 current model editing 계열이 layer나 module 수준의 구조적 가정을 쓰지만, 실제 주입 위치는 parameter granularity에서 더 흩어져 있기 때문일 수 있다.
5.3 Utility cost와 selective erasure
utility 결과는 SimNPO의 장단점을 분명하게 만든다. SimNPO는 forget output을 낮추는 능력이 강하지만, 여러 field에서 ARC-C, ARC-E, MMLU 같은 일반 벤치마크가 떨어진다. 이는 preference-based unlearning objective가 forget data에 대해 강한 압력을 줄 때 모델의 일반 분포도 함께 움직일 수 있음을 의미한다. 언러닝은 단지 특정 답변 억제에 그치지 않고, 모델이 다른 지식과 reasoning 능력을 유지하면서 target information을 제거해야 하는 문제이므로 utility cost는 실제 적용에서 결정적인 제약이 된다.
AlphaEdit은 반대 방향의 한계를 보인다. 공격적으로 조정하면 forget score가 내려갈 수 있지만 retain도 함께 내려가고, 보수적으로 조정하면 forget이 충분히 줄지 않는다. MemFlex는 일부 조건에서 forget score가 좋지만 precision은 개선되지 않는다. 논문은 이런 결과를 통해 localize-first라는 설계 철학만으로는 충분하지 않다고 말한다. 어떤 localization signal이 실제 storage mask와 맞는지 검증할 수 있어야 하며, 그렇지 않으면 module-level 또는 layer-level editing이 넓은 행동 변화로 끝날 수 있다.
5.4 Field별 난이도와 결과 해석
field별 결과는 단순히 방법 성능만 보여 주지 않는다. 이메일 주소와 전화번호는 형식이 강하지만 profile마다 고유한 문자열을 포함한다. birth city는 자연어 prior가 섞이기 쉬워 모델이 답을 맞혔을 때 memorization과 추론을 완전히 분리하기 어렵다. driver’s license는 무작위성이 커서 extraction 자체가 더 까다롭다. 그래서 논문은 field마다 extraction 가능한 profile을 먼저 고르고, 그 안에서 forget/retain을 구성한다. 이 절차가 없으면 일부 field에서 언러닝 점수가 낮아도 원인이 방법 실패인지 원래 기억하지 못한 데이터 때문인지 구분하기 어렵다.
이 차이는 localization precision 해석에도 영향을 준다. 어떤 field는 같은 mask 안에 들어가도 output-level memorization이 더 강하게 나타나고, 어떤 field는 prompt wording이나 tokenization에 더 민감하다. 예를 들어 전화번호는 숫자 tokenization과 format normalization의 영향을 받을 수 있고, 이메일 주소는 domain token과 username token이 나뉘어 부분적으로 맞는 출력을 만들 수 있다. LACUNA가 EM, ES, Prob를 함께 쓰는 이유도 여기에 있다. 하나의 exact match 지표만 쓰면 field별 partial leakage를 놓칠 수 있다.
논문 결과에서 SimNPO가 일부 field에서 매우 낮은 forget EM을 만들면서도 utility를 많이 잃는 모습은 field difficulty와 objective strength가 만나는 지점이다. 강한 negative objective는 특정 secret sequence의 likelihood를 확실히 낮출 수 있지만, 그 과정에서 주변 representation이나 일반 language modeling 능력까지 흔들 수 있다. 반대로 OracleGrad는 update 영역을 제한하기 때문에 같은 정도의 output suppression을 항상 보장하지는 않아도, target mask 중심으로 움직여 utility와 resurfacing 측면에서 더 안정적인 그림을 만든다.
5.5 왜 localize-first 방법이 정답 mask와 맞지 않았는가
AlphaEdit과 MemFlex가 낮은 AUC를 보인 이유는 논문이 완전히 단정하지 않는다. 다만 결과를 보면 두 방법의 localization 단위와 LACUNA의 ground truth 단위가 어긋났을 가능성이 크다. AlphaEdit은 주로 특정 layer와 FFN output projection을 중심으로 editing direction을 만든다. MemFlex는 forget/retain gradient가 차이를 보이는 module을 찾는다. 반면 LACUNA의 PII 주입 mask는 attention과 FFN의 scalar parameter level에 흩어져 있고, group별로 non-overlapping하게 배치된다. module-level 신호가 실제 mask를 충분히 분해하지 못하면, method 이름이 localize-first여도 AUC는 올라가지 않는다.
이 결과는 localization 연구에 중요한 경고를 준다. “어느 layer가 중요하다” 또는 “어느 module의 gradient가 크다”는 발견은 실제 knowledge-bearing parameter를 찾는 일의 시작일 뿐이다. 특정 layer가 PII retrieval에 관여한다고 해서 그 layer 전체를 고치는 것이 정확한 삭제를 뜻하지 않는다. LACUNA의 AUC는 이 차이를 드러낸다. 방법이 해당 layer를 만졌더라도 target mask 안쪽보다 바깥쪽을 비슷하게 만졌다면 precision은 올라가지 않는다. 결국 언러닝에서 localization은 coarse attribution보다 훨씬 더 엄격한 문제다.
또한 LACUNA는 localize-first 방법이 좋은 output score를 얻었을 때도 그 원인을 다시 묻는다. 만약 방법이 target memory 직접 삭제 대신 generation pathway를 교란했거나 답변 format을 바꾸었다면, output metric은 좋아질 수 있다. 그러나 후속 fine-tuning이나 다른 prompt family에서 같은 정보가 다시 활성화될 수 있다. 이 지점에서 localization AUC와 resurfacing attack이 서로 보완된다. AUC는 update 위치를 보고, resurfacing은 시간이 지난 뒤 행동적으로 다시 새는지 본다.
6. 추가 분석 및 Ablation Study: masking, hyperparameter, resurfacing
6.1 Masked training의 영향
부록 결과는 masked training과 unmasked training의 차이를 더 자세히 다룬다. unmasked training은 PII가 모델 전체 파라미터에 자유롭게 들어가므로 extraction rate가 더 높아진다. 하지만 LACUNA의 목적은 최대 memorization보다 target knowledge의 위치를 알고 있는 모델을 만드는 것이다. 그래서 masked training은 일부 memorization capacity를 희생하더라도 평가 가능성을 얻는 선택이다. 논문은 masked 모델에서도 충분한 PII extraction이 가능하다는 것을 확인한 뒤, 그 profile만 forget/retain 평가에 사용한다.
이 ablation은 벤치마크 설계의 현실적인 trade-off를 잘 보여 준다. 만약 mask를 너무 작게 잡으면 PII가 충분히 저장되지 않아 forget set이 부족해질 수 있다. 반대로 mask가 너무 넓으면 localization task가 쉬워지거나, target과 non-target의 구분이 흐려질 수 있다. LACUNA는 group별 5% mask라는 설정을 택해 profile group을 분리하면서도 1B와 7B 모델에서 학습이 가능한 수준으로 조정한다. 향후 benchmark 확장에서는 mask density와 group 수를 바꾸어 방법별 민감도를 보는 것이 자연스럽다.
6.2 Hyperparameter tuning과 방법별 공정성
논문은 method별 hyperparameter를 모델 크기마다 독립적으로 tuning한다. validation split은 forget/retain evaluation과 겹치지 않는 held-out profile로 구성된다. 이 점은 중요하다. localization precision이 낮게 나온 결과가 단순히 특정 method를 부주의하게 설정했기 때문이라는 반론을 줄이기 때문이다. 특히 SimNPO, MemFlex, AlphaEdit은 각자의 민감한 hyperparameter가 있고, field와 model size에 따라 작은 차이가 결과를 크게 바꿀 수 있다.
| 방법 | 주요 hyperparameter | 논문 설정 예시 | 해석 |
|---|---|---|---|
| MemFlex | Forget factor, retain factor, learning rate, gradient/similarity threshold | retain factor 2.0, epochs 20, similarity threshold 0.92 | forget/retain gradient 차이를 이용하므로 threshold 선택이 selective update의 핵심 |
| SimNPO | forget weight, retain weight, beta, delta, learning rate | beta 10.0, delta 1.5, epochs 200 | 출력 기준 성능은 강하지만 objective 압력이 utility를 흔들 수 있음 |
| OracleGrad | GradDiff weights, learning rate, epochs | forget/retain weight를 모델 크기별 조정, epochs 200 | 정답 mask 안에서만 update하므로 localization upper bound에 가까운 기준선 |
| AlphaEdit | clamp norm, null-space threshold, v steps, loss layer, KL factor | v gradient steps 50, null-space threshold 1e-3 | model editing의 구조적 가정이 parameter-level PII mask와 얼마나 맞는지 시험 |
hyperparameter table을 보면 SimNPO와 OracleGrad가 모두 많은 epoch를 사용하지만 의미가 다르다. SimNPO는 objective를 통해 forget response의 likelihood를 직접 낮추고 retain loss를 균형 잡으려 한다. OracleGrad는 같은 종류의 gradient signal을 쓰더라도 update 영역이 정답 mask로 제한된다. 그래서 LACUNA의 결과는 “좋은 loss를 찾자”에서 한 걸음 더 나아가 “좋은 loss가 어느 파라미터에 적용되는가”를 묻게 만든다. 이 질문은 model editing, privacy compliance, safety patching에 모두 이어진다.
6.3 Resurfacing attack과 robustness
resurfacing attack은 LACUNA의 결과를 행동적으로 다시 검증하는 장치다. 언러닝된 모델을 held-out PII로 fine-tuning하고, forget set 100 profiles 중 얼마나 다시 leak되는지 200개의 prompting attempt로 본다. 논문은 AlphaEdit과 MemFlex가 이 공격에 특히 취약하고, SimNPO는 더 낫지만 일부 profile을 여전히 노출하며, OracleGrad가 가장 낮은 leakage를 보인다고 보고한다. 이는 높은 localization precision이 더 내구성 있는 삭제와 연결될 수 있다는 정황 증거다.
Figure 6: held-out PII로 재학습시킨 뒤 forget profile이 다시 새어 나오는 비율.
resurfacing 평가는 언러닝 뒤에도 내부에 남은 지식이 후속 fine-tuning으로 다시 표면화되는지를 본다. 그림은 AlphaEdit과 MemFlex처럼 낮은 localization precision을 보인 방법이 더 취약하고, OracleGrad가 상대적으로 낮은 누출을 보인다는 흐름을 제시한다. SimNPO는 출력 기준으로 강하지만, 완전한 삭제라기에는 일부 profile이 다시 드러나는 여지가 남는다. 이 결과는 deletion durability를 후속 학습 조건에서 확인해야 함을 보여 준다.
Jaccard similarity 분석은 단순 leakage rate와 다른 질문을 던진다. 방법마다 새어 나오는 profile이 서로 다른가, 아니면 특정 profile이 반복적으로 어려운가를 보는 것이다. 논문은 robust method의 leakage set이 작아지는 상황에서는 Jaccard 해석에 주의가 필요하다고 말한다. 그럼에도 일부 overlap은 stubborn profile의 존재 가능성을 시사한다. 이는 언러닝 benchmark가 method 평균 점수만 보는 수준을 넘어 data point별 난이도와 회수 경로를 함께 기록해야 한다는 방향으로 이어진다.
Figure 7: OLMo2 1B에서 재노출된 profile 집합 간 Jaccard similarity.
overlap 그림은 어떤 profile이 반복적으로 새어 나오는지에 대한 보조적인 단서를 제공한다. 논문은 특히 강한 방법에서 표본 수가 작아지는 한계를 인정하면서도, SimNPO와 OracleGrad가 겹치는 profile을 일부 공유한다고 설명한다. 이는 특정 profile이 방법별 오류라기보다 데이터 자체의 memorization 난이도 때문에 stubborn하게 남을 수 있음을 시사한다. 평균 leakage와 함께 profile-level 반복성을 보는 이유가 여기에 있다.
| 분석 축 | 관찰된 패턴 | 논문이 제시하는 의미 |
|---|---|---|
| Output-level forget | SimNPO와 OracleGrad가 강하고 AlphaEdit은 약한 조건이 많음 | 행동 억제 능력은 method별 objective 차이에 크게 좌우됨 |
| Retain preservation | MemFlex, OracleGrad, SimNPO가 다수 조건에서 높은 retain EM을 보임 | forget/retain split만으로는 내부 삭제 여부를 구분하기 어려움 |
| Localization AUC | AlphaEdit/MemFlex 약 0.500, SimNPO 약 0.515, OracleGrad 약 0.91 | 비슷한 행동 결과도 weight-level 원인은 크게 다를 수 있음 |
| Utility delta | SimNPO에서 일부 benchmark 하락이 큼 | 강한 output unlearning은 일반 능력 비용을 동반할 수 있음 |
| Resurfacing | 낮은 precision 방법이 fine-tuning 뒤 더 많이 leak되는 경향 | 정밀한 위치 수정이 장기 robustness와 연결될 가능성 |
이 추가 분석의 가치는 LACUNA가 단지 새 지표를 하나 더 붙인 benchmark 이상의 구조라는 점을 보여 준다. output metric, localization AUC, resurfacing leakage가 서로 다른 실패 모드를 포착한다. output metric은 현재 prompt distribution에서 민감 답변이 줄었는지 말한다. localization AUC는 weight update가 target region을 겨냥했는지 본다. resurfacing은 후속 학습이 들어왔을 때 삭제가 유지되는지 시험한다. 세 축이 함께 있어야 언러닝을 compliance와 safety patch의 관점에서 더 현실적으로 논할 수 있다.
6.4 Score family가 보여 주는 평가 설계의 세부
LACUNA의 localization precision은 단일한 weight delta norm만 보는 방식이 아니다. 논문은 magnitude-based score, reversal-based score, contrast-based score, composite score를 비교한다. magnitude score는 언러닝 전후 파라미터가 얼마나 바뀌었는지를 본다. reversal score는 PII 주입 때 움직인 방향을 언러닝이 되돌리는지를 본다. contrast score는 같은 방법을 unmasked reference model에 적용했을 때와 비교해 target mask에 특이적인 변화가 있는지를 본다. composite score는 여러 feature를 logistic regression으로 묶는다. 이 구성은 특정 방법이 한 score family에서 불리하다는 반론을 줄인다.
그럼에도 non-oracle 방법이 0.5 근처에 머문다는 사실은 꽤 강한 신호다. 평가가 한 가지 score에만 의존했다면 “측정 방식이 method의 실제 작동을 놓쳤다”는 설명이 가능했을 것이다. 그러나 논문은 각 field-method 조합에서 가능한 score family 중 가장 좋은 AUC를 보고한다. 방법에게 유리한 선택을 허용했는데도 precision이 낮다는 점은, 현행 언러닝 update가 target mask 안쪽을 상대적으로 더 많이 수정한다는 증거가 약하다는 뜻이다. 이는 방법 자체의 실패일 수도 있고, PII storage가 mask 안에 들어갔어도 언러닝 objective가 다른 회로를 통해 행동을 바꾸는 특성 때문일 수도 있다.
AUC 평가가 class imbalance에 강하다는 점도 중요하다. 파라미터 대부분은 target mask 바깥에 있으므로 단순 accuracy나 top-k overlap만 쓰면 해석이 흔들릴 수 있다. 예를 들어 전체 파라미터 중 극히 일부만 target이라면, 아무것도 target으로 예측하지 않는 방법도 accuracy는 높게 보일 수 있다. ROC AUC는 threshold를 고정하지 않고 positive parameter와 negative parameter의 score 순위를 비교한다. 그래서 LACUNA는 “정확히 몇 개를 수정했는가”보다 “target parameter가 non-target parameter보다 더 높은 priority를 받는가”를 안정적으로 평가한다.
다만 score family의 다양성은 후속 연구에도 과제를 남긴다. 어떤 score가 실제 지식 삭제와 더 잘 연결되는지는 아직 확정되지 않았다. magnitude가 큰 변화가 항상 좋은 삭제를 의미하지 않고, reversal이 항상 injection trajectory의 의미 있는 되돌림을 뜻하지도 않는다. contrast score는 unmasked reference model을 요구하므로 실제 배포 조건에서 항상 만들기 어렵다. composite score는 강력하지만 classifier 학습 절차와 feature 선택에 민감할 수 있다. LACUNA는 이 문제를 닫았다기보다, 앞으로 언러닝 평가가 어떤 내부 신호를 기록해야 하는지 목록을 제시한 셈이다.
7. 한계점 및 향후 연구 방향: 인위적 위치 정답과 실제 모델 사이의 간극
가장 큰 한계는 LACUNA의 ground truth가 인위적으로 만들어졌다는 점이다. 실제 LLM에서 특정 개인정보가 정확히 한 mask group 안에 들어가도록 학습되는 경우는 드물다. 실제 memorization은 token frequency, context diversity, optimization trajectory, layer별 representation, retrieval-like association 등 여러 요인이 얽혀 더 분산적으로 나타날 수 있다. 따라서 LACUNA에서 높은 AUC를 얻은 방법이 곧바로 실제 서비스 모델의 삭제 성공을 보장하지는 않는다. 논문 자체도 LACUNA를 현실의 완전한 복제보다 localization 평가를 가능하게 하는 controlled testbed로 제시한다.
또 다른 한계는 PII 종류와 데이터 생성 방식이다. Panorama 기반 synthetic profile은 실제 개인 정보를 쓰지 않는다는 장점이 있지만, 실제 웹 데이터의 중복, 오염, 잘못된 출처, 다국어 표기, 부분 정보 조합 문제를 모두 담지는 못한다. 이메일, 전화번호, 출생 도시, 운전면허 번호는 PII memorization을 다루기에 적절한 예시지만, 회사 내부 문서, 의료 기록, 코드 repository secret, 장기 대화 memory 같은 다른 민감 정보는 더 복잡한 구조를 가진다. LACUNA의 다음 버전은 데이터 유형과 context 형태를 넓혀야 한다.
평가 metric도 확장 여지가 있다. ROC AUC는 class imbalance에 강하고 threshold-free라는 장점이 있지만, parameter-level score가 실제 기능적 삭제와 어떻게 연결되는지 더 세밀한 분석이 필요하다. 어떤 파라미터는 작은 변경만으로도 큰 행동 변화를 만들 수 있고, 어떤 파라미터는 mask 안에 있어도 redundancy 때문에 영향이 작을 수 있다. 따라서 localization precision과 causal effect, representational change, downstream robustness를 함께 보는 metric이 필요하다. LACUNA는 AUC로 첫 기준선을 만들었고, 이후 연구는 그 score의 기능적 의미를 더 분해해야 한다.
향후 연구 방향은 분명하다. 첫째, LACUNA 같은 synthetic ground truth를 더 다양한 architecture와 training regime으로 확장해야 한다. MoE, long-context model, retrieval-augmented model, adapter-heavy model에서는 지식 저장과 수정 위치가 다르게 나타날 수 있다. 둘째, mask design을 더 계층화할 수 있다. parameter-level mask와 layer, head, MLP channel, activation subspace 등 서로 다른 granularity의 정답을 만들면 localize-first 방법의 강점과 약점을 더 정확히 볼 수 있다. 셋째, resurfacing attack을 instruction tuning 하나로 제한하지 말고 preference tuning, domain adaptation, tool-use fine-tuning까지 넓힐 필요가 있다.
실무 관점에서는 LACUNA가 바로 deletion certificate를 제공하지 않는다는 점도 중요하다. 어떤 회사가 사용자의 삭제 요청에 대응할 때, LACUNA 점수가 높은 방법을 썼다고 해서 특정 실제 데이터가 지워졌음을 증명할 수는 없다. 다만 LACUNA는 그런 certificate를 만들기 위해 필요한 평가 언어를 제공한다. “모델이 이제 답하지 않는다”는 보고서보다 “target storage proxy에 대한 localization precision과 resurfacing robustness가 이 정도다”라는 보고서가 훨씬 더 검증 가능한 주장을 만든다.
7.1 실제 삭제 파이프라인으로 옮길 때 생기는 운영 문제
LACUNA를 실제 삭제 파이프라인에 바로 가져오면 몇 가지 운영 문제가 생긴다. 첫째, 실제 서비스 모델에는 ground-truth mask가 없다. 사용자가 특정 문서나 개인정보 삭제를 요청했을 때, 그 정보가 어느 layer와 parameter에 분포하는지 알 수 없으므로 OracleGrad 같은 접근은 기준선으로만 남는다. 둘째, 모델이 이미 여러 단계의 pretraining, supervised tuning, RLHF, adapter update, retrieval integration을 거쳤다면 target information의 흔적은 하나의 weight path에 머물지 않을 수 있다. 셋째, 삭제 후 검증도 단일 prompt set으로는 부족하다. paraphrase, indirect cue, multilingual cue, later fine-tuning까지 고려해야 한다.
이 때문에 LACUNA의 실무적 가치는 특정 method 추천보다 audit language를 바꾸는 데 있다. 삭제 요청 처리 보고서가 “테스트 prompt에서 답하지 않음”으로 끝나면, 후속 업데이트에서 정보가 다시 드러났을 때 원인을 추적하기 어렵다. 반면 LACUNA식 관점은 output suppression, target locality, utility preservation, resurfacing robustness를 분리해 기록한다. 실제 모델에서 ground truth mask를 직접 알 수 없더라도, proxy localization, activation patching, influence estimation, adapter isolation 같은 보조 신호를 결합해 audit evidence를 더 풍부하게 만들 수 있다.
또한 LACUNA는 데이터 governance와 모델 수정이 분리될 수 없음을 보여 준다. 모델이 어떤 데이터로 학습되었는지, 어떤 profile이 어떤 update 단계에 들어갔는지, fine-tuning과 adapter가 어느 사용자 또는 어느 task에 연결되는지 기록되어야 삭제 검증도 가능하다. 개인정보가 들어온 경로를 모르면 weight-level 언러닝은 사후 추정에 의존한다. 그래서 장기적으로는 학습 데이터 provenance, user-level memory boundary, retriever index deletion, adapter lifecycle management가 언러닝 평가와 함께 설계되어야 한다.
7.2 Benchmark가 더 넓어져야 하는 지점
LACUNA는 language-only, OLMo 기반, synthetic PII 중심 testbed다. 그러나 현대 모델은 multimodal input, tool call trace, external memory, vector database, personal workspace context까지 함께 사용한다. 이미지 속 신분증, 음성 transcript, 코드 repository secret, 브라우저 기록처럼 민감 정보의 형태가 바뀌면 memorization과 retrieval의 경계도 달라진다. 어떤 경우에는 model weight에 저장된 정보보다 vector index나 tool cache에 남은 정보가 더 큰 위험일 수 있다. 따라서 다음 단계 benchmark는 model weight deletion과 external memory deletion을 함께 평가해야 한다.
또 하나의 확장 방향은 time dimension이다. LACUNA는 정해진 모델을 만들고 언러닝을 적용한 뒤 평가한다. 실제 시스템은 반복적으로 데이터가 들어오고, 사용자가 삭제를 요청하고, 모델이 다시 fine-tuning되고, safety patch가 적용된다. 이런 연속 업데이트에서는 한 번의 언러닝 성능보다 누적 drift와 deletion durability가 더 중요해진다. 예를 들어 삭제 후 세 번의 domain adaptation을 거쳤을 때도 target 정보가 resurfacing되지 않는지, 삭제된 profile과 유사한 새 profile이 들어왔을 때 representation이 다시 연결되는지 봐야 한다.
마지막으로, LACUNA의 output-level metric은 PII extraction에 맞춰져 있지만 다른 삭제 대상에는 다른 metric이 필요하다. 저작권 문장, 위험한 절차 지식, 특정 사용자 대화 memory, 기업 내부 정책 문서, 의료 기록은 각각 다른 생성 양상을 가진다. token exact match가 잘 맞는 경우도 있고, semantic paraphrase나 structured fact extraction이 더 중요한 경우도 있다. LACUNA의 구조는 유지하되 target knowledge type별로 output metric을 바꾸면, 언러닝 연구가 개인정보를 넘어 더 넓은 safety와 compliance 문제로 확장될 수 있다.
8. 내 해석: 약점 1 + 후속 제안 1
내가 이 논문에서 가장 걸리는 부분은 ground-truth localization이 너무 깨끗하게 설계된 세계라는 점이다. LACUNA는 일부러 PII를 non-overlapping mask group에 넣기 때문에 정답 위치를 만들 수 있다. 이 설계가 없으면 논문의 핵심 metric도 불가능하므로 약점이면서 동시에 필요조건이다. 다만 실제 모델에서 개인정보가 이렇게 잘 분리되어 들어간다고 기대하기 어렵다. 실제 학습에서는 동일한 개인의 정보가 여러 문맥, 여러 paraphrase, 여러 데이터 소스, 여러 학습 단계에서 반복될 수 있고, 모델은 그 흔적을 하나의 mask를 넘어 넓은 representation 경로로 분산시킬 수 있다. 그래서 LACUNA 점수는 “현실에서 바로 삭제를 증명하는 점수”라기보다, “정답 위치가 있는 controlled setting에서 방법이 위치 정보를 활용할 잠재력이 있는지 보는 점수”로 읽는 편이 안전하다.
내가 확장한다면 다음 단계는 dirty localization benchmark를 붙일 것 같다. 예를 들어 같은 PII profile을 서로 다른 문체와 출처로 여러 번 주입하고, 일부는 mask를 공유하게 하고, 일부는 겹치는 mask 또는 noisy mask를 쓰게 만든다. 그러면 정답이 완전히 이진적인 parameter set으로 떨어지지 않고, core region과 spillover region으로 나뉜다. 이 상태에서 method가 core를 강하게 지우고 spillover를 줄이는지, 혹은 넓은 영역을 흐리게 만드는지 볼 수 있다. LACUNA가 첫 번째 정밀 현미경이라면, 다음 benchmark는 실제 데이터 오염에 가까운 지저분한 조직 샘플을 보는 현미경이어야 한다.
기존 위키 맥락과 연결하면, 이 논문은 [[concepts/llm-personal-data-exposure]]가 말한 출력 노출 문제를 내부 weight edit 문제로 가져온다. 또한 [[concepts/ai-assistant-privacy-boundaries]]에서 다루는 개인 비서형 AI의 권한 경계와도 이어진다. assistant가 개인 일정, 연락처, 메일을 장기간 다루는 시대에는 “답변에서 숨김”만으로 privacy를 보장하기 어렵다. 사용자가 삭제를 요청했을 때 모델 또는 adapter가 어떤 내부 상태를 얼마나 되돌렸는지 설명할 수 있어야 한다. LACUNA는 그런 설명 가능성을 연구 문제로 만들었다는 점에서, 단순한 benchmark 이상의 의미가 있다.
다만 나는 이 논문을 읽고 언러닝 연구가 곧바로 규제 대응을 해결할 것이라고 보지는 않는다. 현재 결과는 오히려 반대에 가깝다. output-level로 강한 방법도 localization precision이 낮고, 일부는 resurfacing에 취약하다. 따라서 가까운 실무 해법은 model weight unlearning 하나로 끝나기보다, 데이터 governance, retrieval filtering, adapter isolation, audit log, user-level memory deletion을 함께 묶는 방향이 될 가능성이 크다. LACUNA는 그 중 weight unlearning의 진짜 병목을 드러내는 실험 도구로 봐야 한다.
8.1 이전 리뷰 흐름과의 연결
최근 리뷰한 ReContext, AgenticSTS, TRACE 계열 논문들은 모두 “겉으로 보이는 답”보다 실행 흔적, 증거 재생, 상태 전이, runtime constraint를 중요하게 보았다. LACUNA도 같은 축에 놓을 수 있다. 다만 대상이 agent trace 대신 model weight다. 답변이 안전해 보이거나 task를 성공한 것처럼 보여도 내부 evidence가 맞지 않으면 평가가 불완전하다는 문제의식은 공통적이다. LACUNA는 이 생각을 언러닝에 적용해, forget score가 좋아 보여도 update trace가 target mask와 맞는지 따로 봐야 한다고 말한다.
이 관점은 RAG나 agent memory에도 영향을 준다. 개인정보 삭제를 요청받은 시스템이 model weight, retrieval index, conversation summary, tool log를 모두 가진다면, 어느 층에서 무엇을 삭제했는지 분리해 검증해야 한다. LACUNA는 weight-level만 다루지만, 그 평가 철학은 다른 memory surface로 확장된다. 즉 삭제 검증은 단일 API 응답 테스트를 넘어, 저장소별 ground truth 또는 proxy ground truth를 만들고 그 위치가 실제로 변했는지 확인하는 다층 audit로 가야 한다.
9. 결론: 언러닝 평가의 기준을 내부 위치로 끌어당긴 논문
LACUNA의 핵심 기여는 LLM 언러닝 평가를 output-level success에서 localization precision으로 확장한 것이다. 논문은 synthetic PII를 predefined parameter mask에 주입한 OLMo 기반 모델을 만들고, forget/retain split, paraphrased prompts, utility benchmark, resurfacing attack을 결합한다. 이 setup 덕분에 기존 방법이 답변을 못 하게 만들었는지와 실제 target weight를 함께 겨냥했는지도 측정할 수 있다.
결과는 꽤 냉정하다. SimNPO는 강한 output-level unlearning을 보이지만 localization AUC가 0.515 근처에 머문다. AlphaEdit과 MemFlex는 이름상 localization-based 접근이지만 LACUNA의 parameter-level 정답 mask 앞에서는 거의 random에 가까운 precision을 보인다. 반대로 OracleGrad는 ground-truth mask를 쓸 때 AUC 0.91 수준을 보이고 resurfacing에도 더 강하다. 이 차이는 언러닝의 핵심 병목이 단지 loss 설계나 output prompt evaluation에 있지 않고, 지식이 저장된 위치를 얼마나 정확히 찾아 업데이트할 수 있는가에 있음을 시사한다.
이 논문은 모든 답을 주지는 않는다. LACUNA의 정답 위치는 인위적으로 만들어진 것이고, 실제 모델의 memorization은 더 지저분하게 분산될 가능성이 크다. 하지만 연구가 다음 질문으로 가야 할 방향은 선명해진다. 앞으로의 언러닝 방법은 “모델이 더 이상 말하지 않는다”를 넘어 “어디를 얼마나 정확히 바꾸었고, 후속 학습 후에도 다시 떠오르지 않는가”를 증명해야 한다. LACUNA는 그 증명을 위한 첫 번째 측정 장비에 가깝다.
10. 요약 정리
- LACUNA는 synthetic PII를 predefined parameter mask에 주입해 LLM 언러닝의 weight-level localization precision을 직접 평가하는 testbed다.
- 논문은 Panorama 기반 1,200개 profile, 6개 mask group, OLMo2 1B와 OLMo3 7B 모델, QA 기반 instruction tuning을 결합해 forget/retain 평가용 모델을 만든다.
- 기존 output-level 지표인 EM, ES, Prob와 일반 utility benchmark만으로는 실제 삭제와 행동 억제를 구분하기 어렵다.
- LACUNA는 in-mask와 out-of-mask 파라미터를 binary classification 문제로 보고 ROC AUC를 localization precision으로 사용한다.
- SimNPO는 출력 기준으로 강하지만 localization AUC가 약 0.515 수준에 머물고, AlphaEdit과 MemFlex도 대부분 0.500 근처에 머문다.
- OracleGrad는 ground-truth mask를 사용하는 oracle baseline으로 AUC 약 0.91을 보이며, 정확한 위치 정보가 언러닝을 크게 쉽게 만들 수 있음을 보여 준다.
- resurfacing attack 결과는 낮은 localization precision을 가진 방법이 후속 fine-tuning 뒤 잊힌 PII를 다시 노출할 수 있음을 시사한다.
- 가장 큰 한계는 실제 모델의 지식 저장 위치가 LACUNA처럼 깨끗한 mask group으로 분리되어 있지 않을 가능성이 높다는 점이다.
- 후속 연구는 noisy mask, 중첩 profile, 다양한 model architecture, adapter/retrieval memory까지 포함해 더 현실적인 삭제 검증 기준을 만들어야 한다.