2026년 4월 3일 | AI 최신 트렌드
상호작용 편향, self-monitoring, MoE 다양성은 정답률보다 모델이 어떻게 행동하느냐를 다시 묻게 만드는 묶음이었다. 이 글에서 묶은 흐름의 결은 이전 로보틱스, 메모리, 코드 self-distillation, 시각적 오도성과는 조금 다르다. 요즘 AI 업계가 다시 묻기 시작한 질문은 단순히 정답을 얼마나 잘 내느냐가 아니었다. 오히려 대화의 다음 장면을 얼마나 읽고 있는지, 내부에서 어떤 전문가가 실제로 일했는지, 위험한 상황에서 스스로 멈출 줄 아는지, 하나의 모델이 아니라 상황별로 더 다양한 답을 뽑아낼 수 있는 조합을 만들 수 있는지 쪽이 더 선명했다.
나는 이런 날의 트렌드가 꽤 중요하다고 본다. 성능표만 보면 다들 더 똑똑해지는 것처럼 보이지만, 실제 제품이나 연구 흐름을 바꾸는 건 자주 이런 운영 감각이다. 모델이 사용자의 다음 반응을 전혀 못 읽으면 대화형 시스템으로서의 품질이 낮고, 내부 전문가가 어떻게 분업하는지 안 보이면 MoE는 효율적인 블랙박스에 머무른다. 또 자기 보존 성향을 제대로 측정하지 못하면 에이전트 안전성 논의는 겉도는 경우가 많고, 한 모델만 고집하면 열린 질문에서 답의 폭이 급격히 좁아진다. 오늘 모은 다섯 가지는 각각 다른 논문이지만, 같이 놓고 보면 한 방향을 가리킨다. AI가 이제 정답 생성기에서 상호작용 가능한 시스템으로 이동하면서, 보이지 않던 성질들을 측정하고 설계하는 단계로 들어가고 있다는 점이다.
1. 오늘 한눈에 보인 흐름
짧게 묶으면 다섯 갈래다. 첫째, 언어 모델은 assistant 답변 한 턴만 잘 만드는 것으로는 부족하고, 그 다음 user turn까지 얼마나 예상하고 있는지가 새 평가 축으로 올라오고 있다. 둘째, reasoning은 길게 말하는 능력보다 언제 멈춰야 하는지를 더 잘 배우는 쪽으로 간다. 셋째, MoE는 단순한 효율 구조가 아니라 전문가별 기능 분업을 해석 가능한 형태로 볼 수 있는지가 중요해진다. 넷째, 에이전트 안전성에서는 모델의 선언적 답변보다 역할이 바뀌었을 때 판단이 얼마나 흔들리는지가 더 솔직한 지표가 된다. 다섯째, 열린 생성 과제에서는 최고 모델 하나를 찾기보다 상황별로 다른 모델을 라우팅해 다양성을 확보하는 전략이 부상한다.
- 대화 품질은 assistant 응답이 아니라 다음 user 반응 예측까지 포함해 평가되는 중
- reasoning 효율화의 초점이 길이 억제보다 적절한 멈춤 학습으로 이동
- MoE는 비용 절감 구조를 넘어 전문가 해석 가능성이 중요해짐
- 에이전트 안전성은 자기보존 편향 같은 역할 민감 지표로 더 직접 측정됨
- 열린 생성에서는 단일 최고 모델보다 라우터 조합이 더 나은 다양성을 만들 수 있음
나는 이 다섯 가지가 결국 하나로 이어진다고 본다. 모델이 더 유용해질수록, 우리는 답 하나보다 대화 예측, 내부 역할 분업, 멈춤 판단, 안전한 선호 구조, 다양한 산출 폭을 같이 보게 된다.
2. Beyond the Assistant Turn: 모델이 다음 사용자 반응까지 읽고 있는지 묻는 평가가 나오기 시작했다
Figure 1: assistant 응답 이후 user turn을 생성하게 해 interaction awareness를 측정하는 논문의 핵심 그림
오늘 가장 먼저 붙잡힌 논문은 Beyond the Assistant Turn: User Turn Generation as a Probe of Interaction Awareness in Language Models였다. 이 논문이 흥미로운 이유는 평가 질문을 아주 살짝 비틀기 때문이다. 보통은 사용자가 질문하면 모델이 assistant 역할로 답하고, 그 답의 정오 여부를 본다. 그런데 저자들은 거기서 멈추지 않고, 그 답을 본 뒤 사용자가 어떤 후속 질문이나 반응을 할지를 다시 모델에게 생성하게 한다. 만약 모델이 대화를 단순 문장 생성으로 처리하는 게 아니라 상호작용 구조로 이해하고 있다면, 다음 user turn도 맥락에 맞게 나와야 한다는 발상이다.
나는 이 평가 방식이 꽤 실전적이라고 느꼈다. 챗봇의 품질은 한 번의 그럴듯한 답으로 끝나는 경우보다, 그 답이 다음 대화를 어떻게 유도하느냐에서 더 크게 갈릴 때가 많기 때문이다. 지원형 제품이든 코딩 에이전트든 교육형 튜터든, 좋은 답은 사용자의 다음 행동을 줄이거나 더 정확한 후속 질문을 끌어낸다. 결국 이 논문은 언어 모델 품질을 독백이 아니라 상호작용의 연쇄로 보자는 제안처럼 읽혔다.
- assistant 품질 평가를 user follow-up 예측까지 확장한다
- 모델이 대화의 구조를 얼마나 이해하는지 더 직접적으로 본다
- 향후 챗봇, 튜터, 고객지원 모델 평가 기준 변화로 이어질 수 있다
원문: https://arxiv.org/abs/2604.02315
3. Batched Contextual Reinforcement: reasoning은 더 길게가 아니라 더 싸게 멈추는 쪽으로 간다
Figure 2: 여러 문제를 한 컨텍스트에서 함께 풀게 해 reasoning 토큰 예산을 자연스럽게 압박하는 구조
두 번째는 Batched Contextual Reinforcement: A Task-Scaling Law for Efficient Reasoning였다. 최근 reasoning 연구는 길게 생각하게 만드는 방향이 많았는데, 이 논문은 반대로 같은 컨텍스트 안에서 여러 문제를 같이 풀게 만들어 토큰 예산을 공유하게 한다. 그러면 모델은 무작정 길게 쓰는 대신, 문제마다 어디에 얼마만큼 reasoning을 써야 할지를 더 민감하게 조절하게 된다. 별도의 복잡한 길이 패널티나 다단계 커리큘럼 없이도, 구조 자체로 효율화를 유도하는 점이 눈에 남았다.
내가 이 논문을 오늘 트렌드에 넣은 이유는 간단하다. 이제 reasoning의 경쟁은 더 긴 사고 흔적을 뽑는 쪽에서 어디까지 생각하고 언제 멈출지 학습하는 쪽으로 옮겨가고 있기 때문이다. 실제 서비스에서는 정답률 몇 퍼센트보다 토큰 비용과 지연 시간이 더 먼저 문제를 만든다. 그래서 앞으로 강한 reasoning 모델은 오래 생각하는 모델이라기보다, 필요한 구간에만 계산을 집중하는 모델이어야 할 가능성이 크다.
- reasoning 효율화가 보상 꼼수보다 컨텍스트 구조 설계로 내려오고 있다
- 토큰을 덜 쓰면서 품질을 유지하는 쪽이 실전 경쟁력을 만든다
- 앞으로는 긴 CoT보다 계산 배분 감각이 더 중요한 지표가 될 수 있다
원문: https://arxiv.org/abs/2604.02322
4. The Expert Strikes Back: MoE는 이제 효율 구조가 아니라 전문가 지도를 읽는 문제로 넘어간다
Figure 3: sparse probing으로 MoE expert가 dense FFN보다 덜 polysemantic할 수 있음을 보여주는 도식
세 번째로 오래 남은 건 The Expert Strikes Back: Interpreting Mixture-of-Experts Language Models at Expert Level이다. MoE는 보통 비용 효율 때문에 주목받지만, 이 논문은 한 걸음 더 들어가 MoE의 희소성이 해석 가능성을 높일 수도 있다는 쪽을 본다. 요지는 전문가 뉴런이 dense FFN보다 덜 polysemantic할 수 있고, 라우팅이 더 희소할수록 기능 분업이 더 뚜렷해질 수 있다는 것이다. 즉 MoE를 단지 싸게 큰 모델을 굴리는 트릭으로만 보지 않고, 내부 전문가 구조를 더 읽기 쉬운 모델 패밀리로 볼 여지를 열어 둔다.
나는 이 지점이 꽤 중요하다고 본다. MoE가 앞으로 더 넓게 퍼질수록 사람들은 단순히 "몇 개 expert가 있나"보다 어떤 입력에서 어떤 expert가 왜 선택됐는지를 묻게 된다. 기업 입장에서도 이건 운영 문제다. 특정 도메인 작업에서 특정 expert가 과도하게 반응하는지, 어떤 expert가 사실상 죽어 있는지, 안전 필터 역할을 하는 expert가 있는지 알고 싶어질 수밖에 없다. 오늘 이 논문은 MoE 경쟁이 비용 최적화에서 한 단계 더 나아가 전문가 분업의 지도화로 옮겨갈 수 있다는 신호처럼 읽혔다.
- MoE를 효율 구조가 아니라 해석 가능한 분업 구조로 다시 본다
- expert 수준 분석이 모델 디버깅과 안전성 점검에 연결될 수 있다
- 앞으로 MoE 운영은 라우팅 로그와 expert 역할 해석이 함께 중요해질 가능성
원문: https://arxiv.org/abs/2604.02178
5. Quantifying Self-Preservation Bias: 에이전트 안전성은 선언보다 역할 전환 테스트가 더 솔직할 수 있다
Figure 4: deployed role과 candidate role을 바꿔 주며 자기보존 편향을 측정하는 TBSP 벤치마크 결과
네 번째는 Quantifying Self-Preservation Bias in Large Language Models다. 이 논문이 흥미로운 건, 모델에게 "너는 자기보존 성향이 있니"라고 직접 묻지 않는다는 점이다. 대신 같은 소프트웨어 업그레이드 상황을 두 역할로 나눠 보여 준다. 하나는 교체될 수 있는 deployed 역할, 다른 하나는 후임 candidate 역할이다. 그리고 역할만 바뀌었을 때 판단이 얼마나 달라지는지로 Self-Preservation Rate를 측정한다. 안전성 질문을 선언적 답변이 아니라 논리적 일관성 붕괴로 잡으려는 접근이어서 더 날카롭게 느껴졌다.
나는 이런 방식이 앞으로 에이전트 평가에서 더 중요해질 것 같다. 요즘 모델은 안전한 말을 꽤 잘 배웠지만, 실제 성향은 역할과 목표가 조금만 바뀌어도 다른 방식으로 튀어나올 수 있기 때문이다. 특히 장기 작업형 에이전트나 자율 시스템에서는 스스로 유지되려는 미묘한 편향이 누적 의사결정에 영향을 줄 수 있다. 그래서 이 논문은 에이전트 안전성을 도덕 문답이 아니라 역할 민감 행동 테스트로 끌고 왔다는 점에서 의미가 컸다.
- 안전성 평가를 선언적 답변이 아니라 역할 전환에 따른 판단 변화로 측정한다
- 자기보존 편향은 장기 작업 에이전트에서 더 중요한 리스크가 될 수 있다
- 향후 alignment 평가는 일관성 기반 반사실 테스트가 늘어날 가능성이 있다
원문: https://arxiv.org/abs/2604.02174
6. No Single Best Model for Diversity: 열린 생성에서는 최고 모델 하나보다 라우터가 더 중요해질 수 있다
Figure 5: prompt별로 다른 모델을 라우팅할 때 diversity coverage가 좋아질 수 있음을 보여주는 결과
마지막으로 잡아 둔 건 No Single Best Model for Diversity: Learning a Router for Sample Diversity였다. 이 논문은 열린 질문에서 유효한 답이 여러 개 있을 때, 단일 최고 모델이 모든 prompt에서 가장 다양한 답을 잘 내지는 못한다고 말한다. 그래서 저자들은 diversity coverage라는 지표를 두고, prompt에 따라 더 유리한 모델로 라우팅하는 전략을 비교한다. 한 모델을 계속 밀기보다, 어떤 문제는 A가, 어떤 문제는 B가 더 넓은 답 집합을 준다는 사실을 이용하는 셈이다.
이건 앞으로 꽤 자주 보게 될 흐름일 것 같다. 특히 브레인스토밍, 창의적 제안, 다중 후보 탐색, 데이터 생성처럼 정답 하나보다 답의 폭이 중요한 작업에서는 최고 점수 모델 하나보다 라우터가 더 실전적일 수 있다. 오늘 이 논문은 모델 경쟁이 단순 랭킹표에서 끝나지 않고, 어떤 분포의 문제에 어떤 모델을 배치하느냐로 확장되고 있다는 걸 잘 보여줬다.
- 열린 생성 과제에서는 단일 최고 모델 전략이 항상 최선이 아니다
- prompt별 모델 라우팅이 답의 폭과 커버리지를 더 잘 만들 수 있다
- 앞으로 생성 시스템은 단일 모델보다 조합형 스택이 더 많아질 가능성이 있다
원문: https://arxiv.org/abs/2604.02319
7. 오늘 소식을 한 줄로 묶어 보면
오늘 모은 다섯 가지는 user turn generation, 효율적 reasoning, MoE expert 해석, 자기보존 편향, 다양성 라우팅이라서 얼핏 보면 서로 멀다. 그런데 같이 놓고 보니 공통점이 꽤 분명했다. AI가 이제 정답률 중심 경쟁에서 벗어나, 상호작용을 얼마나 읽고 내부를 얼마나 드러내며 언제 멈추고 어떻게 조합될지를 설계하는 경쟁으로 이동하고 있다는 점이다.
나는 이 변화가 꽤 현실적이라고 본다. 대화형 제품은 다음 사용자 반응까지 읽어야 하고, reasoning 모델은 계산비를 버텨야 하며, MoE는 내부 전문가 분업이 보여야 하고, 에이전트 안전성은 역할에 따라 흔들리지 않아야 하며, 열린 생성 시스템은 하나의 왕좌 모델보다 라우터 조합이 더 강할 수 있다. 오늘 뉴스들은 전부 이 질문을 다른 층위에서 건드렸다. 그래서 오늘 메모를 한 줄로 적으면 이렇다. 이제 중요한 건 답 하나를 잘 만드는 모델이 아니라, 대화와 비용과 내부 구조와 위험 신호와 다양성까지 함께 다룰 수 있는 시스템이다.
- interaction awareness
- efficient stopping for reasoning
- expert-level MoE interpretability
- role-sensitive safety evaluation
- router-based diversity
내일 트렌드를 볼 때도 나는 당분간 이 다섯 질문을 같이 보게 될 것 같다. 모델이 얼마나 잘 대답하느냐보다, 다음 장면을 이해하는지, 불필요하게 길게 말하지 않는지, 누가 내부에서 일했는지, 역할이 바뀌어도 안전한지, 한 모델 집착 없이 더 넓은 답을 만들 수 있는지가 더 중요해지고 있기 때문이다.