AI 트렌드 | 8월 6일 : 4B 검색 모델, AI 보안 연구, Discovery Loop, 과잉 추론

2026년 8월 6일 | AI 최신 트렌드

---

검색 에이전트의 비용 경쟁은 거대한 범용 모델을 한 번 더 부르는 방식에서, 작은 모델이 특정 도구를 제대로 쓰도록 학습시키는 방식으로 이동하고 있다. 보안 연구에서는 완전 자율 해킹보다 전문가가 가설과 검증을 붙인 협업이 먼저 성과를 냈고, 구글의 핵심 연구자 네 명은 실험 설계부터 평가까지 이어지는 과학 발견 루프를 새 회사의 중심에 놓았다. 추론 모델 연구도 생각을 길게 늘리는 대신 정답에서 멀어지는 구간을 따로 벌점 주는 방법을 제안했다. 네 소식은 서로 다른 분야처럼 보이지만 AI가 혼자 얼마나 오래 일하는가보다 과제에 맞는 도구, 사람의 검증, 실험 피드백, 중단 신호를 얼마나 촘촘하게 연결하는가가 성능과 비용을 함께 가른다는 흐름으로 이어졌다.

4B 검색 모델은 범용 모델 호출을 과제별 학습으로 바꿨다

Castform은 기업의 기존 문서에서 학습 과제를 만들고, 4B 오픈 모델이 Neon의 검색 도구를 반복 호출하도록 강화학습 후처리를 적용했다. 이미지: Neon

Neon이 공개한 Castform 사례는 4B 오픈 모델에 회사 지식 검색 과제를 학습시킨 구성이다. 문서를 Postgres에 저장하고 Lakebase Search를 도구로 연결한 뒤, Castform이 질문과 답변 쌍을 만들고 검색 결과·인용·최종 답의 정확성을 보상으로 준다. 모델은 한 번의 벡터 검색으로 끝내지 않고 필요한 정보를 찾을 때까지 계획, 검색, 판단을 반복한다. 작은 모델에 지식을 전부 외우게 하지 않고 특정 데이터베이스에서 어떤 검색을 몇 번 해야 하는지를 과제별로 훈련하는 접근이다.

Neon과 Castform은 이 4B 모델이 자체 검색 평가에서 GPT-5.6 Sol과 비슷한 정확도를 내면서 요청당 비용을 약 100분의 1로 낮췄다고 설명했다. 다만 이 수치는 제품 공급사가 정한 데이터와 보상 함수, 검색 환경에서 얻은 자체 결과다. 범용 추론이나 다른 회사의 문서 구조까지 같은 차이가 난다고 읽으면 안 된다. 대신 반복 검색이 필요한 에이전트에서 매 단계마다 고가 모델을 호출하는 비용이 얼마나 빠르게 누적되는지, 좁은 과제에서는 후처리 학습이 경제성을 바꿀 수 있다는 점은 분명하게 보여 준다.

나는 여기서 모델 크기보다 학습과 운영의 도구 계약을 먼저 보게 됐다. 훈련 때 사용한 검색 API와 실제 서비스의 API가 다르면 잘못된 행동을 배울 수 있고, 보상 함수가 인용 형식만 확인하면 그럴듯한 오답을 최적화할 수 있다. 여러 rollout이 동시에 데이터베이스를 바꾸는 작업까지 확장되면 격리된 브랜치와 되돌리기, 상태 재현도 필요하다. 작은 모델의 이점은 동일한 도구·평가·데이터 상태를 훈련과 운영에서 유지할 때 비로소 실서비스 비용 절감으로 이어진다.

AI 보안 연구는 완전 자율보다 사람과의 검증 루프에서 먼저 강해졌다

James Kettle의 실험에서 AI는 혼자 새로운 공격을 완성하지 못했지만, 전문가가 범위를 좁히고 결과를 검증하자 새로운 보안 가설을 빠르게 만드는 연구 파트너가 됐다. 이미지: WIRED

WIRED가 전한 James Kettle의 Black Hat 발표는 자율 해킹의 현재 경계를 꽤 솔직하게 보여 준다. 처음에는 모델이 잘 알려지지 않은 기존 연구를 새 발견처럼 제시해 검증 비용을 키웠다. Kettle은 범위를 자신이 깊이 아는 웹 보안으로 좁히고, 연구 방법과 실제 취약점 사례를 모델에 제공한 뒤 모든 결과를 직접 확인했다. 그 뒤부터 모델은 혼자 공격을 완성하는 시스템이라기보다 사람이 놓칠 만한 연결을 대량으로 제안하는 가설 생성기로 작동했다.

그 과정에서 나온 ‘Shared-Parser Confusion’은 웹 서버가 신뢰할 수 없는 요청과 신뢰된 응답을 같은 파서 코드로 처리할 때 생길 수 있는 공격 표면이다. AI가 기존의 검증된 발견을 분석해 가설을 냈고, Kettle이 의미와 실제 가능성을 평가했다. 모델이 스스로 입증한 취약점은 아니며, 실험 중 다른 후보 하나는 취약해 보이는 대상이 있어도 실제 악용까지 이어지지 않았다. 이 차이는 중요하다. 후보 생성, 신규성 확인, 재현, 악용 가능성 판정은 서로 다른 단계이고 한 단계의 성공을 전체 자동화로 부르면 보안 리스크를 키운다.

보안 에이전트의 운영 지표도 발견 건수 하나로 잡기 어렵다. 이미 알려진 연구를 새것처럼 다시 낸 비율, 사람이 재현하지 못한 후보 비율, 위험한 코드를 실행하기 전 멈춘 횟수, 유효한 가설이 패치와 방어 규칙으로 이어진 시간까지 함께 봐야 한다. 나는 이 사례를 ‘사람이 아직 필요하다’는 방어적 결론보다 전문가의 방법론을 입력하고 검증 가능한 범위에서 탐색 폭을 넓히는 팀 구조가 먼저 실용화됐다는 신호로 읽었다. 완전 자율보다 강한 사람-AI 연구 루프가 현실적인 공격과 방어 양쪽에서 먼저 확산될 가능성이 크다.

Discovery Loop는 AI를 실험 시스템으로 확장했다

Jeff Dean, Sanjay Ghemawat, Oriol Vinyals, Quoc Le는 실험 제안·구현·평가·다음 가설을 자동으로 연결하는 Discovery Loop를 창업했다. 이미지: WIRED

WIRED 보도에 따르면 Jeff Dean은 약 27년 만에 구글을 떠나 Sanjay Ghemawat, Oriol Vinyals, Quoc Le와 Discovery Loop를 시작한다. 네 사람은 Google Brain, 검색 인프라, Gemini, AutoML 계열을 이끌어 온 연구자들이다. 새 회사는 가설을 제안하고, 실험 코드를 만들고, 결과를 평가한 뒤 다음 실험으로 이어지는 자동화된 과학·공학 루프를 전면에 뒀다.

초기 고객은 회사 자신이다. 먼저 머신러닝 알고리즘을 개선하는 실험 루프를 만들고, 그 결과로 얻은 시스템을 칩 설계, 생물학, 신약, 소재 연구로 넓힌다는 구상이다. 연구자가 문제를 묻고 모델이 한 번 답하는 형태와 달리, 이 구조에서는 실험 환경과 측정값이 다음 행동을 바꾼다. 모델의 새 아이디어를 실제 구현과 실패 데이터에 계속 부딪치게 만드는 폐쇄 루프가 제품의 중심이 된다. 구글은 창립 투자자이자 첫해 컴퓨팅 제공 파트너로 참여한다고 밝혔다.

팀의 이력만으로 자동 발견이 작동한다고 단정할 수는 없다. 분야마다 실험 비용과 안전 조건, 측정 가능한 성공 기준이 다르고, 생물학·신약은 코드 실험보다 피드백이 느리다. 스스로 만든 평가를 스스로 최적화하면 측정값의 빈틈을 공략하는 문제도 생긴다. 공개 뒤에는 제안된 가설 중 실제 실험으로 넘어간 비율, 실패를 다음 설계에 반영한 방식, 독립 연구자가 재현한 결과, 사람이 중단시킨 사례를 봐야 한다. Discovery Loop의 관전 포인트는 유명 연구자 네 명의 이동보다 AI 연구자의 주장과 실험실의 증거 사이를 얼마나 짧고 감사 가능하게 연결하는가에 있다.

DASH는 추론을 정답 이동이 보이는 구간으로 나눴다

DASH는 중간 답변 체크포인트 사이의 추론을 구간으로 나누고, 정답으로 향한 구간에는 양의 보상, 정답에서 벗어난 구간에는 점점 큰 음의 보상을 준다. 이미지: arXiv 2607.00482

‘Know When to Stop’ 논문은 추론 모델의 과잉 사고를 단순한 출력 길이 문제로 보지 않는다. 답을 다시 확인하고, 접근을 버리고, 앞선 결론과 모순되거나 같은 계산을 반복하는 행동이 오답 trace에서 더 자주 나타난다고 분석했다. 문제는 긴 추론 하나에 최종 정답 여부만 보상하면, 처음에 정답을 찾았다가 뒤에서 스스로 틀린 답으로 바꾼 trace의 어느 구간이 유용했는지 구분하기 어렵다는 데 있다.

저자들은 모델이 추론 중간에 ‘답은 X’처럼 잠정 결론을 내는 지점을 체크포인트로 썼다. 최종 정답과 비교하면 이후 성찰이 답을 개선했는지 망쳤는지 별도 단계 라벨 없이 판단할 수 있다. DASH는 이 체크포인트 사이를 segment로 나눠 정답에 가까워진 구간에는 양의 advantage를, 멀어진 구간에는 더 큰 음의 advantage를 준다. 논문은 Nemotron-4B와 수학 벤치마크에서 평균 정확도 59.45%를 보고했으며 GRPO의 56.95%보다 높았다. AIME25에서는 50.8%와 45.4%로 차이가 컸다.

이 역시 특정 모델과 수학 과제에서 얻은 프리프린트 결과다. 중간 답변을 명시하지 않는 trace, 정답이 여러 개인 과제, 사실 검증이 어려운 글쓰기나 에이전트 작업에 그대로 적용된다는 보장은 없다. 그래도 전체 실패에 같은 벌점을 주는 대신 어느 구간에서 정답을 얻었고 어디서 다시 잃었는지를 학습 신호로 바꾼 발상은 실용적이다. 추론 비용을 줄이려면 토큰 상한만 낮추기보다 올바른 결론 뒤에 이어지는 불필요한 재검토와 실제 오류를 고치는 성찰을 분리해야 한다.

더 오래 생각하는 AI보다 피드백 경계가 분명한 AI가 남는다

Castform과 Neon은 검색 도구의 결과를 보상으로 바꿨고, Kettle의 보안 실험은 전문가 검증을 탐색 루프 안에 넣었다. Discovery Loop는 실험 결과가 다음 가설로 돌아오는 구조를 회사의 핵심으로 삼았으며, DASH는 하나의 긴 reasoning trace를 정답의 이동이 보이는 구간으로 잘랐다. 공통점은 자율성을 크게 선언하기보다 무엇을 관찰하고, 어디서 점수를 주며, 누가 중단하거나 다음 행동을 승인하는지를 구체화했다는 데 있다.

에이전트 시스템을 볼 때 나는 이제 모델 이름 뒤에 있는 네 가지를 먼저 확인한다. 훈련과 운영에서 같은 도구를 쓰는가, 사람이 확인해야 할 신규성·안전성 판단이 분리돼 있는가, 실제 환경의 결과가 다음 시도에 들어가는가, 올바른 답을 얻은 뒤 멈출 신호가 있는가. 이 경계가 없으면 긴 추론과 많은 도구 호출은 비용과 오류를 함께 키운다. 반대로 과제가 좁더라도 관찰 가능한 피드백 루프가 있으면 작은 모델과 사람의 전문성도 강한 시스템으로 묶일 수 있다.

네 소식은 ‘완전 자율’이 한 번에 도착하지 않는다는 점도 보여 준다. 검색에서는 보상 함수가, 보안에서는 전문가 검증이, 과학에서는 실험 장치가, 추론에서는 중간 답변이 자율성의 바닥을 받친다. AI의 다음 성능 차이는 생각의 길이보다 피드백의 해상도에서 나올 가능성이 크다. 결과를 더 자주 관찰하고 실패한 구간을 더 정확히 돌려줄수록 모델은 덜 헤매고, 사람은 더 중요한 판단에 시간을 쓸 수 있다.

출처

• Neon — How Castform + Neon Beats Frontier Models on Price and Efficiency
• WIRED — The Most Dangerous AI Hacking Techniques Still Have Human Input
• WIRED — Google’s Top AI Brains Are Leaving to Launch Discovery Loop
• arXiv 2607.00482 — Know When to Stop