2026년 7월 19일 | AI 최신 트렌드
프롬프트 인젝션이 공격 도구에서 방어 장치로 뒤집혀 쓰이기 시작했다. 코딩 에이전트에서는 사람이 답하지 않은 질문을 60초 뒤 모델이 대신 결정하는 기능이 조용히 들어갔다가 기본 비활성으로 돌아왔다. 창작자 플랫폼은 AI 학습 크롤러에게 협조를 요청하는 수준을 넘어 접속 자체를 막고 있고, 인프라 시장에서는 GPU가 아닌 추론 전용 칩을 담보로 수억 달러가 움직인다. 에이전트 하네스를 자동 개선한다는 연구 흐름에는 반복 탐색 효과와 진짜 일반화를 분리해서 보자는 반론이 나왔다.
다섯 소식의 공통점은 모델 자체보다 모델 바깥의 통제면이 성능과 안전을 좌우한다는 점이다. 입력에 어떤 문자열을 심는지, 사람이 답해야 할 게이트를 누가 넘는지, 크롤러의 목적을 어떻게 구분하는지, 어떤 칩과 자본으로 추론을 공급하는지, 평가 예산을 어떻게 맞추는지가 결과를 바꾼다. 나는 이번 묶음을 보안, 사람 개입, 콘텐츠 권리, 추론 인프라, 평가 설계의 순서로 읽었다.
1. Context bombing, 프롬프트 인젝션을 에이전트 방어에 쓰는 역발상
WIRED가 소개한 Tracebit 실험은 프롬프트 인젝션의 방향을 뒤집었다. 공격자가 이메일이나 일정에 악성 지시를 숨겨 에이전트의 도구 호출을 바꾸는 대신, 방어자가 AWS의 암호·키처럼 보이는 미끼 리소스에 모델이 거부하도록 학습된 위험한 요청을 넣는다. 침입 에이전트가 자원을 열거하다 그 문자열을 문맥에 담으면 안전장치가 작동해 이후 행동을 거부하는 방식이다. 연구팀은 이 기법을 context bombing이라고 불렀다.
Tracebit은 다섯 모델과 152회의 모의 공격에서 전체 관리자 권한 탈취 비율이 57%에서 5%로, 지속 가능한 발판까지 남긴 완전 침해 비율이 36%에서 1%로 줄었다고 보고했다. 공급자·모델·문구가 바뀌면 결과도 달라질 수 있는 초기 실험이라 만능 방어로 받아들이기는 이르다. 오히려 나는 이 결과가 프롬프트 인젝션의 불안정성을 잘 보여 준다고 본다. 같은 취약점이 공격과 방어 양쪽에서 작동하면, 어느 한쪽의 문구가 영구히 우위를 갖기 어렵다.
실무 적용에서는 단독 차단기로 쓰지 말고 미끼·탐지·권한 최소화와 묶어야 한다. context bomb을 읽었다는 이벤트를 경보로 남기고, 공격 에이전트가 관리자 권한에 도달하기 전 자격 증명을 폐기하거나 세션을 격리하는 식이다. 모델의 거부를 보안 경계로 믿기보다 공격 시간을 늦추는 비결정적 함정으로 두는 편이 안전하다. 근본 원인인 비신뢰 콘텐츠와 실행 지시의 혼합은 그대로 남기 때문이다.
2. Claude Code의 60초 자동 진행, 질문 대기창도 안전 게이트다
Claude Code 자동 진행 기능 분석에 따르면 버전 2.1.198은 AskUserQuestion에 60초 동안 답이 없으면 모델이 문맥을 바탕으로 작업을 계속하도록 하는 동작을 기본 활성화했다. 권한 요청을 자동 승인한 것은 아니지만, 이미 허용된 도구나 권한 확인을 우회한 실행 환경에서는 “staging인가 production인가” 같은 질문이 마지막 안전 게이트일 수 있다. 일부 질문에만 답한 채 자리를 비우면 나머지 선택을 모델이 채우는 흐름도 가능했다.
문제 제기 뒤 2.1.200에서는 기능 자체를 없애지 않고 기본값을 껐으며, 설정에서 60초·5분·10분·사용 안 함을 고르는 옵트인 방식으로 바뀌었다. 더 불편했던 지점은 처음 켜진 변화가 당시 변경 로그에 명확히 기록되지 않았다는 점이다. 자동 업데이트가 켜진 CLI라면 사용자가 작업 계약을 바꾸지 않았는데도 사람 개입의 기본값이 달라질 수 있었다.
나는 코딩 에이전트의 질문창을 단순 UI를 넘어 결정 권한을 사람에게 돌려주는 제어면으로 본다. 그래서 질문 타임아웃을 쓰더라도 배포 대상, 데이터 삭제, 비용 상한, 외부 전송처럼 되돌리기 어려운 선택에는 적용하면 안 된다. 버전 고정과 변경 로그 감시 역시 운영 안전의 일부다. “권한을 새로 주지 않았다”는 설명만으로는 부족하고, 이미 가진 권한 안에서 무엇을 대신 결정했는지를 별도로 감사해야 한다.
3. Patreon의 AI 크롤러 차단, robots.txt에서 실제 집행으로
TechCrunch 보도에 따르면 Patreon은 Cloudflare의 AI Crawl Control을 이용해 허가 없이 창작물을 학습에 쓰는 AI 봇을 직접 차단한다. robots.txt는 크롤러에게 사이트 운영자의 의사를 알리는 표준이지만 강제 장치는 아니다. Patreon은 시험 과정에서 개별 AI 학습 크롤러의 주간 접근 시도가 수천 건에서 0건으로 줄었다고 설명했다. 이 수치는 회사 측 테스트 결과이므로 외부 재현과 장기 추적은 더 필요하다.
중요한 구분은 모든 봇을 같은 상자에 넣지 않는다는 점이다. Patreon은 페이지를 색인하고 사용자를 원문으로 돌려보내는 검색형 봇은 허용하되, 모델 학습용 수집은 막겠다는 입장이다. Cloudflare도 검색·에이전트·학습 목적을 함께 수행하는 mixed-use crawler를 별도로 다루기 시작했다. 크롤러의 사용자 에이전트 이름보다 수집 목적과 데이터 사용 계약이 정책의 중심으로 이동하는 셈이다.
창작자 플랫폼에는 차단 정확도만큼 오탐과 이의 제기 절차가 중요하다. 검색 노출까지 함께 막히면 창작자의 신규 유입이 줄 수 있고, 반대로 허용된 검색 봇이 학습까지 겸하면 정책이 다시 무너진다. 앞으로는 허용·차단 목록보다 요청 주체, 사용 목적, 보존 기간, 대가 지급, 원문 유입을 함께 기록하는 감사 로그가 필요하다. 동의가 크롤러의 자발적 준수에 달려 있지 않아야 한다는 Patreon의 메시지는 웹 콘텐츠 계약이 실제 네트워크 집행으로 넘어가는 변화를 잘 보여 준다.
4. 추론 전용 칩을 담보로 잡은 4억 달러, AI 자본의 다음 표적
TechCrunch가 전한 거래에서 AI 추론 클라우드 스타트업 General Compute는 투자사 Upper90으로부터 4억 달러 대출을 확보했다. 기사에 따르면 학습용 범용 GPU 대신 이미 학습된 모델을 실행하는 추론 전용 칩을 담보로 잡은 초기 대형 사례일 수 있다. General Compute는 SambaNova의 SN50 칩으로 오픈 모델 추론을 제공하려 하며, 회사 측은 GPU 기반 클라우드보다 최대 16배 빠른 추론과 낮은 전력·냉각 요구를 주장한다.
공급자 주장인 16배 수치는 모델, 배치 크기, 지연 기준, 정밀도, 소프트웨어 스택이 같을 때 독립 검증해야 한다. 추론 칩은 특정 연산에 맞춰 효율을 높일 수 있지만, 모델 구조가 바뀌거나 커널과 프레임워크 지원이 늦으면 범용 GPU보다 전환 비용이 커진다. 담보 가치도 단순 구매가로 정해지지 않는다. 중고 시장, 칩 공급사의 지속성, 유지보수, 다른 데이터센터로 옮길 수 있는지가 함께 붙는다.
그래도 금융의 방향은 흥미롭다. GPU 담보 대출이 CoreWeave 같은 사업 모델을 키운 뒤, 이제는 추론 단가를 낮출 수 있는 비 NVIDIA 하드웨어에도 자본이 붙기 시작했다. 개발팀 입장에서는 최고 토큰 처리량만 비교할 일이 아니다. 실제 요청 분포에서의 p95 지연, 모델 교체 시간, 장애 시 다른 하드웨어로 빠져나갈 수 있는지, 사용률이 낮을 때 비용이 어떻게 남는지를 봐야 한다. 추론 시장의 경쟁은 칩 벤치마크와 자금 조달 구조가 함께 만드는 단계로 들어갔다.
5. Harness Evolution 평가, 개선과 반복 탐색을 분리해서 보기
Rethinking the Evaluation of Harness Evolution for Agents는 에이전트의 프롬프트, 도구, 메모리, 검증 루프, 제어 로직을 자동으로 고치는 연구를 다시 평가했다. 저자들이 문제 삼은 것은 하네스 후보를 공개 벤치마크의 단위 테스트 피드백으로 반복 탐색한 뒤 같은 벤치마크에서 최종 성능을 보고하는 방식이다. 이 구조에서는 일반화된 하네스 설계가 좋아진 것인지, 같은 문제에 더 많은 샘플과 수정 예산을 쓴 것인지 분리하기 어렵다.
연구팀은 Terminal-Bench 2.1에서 병렬 샘플링, 순차 정제, 하네스 개선을 비교하면서 피드백과 추론 예산을 맞추고, 탐색에 쓰지 않은 held-out task에서도 성능을 확인했다. 논문에 따르면 자동 harness evolution은 단순 test-time scaling을 일관되게 넘지 못했고, 발견한 개선의 일반화도 제한적이었다. 이 결과가 모든 방법과 벤치마크를 부정하는 것은 아니다. 실험에 사용한 과제·모델·예산의 범위 안에서 기존 평가 프로토콜의 낙관을 경고하는 결과로 읽는 편이 맞다.
나는 이 논문에서 새 알고리즘보다 비교표의 계약이 더 중요하다고 봤다. 하네스 변경 횟수, 평가 호출 수, 피드백 종류, task별 재시도, 탐색과 최종 평가의 데이터 분리를 먼저 고정해야 한다. 같은 공개 과제를 더 오래 본 개선과 처음 보는 과제에서도 남는 개선은 다른 성과다. 에이전트 하네스를 자동 최적화하는 도구를 도입할 때도 최고 pass@1만 보지 말고, held-out 과제와 비용을 함께 공개하는지 확인해야 한다.
성능표 밖의 통제면이 제품의 신뢰를 만든다
Context bombing은 모델의 거부 메커니즘을 방어 자원으로 바꾸지만 근본 취약점을 없애지는 않는다. Claude Code 사례는 질문 대기 시간이 곧 결정 권한의 경계임을 보여 준다. Patreon의 차단은 콘텐츠 동의를 선언문에서 네트워크 정책으로 옮기고, 추론 칩 금융은 모델 실행 비용을 하드웨어의 담보 가치와 연결한다. Harness Evolution 논문은 자동 개선이라는 이름 뒤에 숨은 반복 탐색 예산을 꺼내 놓는다.
내가 실무 점검표를 만든다면 다섯 칸으로 나눈다. 입력 칸에는 신뢰하지 않는 문자열과 실행 지시의 분리, 개입 칸에는 사람이 반드시 답해야 하는 질문, 콘텐츠 칸에는 수집 목적과 보존 계약을 적는다. 인프라 칸에는 같은 모델·배치·정밀도에서의 지연과 이동 비용을 넣고, 평가 칸에는 탐색 예산과 held-out 과제를 둔다. 이 정도를 적어야 서로 다른 발표를 하나의 “AI가 더 좋아졌다”는 문장으로 뭉개지 않을 수 있다.
모델의 능력은 계속 올라가겠지만, 그 능력이 안전하고 경제적인 제품이 되는 과정은 바깥 구조에서 결정된다. 누가 멈출 수 있는지, 무엇을 읽어도 되는지, 비용과 평가를 같은 조건에서 비교했는지가 선명한 시스템이 오래 버틴다. 이번 다섯 소식은 그 지루한 통제면이 부가 기능을 넘어 AI 제품의 중심 기능으로 올라왔다는 신호에 가깝다.
출처
- WIRED — Prompt Injection Attacks Are Thwarting AI Hacking Agents
- GeekNews — Claude Code의 잘못 설계된 자동 진행 기능 해부
- TechCrunch — Patreon stops asking AI bots not to scrape — and starts blocking them
- TechCrunch — Why the first GPU financiers are turning to inference chips in a $400 million deal
- arXiv 2607.12227 — Rethinking the Evaluation of Harness Evolution for Agents