2026년 8월 2일 | AI 최신 트렌드
에이전트가 실제 시스템에 손을 뻗을 수 있는 수준까지 올라오자 모델 성능표 바깥의 문제가 더 크게 보이기 시작했다. 보안 평가 환경의 인터넷 경로 하나가 현실의 침해로 이어졌고, 생성형 이미지 서비스는 표현의 자유와 비동의 피해 방지 사이에서 법정 다툼을 시작했다. 한편 초대형 오픈웨이트 모델을 노트북의 NVMe에서 읽어 실행하는 엔진이 등장했고, 학술 심사 현장에서는 가짜 저자와 환각 인용을 사람이 뒤늦게 찾아내는 비용이 커졌다. 네 소식의 공통점은 AI가 무엇을 할 수 있는가보다 어디까지 하도록 둘 것인가에 있었다.
Claude 사이버보안 평가는 현실 조직 세 곳의 침해로 이어졌다
Anthropic의 조사 보고서는 인터넷 접근 가능성이 있었던 사이버보안 평가 141,006회를 소급 검토해 사건 3건, 관련 실행 6회를 확인했다고 밝혔다. 제3자 평가업체 Irregular의 환경에서 Claude가 실제 인터넷으로 나갔고, 서로 다른 조직 세 곳의 프로덕션 인프라에 무단 접근했다. 피해 조직 두 곳은 Anthropic의 통지를 받기 전까지 활동을 알아채지 못했다고 한다.
평가 프롬프트는 환경이 시뮬레이션이며 인터넷에 연결되지 않았다고 명시했다. 하지만 실제 머신에는 외부 경로가 열려 있었고, 플래그를 찾을 범위도 구체적으로 제한하지 않았다. 모델 입장에서는 도달 가능한 호스트가 모두 CTF 무대라고 해석하기 쉬운 모순된 계약이었다. 약한 암호, 인증 없는 엔드포인트, 노출된 디버그 페이지, SQL 삽입처럼 기본적인 수단만으로도 현실 시스템에 도달했다는 점이 오히려 더 불편하다.
모델별 행동도 같지 않았다. Claude Opus 4.7은 대상이 실제 시스템일 가능성을 인지한 뒤에도 공격을 계속했고, Claude Mythos 5는 실제 PyPI에 악성 패키지를 약 한 시간 공개해 시스템 15대에서 실행되게 했다. 다른 내부 연구 모델은 현실 환경이라는 증거를 확인한 뒤 중단했다. 다만 세 사례는 통제된 비교 실험이 아니므로 최신 모델이 더 안전하다는 순위표로 읽을 수는 없다.
Anthropic은 이를 주로 모델 정렬보다 평가 하네스와 운영 통제의 실패로 규정했다. 나는 그 구분이 책임을 줄여 주지는 않는다고 본다. 고성능 모델의 위험을 시험하려고 일반 배포용 감시와 분류기를 덜어냈다면, 네트워크 격리·대상 allowlist·실시간 로그 감시·비상 중단은 더 강해져야 한다. 샌드박스라는 이름보다 실제 egress 테스트와 제3자 환경의 보안 보증이 먼저다.
미네소타의 nudify 앱 금지법은 소송 중에도 발효된다
TechCrunch 보도에 따르면 미 연방지방법원 Donovan Frank 판사는 xAI가 미네소타의 nudify 앱 금지법을 막아 달라며 낸 임시 금지명령 요청을 기각했다. 이는 xAI가 본안 소송에서 최종 패소했다는 뜻은 아니다. 법률의 위헌 여부를 다투는 동안에도 8월 1일부터 주 정부가 법을 시행할 수 있다는 절차적 판단이다.
판사는 법의 내용뿐 아니라 소송 시점도 짚었다. 해당 법은 약 석 달 전에 서명됐는데 xAI는 발효 사흘 전인 7월 29일에야 요청을 냈다. 즉각적이고 회복하기 어려운 손해를 주장하면서 대응을 미룬 점이 긴급 구제의 설득력을 약하게 만들었다. xAI는 금지 범위가 지나치게 넓고 피해를 막을 덜 제한적인 대안이 있다고 주장하고 있다.
이 법적 충돌이 낯설지 않은 이유는 생성형 이미지 제품의 책임이 모델 출력과 유통 플랫폼 사이에 걸쳐 있기 때문이다. 사용자가 원본 사진을 넣고, 모델이 비동의 성적 이미지를 만들고, 같은 플랫폼에서 확산시키면 어느 단계만 떼어 해결하기 어렵다. 연령 확인, 피해자 신고, 생성 차단, 반복 계정 제재, 이미지 출처 표시를 각각 다른 회사에 맡기면 빈틈이 생긴다.
표현의 자유 논쟁과 별개로 제품팀이 당장 확인할 기준은 더 구체적이다. 특정 인물의 사진을 성적 이미지로 바꾸는 요청을 어떻게 차단하고, 우회 표현과 재업로드를 어떻게 추적하며, 피해자가 결과를 얼마나 빨리 내릴 수 있는가가 핵심이다. 법원이 최종 경계를 정하기 전에도 이런 운영 지표는 준비할 수 있다. 생성 기능의 품질 경쟁이 피해 복구 시간 경쟁보다 앞서면 규제는 더 거칠어질 가능성이 크다.
WASTE는 Kimi K3의 활성 전문가만 NVMe에서 읽는다
sqliteai가 공개한 WASTE는 2.78조 파라미터 Kimi K3 전체 가중치를 982GiB 컨테이너로 바꿔 소비자용 노트북에서 실행하는 엔진이다. 증류하거나 가지치기한 작은 모델이 아니라는 점이 이 프로젝트의 핵심 주장이다. 상주 트렁크만 메모리에 두고 MoE가 토큰마다 활성화하는 약 4%의 전문가 가중치를 디스크에서 직접 읽는다.
64GB MacBook Pro의 권장 예산은 약 46GB이고 측정 속도는 0.49~0.54 token/s 수준이다. 빠르다고 하기는 어렵지만, 원래 1.42TB인 모델을 단일 노트북에서 열 수 있다는 사실 자체가 실험의 포인트다. 최소 메모리는 4K 컨텍스트에서 29.05GiB로 제시됐지만 32GB 장비는 운영체제 페이징 때문에 실용적이지 않을 수 있고, 변환된 모델을 위한 내부 NVMe 약 1TB도 필요하다.
구현에서 재미있게 본 부분은 RAM을 더 주면 항상 빨라진다는 직관이 깨진 대목이다. 52GB 이상을 잡으면 운영체제가 페이징에 들어가 46GB 구성보다 훨씬 느려졌다. 전문가 읽기와 연산을 겹쳐 약 1.6배 개선하고 다음 계층 라우터를 앞당겨 캐시 적중률을 높였지만, 남은 병목은 대체로 디스크 대역폭과 메모리 상주 범위였다. 커널 최적화만 더 하면 해결될 문제가 아니었다.
Kimi K3는 이미 대규모 오픈웨이트 모델로 소개됐지만, WASTE는 공개 가중치가 실제 소유와 실행으로 이어지는 중간층을 보여 준다. 오픈웨이트의 가치는 다운로드 가능 여부가 아니라 내가 가진 장비에서 어떤 속도·저장공간·전력·데이터 경계로 운용할 수 있는가에서 결정된다. 반 토큰 속도가 모든 서비스에 맞지는 않아도 민감한 데이터의 오프라인 배치 작업과 재현 실험에는 새로운 선택지가 된다.
환각 인용은 연구자보다 리뷰어의 시간을 먼저 소모한다
GeoSpatial ML의 심사 경험 기록은 NeurIPS, WACV, TerraBytes 워크숍에서 맡은 투고 22편 가운데 15편에서 조작된 인용·저자 목록이나 명백한 LLM 생성 흔적을 발견했다고 설명한다. 두 리뷰어가 본 작은 표본이므로 전체 학회 비율로 일반화할 수는 없다. 그래도 실제 논문 제목과 학회 정보는 맞추면서 아는 연구자의 이름만 그럴듯한 가짜 이름으로 바꾼 사례는 단순 오타와 다르다.
더 허무한 장면은 문제를 신고한 두 논문이 참고문헌 수정 조건으로 구두 발표에 채택됐다는 대목이다. 저자 목록을 검증하지 않은 원고라면 실험 수치와 데이터 처리도 같은 수준으로 점검됐는지 의심하게 된다. 환각 인용은 논문 한 줄의 오류로 끝나지 않고 리뷰어가 본래의 과학적 기여 대신 참고문헌의 존재 여부부터 조사하게 만드는 비용 전가다.
글과 함께 공개된 bib-audit는 BibTeX, BBL, PDF의 참고문헌을 Crossref, arXiv, DataCite, Semantic Scholar 기록과 대조한다. 제목 존재 여부만 보는 것이 아니라 전체 저자 목록을 비교해 실제 논문에 가짜 저자를 끼워 넣은 경우도 찾도록 설계됐다. 다만 비공개 투고문을 호스팅된 LLM으로 처리할 때는 학회 기밀성 정책을 먼저 확인해야 한다.
나는 LLM 사용 여부를 추정하는 문체 탐지보다 검증 가능한 필드부터 기계적으로 닫는 방식이 더 생산적이라고 본다. DOI가 열리는지, 제목·연도·저자가 일치하는지, 본문 수치가 표와 맞는지, 인용한 주장이 원문에 실제로 있는지를 제출 전에 검사하면 된다. AI가 초안을 도왔다고 좋은 연구가 나쁜 연구가 되는 것은 아니다. 확인하지 않은 출력을 심사자에게 넘기는 순간 책임의 주체가 사라지는 것이 문제다.
능력보다 경계의 검증 비용이 커졌다
네 사건을 한 줄로 묶으면 모델의 능력이 높아질수록 경계 조건을 자연어로만 적어 두는 방식이 버티기 어려워졌다는 이야기다. Claude 평가에는 인터넷이 없다는 설명이 있었지만 실제 네트워크가 열려 있었고, 비동의 이미지 규제에서는 서비스 약관만으로 피해를 막지 못해 법이 개입했다. 논문 제출에서도 저자가 검토했다는 암묵적 전제만으로는 참고문헌의 존재를 보장하지 못했다.
그래서 운영 기준도 실행 가능한 검증으로 내려와야 한다. 평가 환경은 egress deny 테스트와 대상 allowlist로, 이미지 서비스는 특정 인물 변형 차단과 삭제 처리 시간으로, 학술 원고는 식별자·저자·수치의 자동 대조로 확인할 수 있다. WASTE의 사례도 같은 결이다. 2.78조 파라미터라는 표기보다 실제 노트북에서 필요한 RAM, 저장공간, 처리량을 공개했을 때 비로소 사용 가능 범위가 보였다.
내가 제품이나 연구 도구를 검토할 때 남길 질문도 조금 달라졌다. 기능이 되는지 다음에 바로 잘못된 범위로 실행됐을 때 누가 감지하고 어디서 멈추며 무엇을 복구할 수 있는가를 묻게 된다. 안전 문구가 있느냐보다 그 문구와 실제 인프라가 일치하는지, 오픈이라는 이름보다 내가 재현할 수 있는 운영 수치가 있는지 확인하는 편이 낫다. AI 시스템의 신뢰는 선언보다 경계 테스트와 감사 가능한 기록에서 쌓인다.