[arXiv 2607.08758] Ideas Have Genomes: 과학 아이디어의 계보를 추론하고 생성하는 IdeaGene-Bench

Ideas Have Genomes: Benchmarking Scientific Lineage Reasoning and Lineage-Grounded Idea Generation

https://arxiv.org/abs/2607.08758

저자: Yifan Zhou, Qihao Yang, Yan Li, Donggang Li, Xiru Hu, Hokin Deng, Ziyang Gong, Xuanyi Zhou, Huacan Wang, Xiangchao Yan, Wanghan Xu, Wenlong Zhang, Shaofeng Zhang, Yue Zhou, Yifan Yang, Zhihang Zhong, Xue Yang 등 17명 · 소속: Shanghai Jiao Tong University, Carnegie Mellon University, University of Chinese Academy of Sciences, Shanghai Artificial Intelligence Laboratory, University of Science and Technology of China, East China Normal University, Microsoft Corporation · 2026년 7월

---

1. 서론: 논문 목록을 넘어 아이디어의 상속 구조를 읽는 평가

과학적 근접성과 과학적 계보의 차이

대규모 언어 모델을 이용한 자동 연구 시스템은 문헌을 검색하고, 가설을 합성하고, 실험 계획과 논문 형식의 보고서를 작성하는 단계까지 빠르게 확장되었다. 그러나 검색된 문헌이 주제상 가까운지, 문장이 설득력 있게 보이는지, 제안이 새로워 보이는지를 평가하는 것만으로는 그 제안이 선행 연구의 어떤 메커니즘을 물려받았는지 알기 어렵다. 저자들은 이 공백을 scientific lineage competence, 즉 과학 작업을 구성하는 아이디어의 상속·변형·소실·결합을 식별하고 검증하며 연장하는 능력으로 정의한다.

같은 과제를 푼다는 사실은 직접적인 계보 관계를 보장하지 않는다. 예컨대 YOLOv2는 YOLO의 단일 단계 검출 메커니즘을 유지하면서 앵커 박스, 배치 정규화, 다중 해상도 학습으로 국소 한계를 수선하므로 상속과 변이가 함께 관찰된다. 반면 DETR은 객체 검출이라는 생태를 공유하지만 Faster R-CNN의 영역 제안 파이프라인을 Transformer 기반 집합 예측으로 교체한다. 제목, 초록, 인용 연결, 임베딩 유사도만 사용하면 이러한 메커니즘 수준의 차이가 주제 유사성에 묻힐 수 있다.

IG-Bench가 묻는 질문은 제안서가 그럴듯한가에 머물지 않는다. 올바른 부모 작업을 찾았는지, 부모의 핵심 메커니즘이 후속 작업에 남았는지, 알려진 limitation과 이를 고치는 delta가 대응하는지, 외부 계보에서 들어온 요소가 무엇인지까지 동시에 맞혀야 한다. 생성 평가에서도 제안 하나를 독립적인 텍스트로 채점하지 않고, 이미 존재하는 연구 집단에 일관된 후손으로 삽입될 수 있는지를 살핀다.

Figure 1. paper-centric 관점에서 genome-centric 계보 관점으로의 전환

Figure 1은 관련 논문을 한데 모으는 paper-centric 방식과, 논문 내부의 최소 아이디어 단위를 추출해 전후 관계를 정렬하는 genome-centric 방식을 대비한다. 후자는 같은 연구 환경에 놓인 작업과 실제로 메커니즘을 물려받은 작업을 분리하고, 각 요소가 상속·변형·소실·외부 유입·신규 삽입 중 어떤 운명을 거쳤는지 감사 가능한 형태로 남긴다. 그림의 여섯 dynamics는 이 정렬 결과를 사람이 검토할 수 있는 운영 범주로 압축한다.

두 평가 트랙이 겨냥하는 병목

벤치마크는 폐쇄형 이해 평가인 IG-Exam과 개방형 생성 평가인 IG-Arena로 나뉜다. IG-Exam은 하나의 Idea Genome을 읽는 추상화에서 여러 객체의 상속을 추적하고, 진화적 dynamics를 추론하고, 최종적으로 계보 주장의 구조적 무결성을 검증하는 단계까지 올라간다. IG-Arena는 frontier question, 논문 라이브러리, 구조화된 lineage를 정보 조건별로 제공하고 생성된 제안의 Heredity, Variation, Selection을 평가한다.

논문이 보고한 전체 데이터 자산은 1,961개 golden lineage traces, 1,085개 Idea Genome 객체, 920개 쌍별 GenomeDiff 기록, 10개 과학 도메인이다. IG-Exam의 본 도전은 42개 task type과 1,029개 instance로 구성되며, IG-Arena의 주 실험은 10개 도메인에 세 과제씩 30개 frontier task를 둔다. 규모보다 중요한 설계 특성은 두 트랙이 동일한 계보 표현을 공유해 이해와 생성 사이의 연결을 검사한다는 데 있다.

가장 강한 시스템도 IG-Exam exact accuracy가 27.3%에 그쳤고, 특히 T4 Lineage Verification의 최고값은 17.4%였다. 도구가 달린 CLI는 여러 객체를 찾고 비교하는 T2를 크게 높였지만 T4를 일률적으로 개선하지 못했다. 저자들은 이를 검색량 부족보다는 여러 필드가 동시에 맞아야 하는 compositional consistency의 병목으로 해석한다.

2. 배경 및 관련 연구: 검색·인용·생성 평가 사이의 비어 있던 층

인접 평가 패러다임과 표현 단위

과학 문헌 검색 벤치마크는 질의와 관련 논문을 연결하는 능력을 정밀하게 측정하고, 과학 문서 표현 연구는 초록이나 인용 문맥을 좋은 벡터로 만드는 데 집중한다. 인용 그래프 분석은 시간과 참조 관계를 제공하지만 인용 자체가 메커니즘 상속을 뜻하지는 않는다. 문헌 기반 아이디어 생성과 자동 연구 에이전트 평가는 제안의 참신성, 실행 흐름, 보고서 품질을 다루지만 물려받을 수 있는 고정 단위를 명시적으로 요구하지 않는 경우가 많다.

아래 비교는 논문의 Table 1에 제시된 분류를 한국어로 재구성한 것이다. 여기서 auditability는 정답 근거가 어느 문장·그림·수식에서 왔는지 되짚을 수 있는지, lineage reasoning은 상속 관계를 명시적으로 추론하는지, generation은 후속 아이디어 생성을 평가하는지를 뜻한다. IG-Bench의 차별점은 Idea Genome이라는 하위 논문 단위를 네 조건 모두에 공통으로 사용한다는 것이다.

평가 패러다임	기본 단위	근거 감사	명시적 계보	메커니즘 상속	생성
문헌 검색	질의–논문 쌍	부분적	없음	없음	없음
과학 문서 표현	논문·구절 임베딩	부분적	암묵적	약함	없음
인용 그래프 분석	인용 edge	부분적	부분적	구조 간접 신호	없음
문헌 근거 아이디어 생성	논문 요약	부분적	암묵적	약함	지원
자동 연구 에이전트	workflow trace	고정 단위 없음	없음	간접적	지원
IG-Bench	Idea Genome	지원	지원	직접 평가	지원

표의 구분은 인접 분야를 낮게 평가하기 위한 서열이 아니다. 검색과 인용 분석은 후보 관계를 넓게 찾는 데 유용하고, 에이전트 평가는 실제 작업 흐름을 측정한다. IdeaGene은 그 위에 어떤 요소가 어떻게 이어졌는가를 검사하는 표현·평가 층을 추가하며, 실제 시스템에서는 앞선 패러다임과 함께 사용될 가능성이 높다.

평가 방법론의 계승과 통제

IG-Arena는 LLM-as-a-judge와 pairwise arena의 확장성을 활용한다. 세 명의 모델 판정자가 후보의 위치를 무작위화해 H/V/S를 0~100으로 매기고, 별도의 pairwise battle을 Bradley–Terry 모형의 ELO로 요약한다. 위치 선호와 길이 선호가 자동 판정에 미치는 영향을 알고 있는 만큼, 저자들은 PES를 주 지표로 두고 ELO를 선호 진단으로 보조 배치한다.

PES와 ELO는 같은 품질을 재는 중복 점수가 아니다. 유창하고 야심찬 제안이 쌍대 비교에서는 이길 수 있어도 부모 메커니즘과 limitation–delta 연결이 약하면 Heredity가 낮아질 수 있다. 논문은 두 순위 사이 aggregate Spearman $\rho=0.82$를 보고하며, 이 불일치를 lineage-conditioned insertion과 표면적 선호가 분리되는 사례로 해석한다.

사람 검증은 50명의 석사·박사 과정 주석자가 맡았다. construction 단계의 dynamics label 합의율은 adjudication 전 84.7%, IG-Arena에서 사람과 model-judge panel의 pairwise agreement는 80%, 판정자 간 신뢰도는 Krippendorff $\alpha=0.74$로 보고된다. 이 수치들은 평가 기준이 완전히 객관적이라는 선언보다, 훈련된 사람이 같은 lineage packet을 보고 상당 수준 재현할 수 있다는 근거로 읽는 편이 안전하다.

인용 그래프와 아이디어 계보가 갈라지는 지점

인용 edge는 후속 논문이 선행 논문을 알고 있었다는 강한 역사적 단서지만, 어떤 설계를 실제로 물려받았는지까지 자동으로 말해 주지는 않는다. 한 논문은 비교 실험을 위해 경쟁 방법을 인용하고, 배경 설명을 위해 표준 교과 논문을 인용하며, 데이터셋 사용을 밝히기 위해 원 출처를 인용할 수 있다. 이 세 관계를 모두 같은 계보 edge로 세면 참조 행위와 mechanism inheritance가 뒤섞여, 인용이 많은 분야나 표준 데이터셋을 공유하는 분야에서 거짓 계보가 과도하게 생긴다.

반대로 실제 상속은 명시적 인용 하나로 포착되지 않을 수도 있다. 후속 작업이 널리 알려진 구조를 변형하면서 원 논문을 직접 인용하지 않거나, 여러 중간 작업을 거쳐 아이디어가 전파되면 단일 hop citation만으로 parent를 고르기 어렵다. IdeaGene은 citation과 semantic search를 후보 확장에 쓰되 최종 관계를 driver·limitation·delta·evidence의 정렬로 다시 판단한다. 후보 발견과 계보 판정을 분리한 설계는 인용 네트워크의 높은 recall을 유지하면서 메커니즘 수준 precision을 높이려는 선택이다.

이 구분은 과학 아이디어 생성 평가에도 직접 영향을 준다. 모델이 라이브러리의 세 논문을 모두 언급했다고 해서 세 계보를 적절히 결합한 것은 아니며, 부모의 limitation을 잘못 읽은 상태에서 용어만 조합하면 외형적 novelty는 높아도 descendant로서의 정합성은 약하다. IG-Arena는 parent identity, inherited object, external provenance, proposed delta를 같은 packet에 넣어 이 문제를 드러낸다. 따라서 이 벤치마크가 추가하는 값은 논문을 더 많이 찾는 검색량보다 찾은 자료 사이의 기능적 관계를 검증하는 계약에 있다.

3. 방법론: Idea Genome과 GenomeDiff

감사 가능한 최소 아이디어 객체

한 논문이나 제안 $p$는 다음 객체 집합으로 표현된다. $$G(p)=\{g_i=(t_i,z_i,e_i,c_i)\}$$ 여기서 $t_i$는 역할 type, $z_i$는 아이디어의 content description, $e_i$는 원문 evidence pointer, $c_i$는 optional constraint다. 객체 수는 논문마다 달라질 수 있으며, 중요한 대상은 요약문 전체보다 이후 정렬에서 독립적으로 상속·변형·소실될 수 있는 최소 자기완결 단위라는 점이다.

역할 type은 niche, mechanism, observation, limitation, delta, claim의 여섯 종류다. niche는 문제와 연구 환경, mechanism은 물려받을 수 있는 방법이나 설계, observation은 연구를 동기화한 경험적 패턴, limitation은 결함이나 병목을 표시한다. delta는 선행 작업 대비 수선 또는 설계 변경, claim은 결과에 대한 주장으로 기능하므로 단순 키워드보다 계보 추론에 필요한 역할 구분을 제공한다.

추출 연산은 $E:p\mapsto G(p)$로 표기된다. 유효한 객체는 type이 있어야 하고, 문장·절·그림·표·수식 같은 원문 위치로 근거를 되짚을 수 있어야 하며, 독립 이동 가능한 정도로 작으면서도 의미가 성립할 만큼 완결되어야 한다. 또한 그 요소의 상속·변경·소실·유입 여부가 후속 작업의 일관된 후손 판정을 바꿀 수 있을 때만 lineage-relevant로 채택된다.

이 계약은 일반 논문 요약과 다른 오류 양상을 만든다. 서로 독립적으로 사라질 수 있는 두 메커니즘을 한 객체에 묶으면 fate를 하나로 정할 수 없고, 맥락이 없으면 뜻을 알 수 없는 세부 조각은 정렬할 수 없다. 반대로 실험 장비나 데이터셋 명칭을 모두 genome으로 만들면 논문 간 공통 배경이 상속 신호처럼 부풀 수 있으므로, lineage judgment를 바꾸지 않는 정보는 metadata에 남긴다.

GenomeDiff의 정렬과 fate

선행 논문 $p_s$와 후속 논문 $p_t$ 사이의 GenomeDiff $\Delta_{s\to t}$는 $G(p_s)$와 $G(p_t)$의 객체를 type과 의미 역할에 따라 정렬한다. source 객체는 inherited, mutated, lost 중 하나의 fate를 받고, 대응 source가 없는 target 객체는 novel 또는 external로 기록된다. 각 record에는 primary transition driver, 주변 task·domain setting과의 관계, evidence-backed rationale도 들어간다.

inherited는 핵심 내용과 기능이 유지된 경우, mutated는 정체성을 보존하면서 국소 설계가 바뀐 경우, lost는 후속 작업에서 사라진 경우다. novel은 관찰된 계보 내부에서 새로 삽입된 요소이고 external은 다른 계보에서 가져온 요소다. hybridization을 판정하려면 구성 요소가 많다는 사실만으로는 부족하고, 서로 다른 부모 계보의 driver 객체가 external provenance와 함께 들어왔다는 근거가 필요하다.

EcologyContext는 task, benchmark, dataset convention, 공동체처럼 논문들이 같은 환경에 놓이는 이유를 설명한다. 그러나 같은 ecology만으로 descent를 확정하지 않으며, 저자들의 판정 규칙에서는 driver inheritance가 계보의 우선 조건이다. driver 상속 없이 같은 niche를 공유하면 niche competition, driver가 유지된 채 새로운 task나 domain으로 이동하면 adaptive radiation으로 구분한다.

여섯 evolutionary dynamics의 운영 정의

GenomeDiff 패턴은 Mutation, Adaptive Radiation, Hybridization, Speciation, Niche Competition, Isolation의 여섯 dynamics로 요약된다. 이 용어는 과학 발전 전체를 생물학으로 환원하는 이론으로 두지 않고, 주석자와 모델이 동일한 경계 규칙을 사용하게 하는 operational category다. 애매한 경우에는 Hybridization을 Speciation보다 먼저, lineage evidence가 있을 때 Speciation을 Niche Competition보다 먼저, setting shift가 driver이면 Adaptive Radiation을 Mutation보다 먼저 적용한다.

Dynamics	계보 여부	GenomeDiff 기준	대표적 해석
Mutation	예	driver mechanism을 상속하거나 국소 변형하고 niche는 동일·인접	YOLO→YOLOv2의 앵커·정규화·다중 해상도 수선
Adaptive Radiation	예	driver를 유지한 채 새 task·domain·evaluation ecology로 이동	Transformer의 self-attention을 ViT의 image patch로 이전
Hybridization	예	둘 이상의 distinct lineage에서 driver 객체를 수입	CLIP 계열 visual alignment와 instruction-tuned LLM의 결합
Speciation	예	같거나 가까운 niche에서 predecessor driver를 새 계보 형성 메커니즘으로 교체	Faster R-CNN의 region proposal을 DETR set prediction으로 교체
Niche Competition	아니오	같은 ecology·problem niche이나 driver 상속 없음	Faster R-CNN과 YOLO의 경쟁 메커니즘
Isolation	아니오	공유 ecology도 driver inheritance도 없음	BERT와 YOLO처럼 과제와 메커니즘 모두 분리

Speciation을 lineage로 분류하면서도 predecessor driver가 교체된다고 정의한 부분은 경계가 까다롭다. 논문의 규칙은 가까운 niche에서 새 driver가 계보 형성 변화를 일으키되 역사적 전환 근거가 있을 때 speciation으로 두고, 단순 병렬 경쟁은 niche competition으로 둔다. 따라서 label 하나만 보지 말고 driver, ecology, provenance, rationale을 묶어 해석해야 한다.

Figure 2. Idea Genome·GenomeDiff를 공통 기반으로 삼는 IG-Bench 파이프라인

Figure 2는 입력 논문에서 evidence-grounded Idea Genome을 추출하고, 논문 쌍 사이에 GenomeDiff를 구성한 뒤, 같은 자산을 IG-Exam과 IG-Arena에 공급하는 흐름을 보여준다. 폐쇄형 문항은 추상화·상속 추적·dynamics 추론·계보 검증을 분리해 진단하고, 생성 트랙은 question·library·lineage 조건에서 후속 제안을 만들어 PES와 ELO로 평가한다. 두 트랙의 입력 표현이 같아서 이해 단계의 오류가 생성 단계의 상속 실패와 어떻게 연결되는지도 추적할 수 있다.

대표 계보 사례로 읽는 경계 규칙

YOLO에서 YOLOv2로 이어지는 사례는 Mutation의 판정 순서를 잘 보여준다. 후속 작업은 one-stage detection이라는 driver를 유지하고, localization과 recall의 한계를 anchor box, batch normalization, multi-scale training 같은 delta로 수선한다. 여기서 새 구성 요소가 추가됐다는 사실만으로 novel lineage를 선언하지 않고, 부모 mechanism이 남아 있는지와 delta가 알려진 limitation에 대응하는지를 먼저 확인한다. 이 때문에 mutation은 제목 유사성보다 object alignment와 기능적 연속성으로 정의된다.

Transformer에서 Vision Transformer로의 이동은 Adaptive Radiation 사례다. 핵심 self-attention driver는 유지되지만 입력 단위가 token sequence에서 image patch sequence로 바뀌고, 평가 ecology도 자연어에서 시각 인식으로 이동한다. 반면 LLaVA 계열의 설명에서는 CLIP 쪽 visual encoder와 instruction-tuned language model이라는 서로 다른 부모 계보가 함께 들어오므로 Hybridization이 우선한다. 설정 이동과 다중 부모 결합이 동시에 보일 때 우선순위 규칙이 필요한 이유가 여기에 있다.

Faster R-CNN에서 DETR로의 관계는 Speciation과 Niche Competition 경계를 시험한다. 두 시스템이 객체 검출 niche를 공유한다는 정보만으로는 competition이지만, region proposal 중심 계보에서 set prediction 중심 driver로 넘어가는 역사적 전환 근거를 확보하면 speciation으로 판정한다. 반대로 Faster R-CNN과 YOLO처럼 같은 문제를 풀면서 driver 상속이 확인되지 않으면 Niche Competition이 된다. 이 구분은 정답 label보다 그 label을 뒷받침하는 predecessor 선택과 rationale가 더 중요하다는 점을 드러낸다.

4. 실험 설정: 네 이해 축과 세 생성 정보 조건의 교차 설계

데이터 구축과 품질 보증

논문에 따르면 domain expert가 각 분야의 landmark와 frontier paper를 seed로 선정하고, citation link, semantic search, domain curation으로 predecessor와 successor 후보를 확장했다. 이어 multi-pass LLM-assisted extraction이 논문을 typed object로 바꾸고 전문가가 감사했으며, pairwise GenomeDiff에 alignment, fate, driver label을 더했다. 최종 benchmark audit은 schema validity, answer contract, temporal consistency, anonymization leakage, trace coherence를 검사했다.

본문 설명에서 lineage trace는 3~7편의 논문으로 구성된다. 전체 1,961 golden traces는 1,085 genome object와 920 pairwise diff를 포괄한다고 보고되며, computer science 쪽의 NLP·computer vision·multimodal learning과 biology, chemistry, physics, materials, medicine, mathematics를 포함한 10개 domain을 언급한다. 뒤에서 다룰 공개 Arena taxonomy는 이 열거와 정확히 같은 분할이 아니므로, 데이터 층과 active generation task 층을 구분해야 한다.

50명의 graduate annotator는 GenomeDiff relation과 role type, IG-Exam의 난도, IG-Arena pairwise battle을 세 단계에서 검증했다. construction disagreement는 제3 주석자가 adjudication했고 ambiguous item은 제외했다고 부록이 밝힌다. 낮은 model score가 label noise에서만 온 것이 아님을 확인하려고 사람의 stratified solving도 수행했지만, 공개 repository만으로는 이 전체 인적 검증 표본을 독립 재구성할 수 없다.

IG-Exam의 네 capability axis

각 문항은 $\tau=(c,x,A,y,m)$으로 표현된다. $c$는 capability axis, $x$는 anonymized context, $A$는 answer space, $y$는 gold target, $m$은 metadata다. 평가는 exact match를 사용하므로 parent를 맞혀도 driver나 fate가 틀리면 해당 instance 전체가 오답이며, 최종 집계는 task별 accuracy를 먼저 구한 뒤 task-macro 방식으로 축과 Total을 계산한다.

T1 Genome Abstraction은 한 genome의 field type, contribution role, driver 등을 읽는다. T2 Inheritance Tracing은 여러 객체의 순서, grouping, limitation–delta match, alignment를 다룬다. T3 Evolutionary Reasoning은 dynamics, driver, fate, hybrid provenance와 multi-hop 변화를 묻고, T4 Lineage Verification은 intruder, wrong step, missing link, citation conflict, parent mismatch처럼 전체 계보의 무결성을 검사한다.

축	Task types	Instances	대표 요구 능력
T1 Genome Abstraction	5	125	field type, driver, contribution role, lineage position 식별
T2 Inheritance Tracing	12	313	ordered lineage 재구성, inherited object 정렬, limitation–delta 연결
T3 Evolutionary Reasoning	17	dynamics·driver·fate·hybrid provenance·multi-hop change 추론
T4 Lineage Verification	8	intruder, wrong step, missing link, citation conflict, parent mismatch 검증
합계	42	1,029	모든 필수 필드 동시 exact match, task-macro 집계

T1의 5개 task와 125개 instance에서 시작해 T3가 17개 task와 409개 instance로 가장 크고, T4는 8개 task와 182개 instance다. instance 수 비례 micro average만 내면 큰 task가 결과를 지배할 수 있으므로 task-macro는 능력 유형을 동등하게 반영한다. 다만 여러 필드를 한꺼번에 요구하는 task는 필드별 부분 성공을 숨기므로 heatmap과 failure flow를 함께 봐야 한다.

IG-Arena의 정보 조건과 PES

Question 조건은 domain과 frontier question만 주어 parametric ideation을 시험한다. Library는 순서 없는 paper summary를 더해 paper-centric context 활용을 측정하고, Lineage는 ordered trace, Idea Genome object, GenomeDiff evidence를 제공해 구조화된 계보를 활용하는 능력을 잰다. 같은 시스템의 세 조건 차이는 추가 정보량과 정보 조직 방식의 효과를 보여주는 controlled ablation으로 설계되었다.

PES에서 Heredity $H$는 올바른 부모 객체의 계승, source continuity, mechanism preservation, limitation–delta coherence를 평가한다. Variation $V$는 이웃 population 대비 의미 있는 novelty를 보고, 외형적 재조합은 감점하며 실질 mutation·transfer·new object를 보상한다. Selection $S$는 feasibility, research environment 적합성, downstream direction을 열 가능성을 포함한 경쟁적 생존 가치를 본다.

논문 수식은 $$PES(x\mid L,P)=\frac{H(x\mid L)+V(x\mid P)+S(x\mid L,P)}{3}$$로 정의된다. 세 model judge는 후보 위치를 무작위화한 상태에서 lineage $L$과 neighboring population $P$를 포함한 packet을 읽고 각 차원을 0~100으로 채점한다. 공개 코드에는 후술할 hard cap 로직이 존재하므로, 논문 수식의 단순 산술평균과 실제 구현 score를 동일한 것으로 가정하면 일부 그림 수치가 맞지 않는다.

Figure 3. Question·Library·Lineage 정보 설정에 따른 PES 변화

Figure 3은 같은 생성 시스템에 question만 제공했을 때, 순서 없는 library를 추가했을 때, 정렬된 lineage packet까지 제공했을 때의 PES 궤적을 비교한다. 중앙값 Question→Lineage 증가는 +4.4점이지만 GPT-5.5는 +2.3, Kimi-K2-Thinking은 +6.9, MiniMax-M2.7은 +9.9로 달라 구조화된 근거가 모든 참여자를 같은 폭으로 끌어올리지는 않는다. 즉 성능 차이는 문헌 존재와 계보 구조 활용 능력을 함께 반영한다.

30개 frontier task와 14개 시스템

주 Arena run은 10개 domain마다 3개 task를 균형 배치한다. 각 task에 14개 system과 3개 information setting을 교차하면 $30\times14\times3=1,260$개의 proposal이 된다. 참가자는 8개 direct LLM, GPT-5.5 기반 research agent 2개, GPT-5.5 또는 Claude Opus 4.7을 Codex·Claude Code workflow로 감싼 CLI harness 4개다.

IG-Arena domain	세 frontier task	수
Computer Science	AgentFramework, LLMReasoning, NativeMultimodal	3
Biology	ProteinDesign, SingleCellFoundation, SpatialTranscriptomics	3
Chemistry	DrugDiscovery, MolecularGeneration, Retrosynthesis	3
Climate	AtmosphericChemistry, ClimateSimulation, WeatherForecasting	3
Energy	BatteryOptimization, PerovskiteSolarCell, SmartGridOptimization	3
Materials	BatteryElectrolyte, Catalysis, Discovery	3
Mathematics	AIforCombinatorics, AutomatedTheoremProving, MathReasoning	3
Medicine	DrugRepurposing, MedicalFoundationModels, MedicalImageAnalysis	3
Neuroscience	BrainComputer, Connectomics, VisualCortex	3
Physics	FusionPlasmaControl, NeuralNetworkPotentials, QuantumErrorCorrection	3
합계	10 domains × 3 tasks	30

이 active taxonomy에는 Climate, Energy, Neuroscience가 별도 domain으로 들어가고 Computer Science가 하나로 묶인다. 반면 데이터 구축 본문은 NLP, computer vision, multimodal learning을 먼저 열거한 뒤 biology 등 여섯 분야를 더한다고 설명한다. 두 목록이 각각 전체 lineage database와 generation subset을 가리키는지, taxonomy mapping을 거친 것인지 명시적 연결표가 없어 범위를 옮겨 해석할 때 주의가 필요하다.

Exact-match 계약이 만드는 난도와 해석 기준

IG-Exam의 낮은 점수는 문항을 전혀 이해하지 못한 비율과 동일하지 않다. 예를 들어 모델이 올바른 parent를 찾고 inherited mechanism을 맞혔어도 dynamics를 Mutation 대신 Adaptive Radiation으로 쓰거나, required JSON field 하나를 빠뜨리면 instance 전체가 0점이 된다. 이는 partial knowledge를 숨기는 대신 계보 판단의 전체 계약을 충족하는 시스템만 통과시키는 보수적 설계다. 과학 근거를 자동으로 연결하는 운영 환경에서는 필드 하나의 오류가 잘못된 후속 가설로 이어질 수 있다는 위험을 반영한다.

task-macro 집계는 42개 task type 각각의 평균을 동등하게 취급한다. T3에 409개 instance가 있고 T1에 125개가 있어도 instance가 많은 유형이 전체 점수를 독점하지 않으며, 드문 검증 문제도 결과에 남는다. 다만 축별 표에 반올림된 네 수치만으로 Total을 정확히 복원하기 어려운 행이 생길 수 있다. leaderboard를 재현하려면 instance prediction과 task별 분모, parsing failure 처리, excluded calibration task, rounding 이전 accuracy가 함께 공개되어야 한다.

Arena의 세 정보 조건도 단순한 context 길이 실험으로 읽으면 해석이 좁아진다. Library는 논문을 제공하지만 순서와 상속 관계를 숨기고, Lineage는 같은 문헌을 parent–child trace와 object diff로 조직한다. 따라서 Question→Library 차이는 외부 문헌 접근 효과에 가깝고 Library→Lineage 차이는 구조화된 provenance의 추가 효과에 가깝다. 세 조건의 token 수, 논문 수, prompt 길이를 엄격히 맞추지 않으면 정보 구조와 정보량이 일부 얽힐 수 있어 후속 실험에서는 matched-budget 비교가 필요하다.

5. 주요 실험 결과: 낮은 정확도와 계보 문맥의 비균등한 효용

14개 시스템 전체 leaderboard

아래 표는 논문의 main leaderboard 14개 행을 모두 옮긴 것이다. IG-Exam T1~T4와 Total은 exact accuracy 백분율이며, IG-Arena PES와 ELO는 별도의 생성 평가 결과다. Total 1위와 PES·ELO 1위가 다른 만큼, 한 열의 순위를 전체 과학 역량 순위로 확대해서는 안 된다.

구분	LLM-based Scientist	T1	T2	T3	T4	Total	PES	ELO
Direct	GPT-5.5	27.5	25.7	23.3	16.0	23.1	86.5	1213.2
Direct	Claude Opus 4.7	28.5	21.9	17.1	14.5	19.3	82.6	1007.2
Direct	Qwen3.6-Max-Preview	26.9	22.5	18.8	17.4	20.6	79.8	882.7
Direct	Gemini-3.1-pro-preview	32.4	24.6	17.8	10.7	20.1	82.1	705.7
Direct	Kimi-K2-Thinking	27.9	22.1	19.6	14.8	20.4	81.1	793.9
Direct	DeepSeek-V4-Pro	23.9	20.6	18.6	8.5	17.9	82.7	918.8
Direct	GLM-5.1	28.5	19.7	17.4	8.5	17.7	80.7	668.0
Direct	MiniMax-M2.7	22.9	9.1	10.9	11.6	11.9	70.5	540.8
Agent	AI Scientist v2 (GPT-5.5)	28.1	26.9	22.3	15.1	23.0	80.6	1253.3
Agent	CoI-Agent (GPT-5.5)	26.9	27.4	22.4	13.4	22.7	80.5	1249.9
CLI	Codex (GPT-5.5)	31.8	30.3	23.6	13.7	24.6	86.7	1476.1
CLI	Claude Code (GPT-5.5)	31.5	37.9	25.3	12.7	27.3	86.1	1420.6
CLI	Codex (Claude Opus 4.7)	34.4	29.7	17.0	10.5	21.8	82.7	900.8
CLI	Claude Code (Claude Opus 4.7)	27.9	26.3	21.0	13.8	22.0	83.3	1159.7

Claude Code/GPT-5.5가 Total 27.3으로 IG-Exam 최고이며 T2 37.9와 T3 25.3에서도 가장 높다. T4 최고 17.4는 Qwen3.6-Max-Preview이고, Codex/Claude Opus 4.7은 T1 34.4로 단일 객체 추상화에서 최고다. 생성에서는 Codex/GPT-5.5가 PES 86.7과 ELO 1476.1을 함께 기록해 선두지만, 그 시스템의 T4는 13.7로 direct GPT-5.5의 16.0보다 낮다.

이해 축의 경사와 CLI의 선택적 향상

best-by-axis는 T1 34.4, T2 37.9, T3 25.3, T4 17.4로 내려간다. T1에서 한 객체의 기능을 읽는 데도 3분의 1 정도만 정확하고, T4에서는 parent identity, compatibility, driver consistency, evidence validity가 함께 맞아야 하므로 성공률이 더 낮다. exact match의 엄격함을 감안해도 모든 시스템이 30% 아래라는 결과는 표현을 읽는 능력과 계보 전체를 검증하는 능력 사이의 간극을 드러낸다.

GPT-5.5를 Claude Code로 감싸면 T2가 25.7에서 37.9로 12.2점 상승하고 T1도 27.5에서 31.5로 오른다. 그러나 T4는 16.0에서 12.7로 내려가며, Codex/GPT-5.5도 13.7에 머문다. 반복 검색과 파일 비교는 inherited object를 모으는 데 도움이 되지만, 수집된 여러 판단의 충돌을 마지막에 해소하는 verifier가 자동으로 생기지는 않았다는 설명과 부합한다.

AI Scientist v2와 CoI-Agent는 같은 GPT-5.5 direct의 Total 23.1에 각각 23.0과 22.7로 가깝다. T2는 조금 개선되지만 T4와 PES는 오히려 낮아, retrieval-heavy agent workflow가 lineage competence를 독립적으로 더한다고 보기 어렵다. 다만 agent 구현과 prompt, tool budget이 고정된 특정 실험이므로 모든 research agent 일반에 대한 결론으로 확대할 수는 없다.

Figure 4. dynamics별 H/V/S와 PES 분해

Figure 4는 Question·Library·Lineage와 post-hoc dynamics를 묶어 Heredity, Variation, Selection을 분해한다. Variation은 82.7~84.7, Selection은 79.7~82.2로 비교적 좁은 반면 Heredity는 Question|Mutation 61.9에서 Lineage|Hybrid 84.2까지 벌어진다. 저자들은 생성 품질의 주된 차이가 novelty 부족보다 올바른 부모 메커니즘의 보존 여부에서 발생한다고 해석한다.

Figure 5. 동일 GPT-5.5 backbone에서 direct·research agent·CLI의 능력 프로필

Figure 5는 backbone confound를 줄이기 위해 GPT-5.5 direct, AI Scientist v2, CoI-Agent, Codex, Claude Code를 같은 다섯 축에 놓는다. research agent 두 개는 direct profile과 대체로 겹치고, CLI는 T2를 크게 늘리면서도 T4와 generation을 함께 올리지 않는다. tool scaffold의 효과가 전역적 성능 상승보다 retrieval-dependent capability의 재분배에 가깝다는 근거다.

Lineage context와 Heredity 병목

Question에서 Lineage로 갈 때 전체 시스템의 median PES gain은 +4.4다. GPT-5.5처럼 question-only에서도 PES 85.2로 높은 시스템은 +2.3만 늘지만, Kimi는 +6.9, MiniMax는 +9.9 상승한다. 구조화된 계보는 평균적으로 도움을 주면서도 system ranking을 바꾸며, 정보가 주어졌다는 사실과 그 구조를 operationalize하는 능력을 분리한다.

저자들이 강조하는 병목은 Heredity다. Question|Mutation은 H 61.9, V 82.7, S 79.7이고 표시 PES는 69.2이며, Lineage|Hybrid는 H 84.2, V 84.7, S 82.2, PES 83.6이다. novelty와 feasibility가 이미 높아도 parent mechanism이 잘못 연결되면 일관된 descendant가 되지 못하며, lineage evidence는 특히 상속 축의 결손을 줄인다.

정보 설정·Dynamics	비중·표본	H	V	S	표시 PES
Question | Mutation	15%, n=64	61.9	82.7	79.7	69.2
Question | Adaptive Radiation	26%, n=111	74.2	83.2	80.3	78.8
Question | Speciation	4%, n=15	74.9	82.7	79.8	79.1
Question | Hybridization	53%, n=224	78.8	84.0	81.1	81.1
Library | Hybridization	98%, n=413	82.7	84.0	81.8	82.8
Lineage | Hybridization	97%, n=407	84.2	84.7	82.2	83.6

표에서 n은 적어도 15개인 group만 남긴 값이며, label의 분포와 quality를 혼동하면 안 된다. Library와 Lineage proposal의 97~98%가 Hybridization으로 분류됐다고 해서 자동으로 좋은 제안이라는 뜻은 아니다. 외부 요소를 많이 합치는 행위가 부모와 근거에 정렬됐을 때만 높은 Heredity로 이어지며, Question|Hybrid와 Lineage|Hybrid의 H 차이는 5.4점이다.

능력 축별 실패가 실제 연구 파이프라인에 주는 의미

T1 Genome Abstraction 실패는 문헌을 읽고도 무엇이 문제 환경이고 무엇이 상속 가능한 mechanism인지 분리하지 못한다는 뜻이다. 이 단계가 흔들리면 후속 모든 diff는 잘못된 객체를 정렬하게 된다. 운영 파이프라인에서는 한 번의 자유 형식 요약으로 genome을 고정하기보다, 역할별 추출과 evidence span 검사를 나누고 서로 겹치거나 지나치게 큰 객체를 자동으로 표시해야 한다. 사람 검수도 전체 논문을 다시 읽는 방식보다 driver 후보와 limitation–delta 쌍을 우선 확인하는 편이 효율적이다.

T2 Inheritance Tracing은 여러 논문을 비교해 순서와 객체 대응을 유지하는 능력이다. Claude Code/GPT-5.5가 37.9로 가장 높았다는 결과는 파일 탐색과 반복 비교가 이 축에 도움을 줄 수 있음을 보여 준다. 그러나 더 많은 문헌을 읽을수록 후보 parent와 유사 객체도 함께 늘어나므로, 단순 retrieval 확장은 정렬 비용을 키운다. 각 edge에 source evidence, target evidence, fate, similarity 근거를 저장하고 상충하는 alignment를 별도 queue로 보내야 긴 trace에서 초기에 생긴 오류가 누적되는 것을 줄일 수 있다.

T3 Evolutionary Reasoning은 정렬된 객체를 dynamics와 driver 설명으로 압축한다. 같은 inherited mechanism도 niche가 유지되면 Mutation, 새 domain으로 이동하면 Adaptive Radiation이 될 수 있어 객체 similarity만으로 label을 정하기 어렵다. 이 단계에는 EcologyContext와 provenance가 함께 필요하며, hybrid source가 둘 이상인 경우 각 부모가 실제로 driver를 제공했는지 검사해야 한다. 25.3%라는 최고 점수는 분류기 하나를 덧붙이는 방식보다 중간 근거를 보존하는 multi-step inference가 필요함을 시사한다.

T4 Lineage Verification은 앞선 결과를 받아 전체 계보가 모순 없이 닫히는지 검사한다. parent identity가 맞아도 claimed inheritance가 source genome에 없거나, limitation과 delta가 대응하지 않거나, citation direction이 뒤집히면 실패한다. 최고 17.4%는 이 단계가 단순한 마지막 품질 확인보다 독립적인 추론 문제임을 보여 준다. 실제 연구 보조 시스템에서는 생성기가 제출한 계보 주장을 같은 모델이 즉시 승인하게 두기보다, 원문 evidence를 다시 조회하는 별도 verifier와 반례 탐색 절차를 두는 편이 안전하다.

IG-Arena의 Heredity 병목은 이 네 축이 생성 단계에서 다시 합쳐지는 위치다. 제안이 실행 가능하고 새로운 조합을 담아 Variation과 Selection에서 높은 점수를 받아도, 부모 선택과 mechanism preservation이 약하면 계보 기반 연구 제안으로서 설득력이 떨어진다. 연구 조직이 이 평가를 사용할 때는 총 PES 하나로 아이디어를 거르는 대신 H가 낮은 제안은 parent 재탐색, V가 낮은 제안은 neighboring population 중복 검사, S가 낮은 제안은 비용·데이터·실험 설계 검토로 보내는 분기형 workflow가 더 유용하다.

이런 분기형 사용은 benchmark score를 제품 목표로 그대로 최적화하는 위험도 줄인다. 모델이 Hybridization label과 특정 judge 문체를 모방하면 점수는 오를 수 있지만 실제 과학적 연결이 강해졌다고 보장하기 어렵다. object evidence coverage, parent recall, fate consistency, judge disagreement, 사람 수정량을 함께 기록하면 성능 향상이 어느 단계에서 발생했는지 확인할 수 있다. 특히 새 논문이 추가되는 시간축 평가에서는 기존 정답을 암기한 시스템과 처음 보는 계보를 구성하는 시스템을 분리해 lineage competence의 일반화를 측정해야 한다.

6. 추가 분석 및 Ablation Study: 이해–생성 연결과 오류의 흐름

폐쇄형 이해와 개방형 생성의 다리

시스템별 IG-Exam overall exact accuracy와 Lineage-setting IG-Arena Heredity 사이에는 중간 정도의 양의 연관이 나타난다. 저자들은 T4에서 요구되는 parent, compatibility, driver, evidence 검증이 생성된 descendant에도 필요하기 때문에 두 평가가 연결된다고 설명한다. 동시에 생성은 표현력과 feasibility를 포함하고 Exam은 정답 계약이 고정되어 있어 두 축을 서로 대체할 수는 없다.

높은 Variation과 낮은 Heredity의 반복은 자동 아이디어 생성 시스템이 plausibility를 lineage coherence보다 쉽게 생산한다는 진단으로 이어진다. 알려진 개념을 화려하게 결합하면 novelty judge에는 강해질 수 있지만 어느 parent의 어떤 limitation을 수선하는지 특정하지 못할 수 있다. 후속 시스템에는 검색 결과를 더 길게 붙이는 것 외에 object alignment와 contradiction check를 수행하는 compositional verifier가 필요하다는 결론이 나온다.

Figure 6. IG-Exam 이해 성능과 Lineage Heredity의 관계

Figure 6은 closed-form lineage understanding과 open-ended generation의 상속 충실도를 나란히 놓는다. 전체 방향은 Exam 정확도가 높은 시스템일수록 Lineage Heredity도 높은 경향을 보이지만 산점이 남아 두 트랙이 동일 능력은 아님을 보여준다. 다만 공개 그림의 일부 행에는 H/V/S와 Lineage PES가 산술적으로 양립하기 어려운 값이 있어, 정량 결론은 main leaderboard와 본문 결과를 우선해야 한다.

생성 dynamics 분포 ablation

Question-only proposal은 Mutation, Adaptive Radiation, Hybridization, 일부 Speciation 등 넓은 dynamics 분포를 보인다. Library와 Lineage를 주면 97% 이상이 Hybridization으로 집중된다. 모델이 여러 논문을 입력받았을 때 각각에서 요소를 가져와 결합하는 기본 전략을 택한다는 신호일 수 있으며, 정보 구조가 generation mode 자체를 바꾼다는 점도 보여준다.

그러나 빈도 분포에는 quality 정보가 없다. parent provenance가 없는 조합과 명시적 GenomeDiff에 정렬된 조합이 모두 Hybridization label을 받을 수 있고, Mutation도 올바른 국소 수선이면 높은 가치를 가질 수 있다. 논문이 main text에서 frequency plot보다 H/V/S quality map을 중심에 둔 이유는 dynamics label이 이동 방식을 설명하고 PES가 그 이동의 일관성을 평가하기 때문이다.

Figure 7. 정보 설정별 generated dynamics 분포

Figure 7은 Question 조건의 다양한 진화 이동이 unordered Library와 ordered Lineage를 거치며 Hybridization 중심으로 수렴하는 양상을 나타낸다. 이 변화는 문헌을 더 제공하면 모델이 다중 출처 결합을 선호한다는 행동 진단이다. 하지만 막대 높이는 상속의 정확성이나 제안의 실행 가능성을 포함하지 않으므로 Figure 4의 Heredity·Variation·Selection 분해와 함께 해석해야 한다.

14개 시스템의 T1~T4 병목과 오류 taxonomy

축별 heatmap에서는 CLI가 T2 상단을 차지하지만 T4 열은 모든 행에서 어둡다. Qwen의 17.4가 최고이며 GPT-5.5 direct 16.0, AI Scientist v2 15.1, Claude Opus 4.7 direct 14.5가 뒤를 잇는다. 모델 규모나 도구 유무와 무관하게 verification이 공통 병목으로 남는다는 시각적 근거다.

Figure 8. 14개 시스템의 T1~T4 exact-accuracy heatmap

Figure 8은 14개 시스템을 동일한 T1~T4 열에 배치해 단일 genome 읽기에서 계보 검증으로 갈수록 정확도가 떨어지는 패턴을 드러낸다. Claude Code/GPT-5.5의 T2 37.9처럼 국소 최고가 존재하지만 같은 행의 T4는 12.7이다. axis mean도 T1 28.5, T2 24.6, T3 19.6, T4 12.9로 단계적 합성 부담을 반영한다. 열별 하락이 거의 모든 시스템에서 반복돼 특정 모델군에만 국한된 현상으로 보기 어렵다.

오류 Sankey는 tier에서 failed field family를 거쳐 E1~E9 error class로 흐른다. 논문 설명상 두꺼운 흐름은 T3·T4에서 dynamics와 driver field로 향하고, 다시 E1 dynamics misclassification과 E2 driver misidentification으로 이어진다. genome fate mapping, order/group, atom type, contribution type, path fate, source, intruder, verification 등도 exact failure를 구성한다.

Figure 9. capability tier→failed field→E1~E9 오류 흐름

Figure 9는 오답 하나를 단순 실패로 합치지 않고 T1~T4의 출발 tier, 실패한 필드군, E1~E9 최종 오류 유형으로 분해한다. T3와 T4에서 발생한 오판이 dynamics·driver를 거쳐 exact-match 실패로 증폭되는 흐름이 크다. verifier는 최종 답만 재검토하기보다 driver 식별과 fate alignment 단계의 중간 산출물을 독립 검사해야 함을 시사한다. 이 흐름은 오류 교정의 우선순위를 정하는 진단 자료로도 활용할 수 있다.

평가 신뢰도와 실행 조건

부록은 IG-Exam run의 top-level JSON에 max_output_tokens를 기록하고, instance마다 입출력 token 수, response length, extraction diagnostic, error class를 저장한다고 설명한다. pilot GPT-5.5에서 4,096-token completion cap은 visible answer가 비어 있는데도 output budget을 모두 소비한 사례를 만들었고, main challenge rerun에는 16,384-token cap을 사용했다. token metadata는 score 보정값이 아닌 API failure와 content error를 구분하는 감사 정보다.

이 운영 세부는 reasoning model 비교에서 중요하다. 빈 응답을 모두 지식 실패로 세면 provider나 budget의 영향이 모델 능력처럼 보일 수 있고, 반대로 실패를 임의 제외하면 exact accuracy가 부풀 수 있다. 동일 metric을 유지하면서 failure cause를 log로 분리하는 접근은 타당하지만, 현재 공개 repository에는 논문 전체 run의 raw log가 없어 설명된 진단을 그대로 반복하기 어렵다.

PES 판정자를 운영 지표로 사용할 때의 조건

PES의 세 판정자는 제안의 문체만 보는 일반 선호 심사자와 달리 parent genome, neighboring population, claimed inheritance, limitation–delta 관계를 함께 받는다. 같은 proposal도 packet에 잘못된 parent가 들어가면 Heredity가 달라질 수 있으므로, 판정 결과는 생성 모델과 함께 lineage retrieval·packet construction의 품질을 포함한다. 실제 배포에서는 생성기 교체 전후의 score와 parent 후보 recall, evidence pointer 유효률, judge disagreement를 별도 telemetry로 남겨야 원인을 분리할 수 있다.

Krippendorff $\alpha=0.74$와 사람–모델 pairwise agreement 80%는 자동 판정이 무작위 수준을 크게 넘는다는 근거지만, 어느 도메인과 dynamics에서 불일치가 집중됐는지는 알려 주지 않는다. Biology와 Mathematics처럼 근거 형식이 다른 분야를 하나의 평균으로 합치면 특정 용어에 익숙한 judge의 편향이 가려질 수 있다. 도메인별 calibration set, dynamics별 confusion matrix, 점수 구간별 사람 재검수 비율을 함께 제공하면 0~100 점수의 운영 의미가 더 명확해진다.

ELO도 절대 품질이 아닌 비교 결과다. 어떤 상대와 몇 번 대결했는지, tie를 어떻게 처리했는지, position randomization이 균형을 이루었는지에 따라 값이 변하며 새 시스템을 추가하면 scale이 다시 조정될 수 있다. PES는 lineage-specific criterion을 보존하고 ELO는 사람처럼 보이는 총체적 선호를 포착하므로 두 지표의 불일치가 곧 오류는 아니다. 다만 논문이 보고한 Spearman 관계를 재현하려면 proposal-level score, battle matrix, 집계 단위와 동률 처리 규칙을 함께 공개해야 한다.

7. 한계점 및 향후 연구 방향: 운영 범주와 공개 자산의 경계를 분명히 하기

단일 primary dynamics의 표현 한계

저자들이 직접 밝힌 한계는 여섯 dynamics가 과학 발전의 완전한 이론으로 제시되지 않았다는 점이다. 하나의 successor 안에서도 mechanism A는 mutation되고 mechanism B는 external import되며 niche는 adaptive radiation을 겪을 수 있다. annotation consistency를 위해 primary driver 하나를 선택하면 평가가 단순해지지만, 복합 전환의 다층 구조가 단일 label 아래 사라질 수 있다.

Speciation과 Niche Competition의 경계처럼 역사적 관계와 mechanism 교체를 동시에 봐야 하는 사례는 주석자의 domain knowledge에 의존한다. 84.7% dynamics agreement는 상당한 일치이지만 남은 15.3%가 어떤 경계 쌍에서 집중됐는지 confusion matrix가 공개되면 taxonomy 개선에 유용하다. 향후에는 primary label을 유지하되 object별 multi-label dynamics와 uncertainty를 함께 기록하는 방식이 정보 손실을 줄일 수 있다.

Idea Genome 추출 자체도 관찰 오차를 갖는다. 어떤 내용을 하나의 self-contained object로 묶을지, evidence pointer가 주장 전체를 충분히 지지하는지, driver와 passenger를 어떻게 가를지는 후속 diff의 모든 정답에 영향을 준다. extraction disagreement, object split·merge 이력, adjudication rationale를 version별로 보존하면 downstream score가 ontology 변경에 얼마나 민감한지 측정할 수 있다.

공개 repository에서 확인되는 범위

공개 자료를 대조하면 repository에서 IG-Exam 42 task type과 1,029 instance, active IG-Arena의 10 domain×3 task=30 task 구조는 확인할 수 있다. quickstart와 evaluator, task data, PES 실행 진입점도 제공되어 smoke run과 제한된 평가를 시작할 수 있다. README의 숫자와 논문 표의 inventory가 맞는 부분은 Stage 1 공개물의 장점이다.

반면 논문이 말하는 전체 1,085 Genome object와 920 GenomeDiff database를 완결된 형태로 내려받는 경로, 1,260 proposal 본문과 raw generation log, judge별 H/V/S, pairwise battle, ELO 산출의 전체 실행 산출물은 현재 repository에서 확인되지 않는다. 프로젝트 페이지의 Data 링크는 활성 자료로 이어지지 않고 README의 license는 TBD다. 따라서 공개 코드를 전체 benchmark release와 같은 범위로 표현하면 재현 가능성을 과대평가하게 된다.

논문 본문은 construction trace를 3~7 papers라고 설명하지만 공개 Arena task의 lineage trace를 세어 보면 6~11편 범위가 나타난다. 하나는 원 데이터 구축 trace, 다른 하나는 generation context용으로 확장한 packet일 수 있으나 이를 연결하는 변환 규칙이 명시되지 않았다. trace length는 context budget과 Heredity 난도를 바꾸므로, split별 source trace와 rendered packet의 관계를 manifest에 기록할 필요가 있다.

domain taxonomy도 두 층의 관계가 불분명하다. 본문 construction 설명은 NLP, computer vision, multimodal learning을 포함하고 biology, chemistry, physics, materials, medicine, mathematics를 더해 10개라고 서술한다. 실제 Arena inventory는 Computer Science, Biology, Chemistry, Climate, Energy, Materials, Mathematics, Medicine, Neuroscience, Physics이므로, domain merge·split과 task sampling 규칙을 mapping table로 제공해야 범위와 균형을 검증할 수 있다.

재현 항목	논문 보고	공개 자료 확인	필요한 보강
IG-Exam inventory	42 tasks, 1,029 instances	확인 가능	release hash와 leaderboard prediction
IG-Arena inventory	10 domains, 30 tasks	task 구조 확인 가능	taxonomy mapping과 sampling seed
계보 DB	1,961 traces, 1,085 Genome, 920 GenomeDiff	전체 DB 미확인	versioned artifact와 schema checksum
Arena 결과	1,260 proposals, PES·ELO	전체 raw run 미확인	proposal·judge·battle raw logs
Data·license	project link 제시	Data 비활성, license TBD	영구 다운로드와 명시적 이용 조건

이 표의 미확인은 데이터 부재를 단정하는 표현이 아니다. 제3자가 현재 공식 공개 경로만으로 같은 결과를 재구성할 수 있는지에 대한 상태 표시다. arXiv v1 이후 repository가 갱신될 가능성이 있으므로 release date와 commit hash를 붙여 판단해야 한다. 특히 leaderboard처럼 실행 환경에 민감한 결과는 code availability와 artifact completeness를 별도 항목으로 관리하는 편이 정확하다.

PES 수식과 공개 구현의 차이

논문 수식만 따르면 Question|Mutation의 H/V/S 평균은 $(61.9+82.7+79.7)/3=74.8$이다. 그러나 Figure 3의 표시 PES는 69.2로 5.6점 낮다. 공개 코드를 대조하면 Heredity가 낮을 때 전체 점수에 hard cap을 적용하는 로직이 있어, 단순 평균보다 낮은 값이 생성될 수 있다.

cap은 부모 상속이 무너진 제안이 높은 novelty와 feasibility만으로 좋은 descendant가 되는 것을 막는 설계로 이해할 수 있다. 문제는 main definition이 산술평균으로 쓰여 있고 cap 조건·순서·aggregate 방식이 같은 수식에 포함되지 않았다는 점이다. 평가 규칙의 의도와 무관하게 executable metric을 완전하게 명시하지 않으면 독자는 숫자 불일치를 데이터 오류로 오해하거나 자체 구현에서 다른 순위를 얻을 수 있다.

공개 Figure 6의 일부 system row는 H/V/S 세 값과 표시 Lineage PES 사이에 단순 평균이나 알려진 cap으로도 양립하기 어려운 충돌이 보인다. 해당 appendix 시각화는 main leaderboard, 본문 Figure 3, per-setting table과 섞어 새 정량 결론을 만들기보다 보조 진단으로 제한해야 한다. 원시 judge output과 row 생성 script가 공개되면 rounding, label swap, aggregation scope 중 원인을 구분할 수 있다.

시간축 일반화와 계보 데이터의 갱신 문제

과학 계보는 고정된 정답 집합으로 오래 유지되기 어렵다. 새 논문이 등장하면 기존에 novel로 표기한 객체가 더 이른 preprint에서 유래한 것으로 밝혀질 수 있고, 당시에는 경쟁 관계로 보이던 두 흐름이 후속 연구에서 하나의 hybrid lineage로 합쳐질 수 있다. 따라서 benchmark split에는 논문 공개일, 수집 cutoff, annotation date, source version을 함께 기록해야 한다. 모델 학습 cutoff 이후의 successor를 별도 temporal holdout으로 두면 정답 기억과 실제 lineage construction 능력을 더 명확히 나눌 수 있다.

갱신 과정에서는 이전 정답을 덮어쓰기보다 lineage revision을 새로운 diff로 남기는 편이 적절하다. parent 추가, fate 변경, evidence pointer 교체, dynamics 재판정의 이유를 version history로 보존하면 점수 변화가 모델 개선에서 왔는지 ontology 수정에서 왔는지 추적할 수 있다. 이 방식은 논문이 제안한 genome 관점을 benchmark 운영 자체에도 적용하는 셈이며, 장기적으로는 정적 leaderboard와 함께 version-robust accuracy, revision sensitivity, unseen-lineage calibration을 보고하는 기반이 된다.

8. 내 해석: 약점 1 + 후속 제안 1

약점 1: 의미 있는 평가 개념과 불완전한 실행 계약의 간극

가장 구체적인 약점 하나는 논문이 정의한 benchmark object와 현재 공개된 executable artifact 사이의 대응이 완결되지 않았다는 것이다. 42/1,029와 30 task는 점검할 수 있지만 전체 Genome·GenomeDiff DB, 1,260 proposal, raw judge·battle log, ELO pipeline을 한 release로 고정할 수 없다. 이 간극 때문에 IdeaGene의 개념적 기여와 leaderboard 수치의 독립 검증 가능성을 같은 수준으로 평가하기 어렵다.

여러 작은 불일치도 이 하나의 문제로 수렴한다. 본문 3~7 paper trace와 공개 Arena 6~11 paper trace, construction domain 열거와 active Arena taxonomy, 산술평균 PES와 hard cap 구현이 각각 어떤 release·rendering·scoring layer를 가리키는지 manifest가 없다. Figure 6 일부 행의 산술 충돌도 원시 단계별 산출물이 없어서 단순 표기 오류인지 aggregation 차이인지 확정할 수 없다.

Table 4의 T1 bold 처리에도 수치상 어긋남이 있다. T1 최대값은 Codex/Claude Opus 4.7의 34.4인데 다른 셀 강조가 섞여 있다면 이는 결과값보다 typesetting 오류에 가깝고, 순위 해석은 원 숫자를 기준으로 해야 한다. 또한 aggregate Spearman $\rho=0.82$는 보고되지만 공개된 전체 proposal-level PES와 battle/ELO 산출물이 없어 같은 표본·동률 처리·집계 단위로 재현하기 어렵다.

이 비판은 benchmark의 문제 설정을 부정하지 않는다. Idea Genome과 GenomeDiff는 topical similarity가 놓치는 메커니즘 상속을 평가 대상으로 만들고, exact-match 병목과 H/V/S 분해는 유용한 진단을 제공한다. 다만 과학 계보의 auditability를 내세운 평가일수록 benchmark 자체의 lineage, 즉 어느 데이터와 코드와 점수가 어느 버전에서 파생됐는지도 동일하게 감사 가능해야 설득력이 커진다.

후속 제안 1: 계보화된 재현성 확장 패키지

후속 제안은 versioned release manifest + raw run logs + executable score packet + multi-label dynamics를 하나의 재현성 확장으로 묶는 것이다. manifest는 paper version, git commit, data artifact hash, domain mapping, trace rendering rule, participant config, judge model snapshot을 연결한다. 각 leaderboard cell이 어느 input split과 prediction file, score function으로 생성됐는지 machine-readable provenance graph로 따라갈 수 있어야 한다.

raw run logs에는 1,260 proposal 원문, prompt와 context packet, model·provider parameter, token budget, API error, judge별 H/V/S rationale, position randomization, pairwise outcome를 포함한다. 개인정보나 라이선스 제약이 있는 source paper text는 pointer와 content hash로 대체할 수 있다. ELO는 battle matrix, tie 처리, Bradley–Terry fitting option, random seed를 함께 제공해 $\rho$ 계산까지 한 명령으로 재생되게 한다.

executable score packet은 논문 수식을 선언 파일에 담고 hard cap을 명시적 함수로 노출해야 한다. 예를 들어 raw mean, cap-adjusted PES, task-macro, system aggregate를 서로 다른 필드로 저장하면 74.8과 69.2가 왜 함께 존재하는지 확인할 수 있다. Figure와 Table은 이 packet에서 자동 생성하고 consistency test가 H/V/S, PES, bold maximum, row label을 검사하도록 하면 표시 오류가 결과 해석으로 번지는 것을 막는다.

multi-label dynamics는 primary label을 버리지 않고 object별 보조 label과 confidence를 추가한다. 한 proposal이 부모 mechanism을 mutation하면서 다른 lineage의 observation을 external import하고 새 domain으로 adaptive radiation하는 경우, primary Hybridization 외에 세 이동을 정렬된 GenomeDiff edge에 부착한다. 주 평가는 기존 단일 label로 비교 가능성을 유지하고, 보조 평가는 복합 계보를 얼마나 정확히 복원했는지 partial credit와 calibration으로 측정할 수 있다.

이 네 요소가 결합되면 단순한 데이터 덤프보다 강한 검증이 가능하다. manifest는 자산의 경계를 정하고, raw log는 관찰 근거를 보존하고, executable packet은 정의와 구현을 일치시키며, multi-label은 ontology의 표현 손실을 줄인다. 결과적으로 시스템의 scientific lineage competence를 재는 benchmark와 benchmark 결과 자체의 provenance가 같은 감사 원리를 공유하게 된다.

9. 결론: 자동 연구의 다음 평가 단위를 메커니즘 계보로 옮기기

문제 설정의 기여

IdeaGene-Bench는 관련 논문 검색, 유창한 제안 작성, 일반적 novelty 평가 사이에 빠져 있던 mechanism-level inheritance를 명시적 평가 대상으로 만든다. $G(p)$의 typed object는 논문 내부를 감사 가능한 단위로 나누고, GenomeDiff는 predecessor와 successor 사이의 fate와 driver를 기록한다. 여섯 dynamics는 완전한 과학철학 이론보다 일관된 주석과 진단을 위한 경계 규칙으로 기능한다.

IG-Exam은 T1에서 T4로 올라가며 abstraction, tracing, reasoning, verification을 분리한다. 최고 Total 27.3과 최고 T4 17.4는 강한 모델과 tool scaffold도 여러 계보 필드를 동시에 일치시키기 어렵다는 결과다. CLI가 T2를 높이고 T4에서는 일관된 개선을 보이지 않으며 research agent가 direct backbone과 유사하다는 관찰은 retrieval과 compositional verification을 따로 설계해야 함을 보여준다.

IG-Arena는 proposal을 고립된 텍스트로 보지 않고 lineage population의 candidate descendant로 평가한다. median +4.4의 lineage context gain과 system별 +2.3~+9.9의 편차는 구조화된 근거의 효용이 활용 능력에 달렸음을 나타낸다. H/V/S 분해에서 Variation보다 Heredity가 큰 병목으로 나타나므로, 자동 연구 시스템은 더 많은 조합을 생산하는 단계와 올바른 부모·한계·수선을 검증하는 단계를 분리할 필요가 있다.

결과를 사용할 때의 기준

수치 비교에서는 IG-Exam exact-match와 IG-Arena PES·ELO의 의미를 분리해야 한다. Exam Total 선두와 Arena 선두가 다르고, PES와 ELO도 lineage insertion과 pairwise preference를 각각 측정한다. 특정 시스템의 한 열 우위를 과학자 능력 전체로 번역하기보다 T1~T4, H/V/S, 정보 조건, 오류 field를 함께 보는 진단 도구로 사용하는 편이 적절하다.

재현성 판단에서는 논문 보고와 현재 공개 repository의 범위를 구분해야 한다. 공식 공개물은 42/1,029 Exam과 30 Arena task, 실행 코드의 상당 부분을 제공하지만 전체 계보 DB와 main run artifact는 아직 완결된 release로 확인되지 않고 license도 TBD다. 후속 공개에서 versioned manifest와 raw log가 채워지면 taxonomy, score cap, domain mapping, leaderboard를 독립적으로 검증할 수 있다.

과학 아이디어의 계보는 단순 인용 수나 문장 유사도보다 세밀한 대상이며, 완벽하게 하나의 parent나 dynamics로 환원되지 않는다. 그럼에도 상속 가능한 객체, evidence pointer, fate alignment를 명시하는 시도는 자동 연구 평가를 더 검증 가능한 방향으로 이동시킨다. 다음 단계의 성과는 더 높은 단일 점수와 함께 어떤 메커니즘을 왜 물려받았는지 단계별로 입증하는 시스템에서 확인될 것이다.

10. 요약 정리: 수치와 해석을 함께 기억할 여덟 항목

• 표현 단위: 논문이나 제안은 $G(p)=\{g_i=(t_i,z_i,e_i,c_i)\}$로 나타내며, niche·mechanism·observation·limitation·delta·claim 역할과 원문 evidence를 갖는 최소 Idea Genome 객체로 분해된다.
• 전이 기록: GenomeDiff는 predecessor와 successor 객체를 정렬해 inherited·mutated·lost·novel·external fate, primary driver, ecology 관계와 근거를 기록한다.
• 운영 taxonomy: Mutation, Adaptive Radiation, Hybridization, Speciation은 lineage transition으로, Niche Competition과 Isolation은 비계보 관계로 다루되 실제 복합 전환을 위한 multi-label 확장이 필요하다.
• 벤치마크 규모: 논문은 1,961 golden lineage traces, 1,085 Genome objects, 920 GenomeDiff, 10 domains를 보고하고, IG-Exam은 42 task type·1,029 instance, IG-Arena는 10×3=30 task를 사용한다.
• 이해 결과: Claude Code/GPT-5.5가 Total 27.3으로 최고이고 Qwen3.6-Max-Preview가 T4 17.4로 최고이며, CLI는 T2를 올렸지만 verification을 일률 개선하지 못했고 research agent는 direct GPT-5.5와 유사했다.
• 생성 결과: Codex/GPT-5.5가 PES 86.7·ELO 1476.1로 최고이며 Question→Lineage PES 증가는 중앙값 +4.4, GPT-5.5 +2.3, Kimi +6.9, MiniMax +9.9로 시스템마다 달랐다.
• 주 병목: Variation과 Selection보다 Heredity가 정보 조건별 차이를 크게 만들며, Question|Mutation의 낮은 상속 점수는 참신해 보이는 제안과 일관된 계보 후손 사이의 간극을 보여준다.
• 재현성 과제: 공개 repo에서 Exam 42/1,029와 Arena 30 task는 확인되지만 전체 DB·1,260 proposal·raw log·ELO pipeline은 미완전하고 Data 링크와 license도 확정되지 않아 versioned manifest, executable score packet, raw run log가 요구된다.