AI 연구자 팀이 선형 어텐션 구조를 스스로 찾아내는 조직 설계

무엇인가

자율 연구 에이전트는 가설 생성, 코드 수정, 실험 실행을 한 파이프라인으로 묶을 수 있게 됐지만, 이미 잘 연구된 분야에서는 탐색하는 설계 공간의 영역이 좁아지면서 성능이 이른 시점에 정체된다. 이 논문은 그 원인을 단일 에이전트나 고정 파이프라인이 매 후보를 혼자 제안하는 구조에서 찾고, 서로 다른 학문적 배경을 가진 AI 연구자 팀을 조직하면 직교적인 탐색이 가능해진다고 주장한다. 다만 배경만 다양하게 주는 것으로는 부족하다고 본다. 실험 비용이 비쌀 때 팀은 소수의 아이디어만 시험할 수 있어 탐색과 활용의 균형이 필요하고, 각 실험 결과가 다음 실험이 무엇을 시도할지를 바꿔야 하기 때문이다. 논문이 던지는 질문은 이것이다. 배경이 다른 AI 연구자들이 서로의 발견 위에 쌓아 올리며 제한된 실험 예산 안에서 어떻게 지속적으로 진전할 수 있는가.

어떻게 동작하나

제안하는 시스템은 16명의 지속형(persistent) AI 연구자로 구성된다. 각 연구자는 하나의 언어 모델 인스턴스지만, 베이지안 필터링, 동역학계, 스트리밍 알고리즘처럼 서로 다른 분야의 프로필을 부여받는다. 프로필은 세 갈래의 안내를 담는다. 중심 개념·수식·가정·대표 문헌 같은 사전 지식과 수학 도구, 그 도구가 언제 유용하고 어디서 직관이 깨지는지에 대한 과학적 통찰, 그리고 낯선 문제를 분해하고 어떤 양을 관찰할지에 대한 연구 습관이다. 각 연구자는 세션 이력과 개인 연구 노트를 유지해 이전 가설, 결정의 근거, 결과에 대한 성찰을 보존하고, 동시에 제안·리뷰·실험 결과·결론을 담은 공유 기록에 접근한다. 10회 반복마다 공유 교훈과 미해결 질문으로 종합되며, 개인 이력과 공유 지식이 각각 자기 추론의 연속성과 팀 전체의 누적성을 담당한다.

무엇과 다른가

한 번의 반복은 여섯 단계로 진행된다. 먼저 할인 UCB 규칙으로 다음에 제안할 연구자를 고른다. 평균 보상 항은 성과가 좋았던 연구자를 선호하고, 신뢰구간 항은 아직 충분히 시험되지 않은 연구자에게 기회를 남긴다. 선택된 연구자는 자기 이력과 공유 결과를 보고 한계를 찾아 가설을 제안하고, 기술 리뷰어가 수학적 타당성과 계산 가능성을, 통과하면 두 번째 리뷰어가 참신성과 연구 가치를 심사한다. 통과한 제안은 비판에 맞춰 수식을 다듬고, 별도의 구현 에이전트가 코드로 옮긴다. 구현은 통합 검사와 속도 검사를 통과해야 하는데, 한 스텝 학습 시간이 베이스라인 GDN2의 1.2배를 넘으면 탈락한다. 이후 동일 학습 컴퓨트로 처음부터 학습하고 평가한 뒤, 제안자가 결과를 되짚어 개인 노트를 갱신하고 일반화 가능한 교훈을 팀에 공유한다. 보상은 그 시점까지의 최고 모델 대비 개선분으로 정의해 r_j = max{0, U(x_j) − U(x_j^ref)}로 계산하며, 실패한 시도에 음수 보상을 주지 않는다. 모델 효용 U는 언어모델링 NLL, 상식 추론 정확도, 검색 성능의 정규화된 개선을 3분의 1씩 평균한 값이다.

어떻게 쓰나

실험은 GDN2를 베이스라인으로 150M 비임베딩 파라미터 규모에서 수행했고, 80회 반복 중 63개 후보를 실제로 평가했다. 학습 데이터는 FineWeb-Edu이며, 모든 모델은 GDN 학습 FLOPs에 맞춰 토큰 수를 조정한다(150M에서 15B 토큰, 1.3B에서 100B 토큰). 그 결과 발견된 Context-First DeltaNet(CFDN)은 GDN2의 행렬 메모리에 순환 벡터를 추가하고, 예측 오차를 먼저 벡터가 흡수한 뒤 행렬이 남은 오차를 맞추도록 갱신 순서를 바꾼 구조다. 학습 토큰이 가장 적은데도 검색 목표 세 가지를 모두 개선했다. 언어모델링 퍼플렉시티 12.21에서 11.90, 상식 추론 정확도 44.48%에서 44.63%, 검색 28.91%에서 50.00%다. 전체 평가에서는 두 언어모델링 과제와 NIAH 과제에서 베이스라인을 앞섰고, 상식 추론은 GDN2보다 근소하게 낮지만 GDN과 KDA보다는 높았다.

전제와 한계

1.3B 규모로 확장한 검증에서도 CFDN은 비교한 네 모델 중 모든 평가 범주에서 최고 성능을 냈다. 두 언어모델링 데이터셋 모두 최저 퍼플렉시티, 상식 추론·NIAH·실제 문서 검색 모두 최고 평균 정확도다. 조직 설계의 기여는 소거 실험으로 분리했다. 전체 시스템의 최고 효용은 1.04였고, 전공 배경을 제거하면 0.54, 개인 이력을 제거하면 0.56, UCB를 균등 선택으로 바꾸면 0.76으로 떨어졌다. 평가한 후보 수는 전체 실행이 63개로 변형 실험의 65~68개보다 적었으므로 단순히 실험을 더 돌린 결과가 아니다. 배경을 뺀 실행은 22회 반복에서 최고 효용에 도달한 뒤 개선이 멈춘 반면, 전체 시스템의 최강 제안은 68회에 나왔다.

궤적 분석은 아이디어가 어떻게 쌓였는지를 보여준다. 선형 어텐션 배경의 연구자가 행렬 메모리 옆에 순환 컨텍스트 벡터를 붙이고, 다른 연구자가 그 벡터가 무엇을 나타내는지 결정하는 주소 원점을 학습시키고, 적응 필터링 전문 연구자가 주소 에너지로 보정항을 정규화했다. 다음 개정에서 행렬을 먼저 갱신하자 언어모델링은 좋아지고 검색은 나빠졌는데, 예측 표상 배경의 연구자가 이 악화된 결과를 근거로 갱신 순서를 뒤집어 CFDN을 완성했다. 한편 검색 목적 자체도 결과를 바꾼다. 언어모델링만 목적함수로 쓰면 LAMBADA 퍼플렉시티는 크게 낮아지지만 다른 지표에서는 세 목표 탐색보다 약했다. 저자들은 검증 비트 단위로 최적화하는 자동 연구 시스템이 검색·상식 추론처럼 소수 답 토큰이 성패를 가르는 과제의 성능을 희석할 수 있다고 지적한다.

개발자 관점에서 이 논문의 쓸모는 아키텍처 자체보다 조직 설계에 있다. 여러 에이전트를 병렬로 돌려 후보를 뽑는 파이프라인을 만들 때, 전공·관점을 명시적으로 부여하고, 에이전트별 사적 이력을 유지하며, 다음 실험을 맡길 대상을 성과와 미탐색도를 함께 고려해 고르는 것이 결과의 질을 바꾼다는 근거로 읽을 수 있다. 또한 리뷰 단계와 1.2배 속도 제약처럼 비용이 큰 실험 전에 거르는 장치, 그리고 단일 지표가 아니라 여러 지표를 정규화해 합산하는 보상 설계도 그대로 참고할 만하다. 다만 이 결론은 선형 어텐션 구조 탐색이라는 한 가지 문제, GPT-6 Astra라는 한 가지 에이전트 모델, 80회 반복이라는 특정 예산에서 얻은 것이다. 검색 중 평가는 축소된 스위트(상식 추론 데이터셋당 256 예시, NIAH 과제당 64 예시, 1K·2K·4K 문맥)와 teacher-forcing 기반 연속 생성 프록시로 이뤄졌고 실제 문서 검색은 탐색 중에 평가하지 않았다. 논문은 별도의 한계 절을 두지 않았지만, 다른 분야나 다른 모델로 일반화되는지, 예산 규모를 키웠을 때 조직 설계의 우위가 유지되는지는 이 결과만으로 확인되지 않는다.