HCG는 여러 GFlowNet을 계층으로 조직해 미탐색 고보상 영역을 분담 탐색한다

무엇인가

GFlowNet은 보상 함수에 비례하는 확률로 구성적 공간의 객체를 샘플링하도록 학습되는 생성 모델이다. 문제는 탐색이 비효율적이면 학습된 샘플러가 소수의 고보상 영역에 집중한다는 점이다. 여러 GFlowNet을 독립적으로 병렬 학습해 샘플을 합치는 직관적 해법도, 모델들이 같은 고보상 영역으로 붕괴하면 넓은 상태 공간을 탐색하지 못한다. 기존의 분산 학습은 보상이나 상태 그래프의 유용한 분해가 있을 때만 가능하거나, Boosted GFlowNet처럼 구성원을 순차적으로 학습해야 해서 훈련 시간이 앙상블 크기에 따라 늘어난다. HCG는 수작업 경계나 보상 분해 없이 여러 GFlowNet을 동시에 조정하는 것을 목표로 한다.

어떻게 동작하나

HCG는 같은 보상을 공유하는 K+1개의 독립 파라미터 GFlowNet을 G0≻G1≻…≻GK 순서로 조직한다. 각 터미널 x의 소유권은 x를 지원하는 가장 높은 순위 모델로 정해진다. 즉 o(x)=min{i:x∈Si}이고, 소유 영역 Oi는 Si에서 상위 모델들의 지원을 뺀 영역이다. 모델 Gi의 허용 영역 Ai는 상위 소유 영역을 제외한 나머지이고, 금지 영역 Di는 상위 소유 영역들의 합집합이다. 최상위 G0는 전체 공간을 탐색할 수 있다. 소유 영역이 비어 있지 않은 각 모델은 Oi로 제한된 보상 비례 분포를 목표로 하며, 정규화 상수 Zi는 Oi의 보상 합이다. 앙상블은 Gi를 ωi=Zi/ΣZj 확률로 선택한 뒤 그 전방 정책에서 샘플링한다. 논문의 명제 3.1은 소유 영역들이 서로 겹치지 않고 전체를 덮으며 각 모델이 제한 목표에 맞게 보정되었다면, 이 정규화 상수 가중 혼합이 전체 목표 분포 R(x)/Z를 복원한다고 주장한다.

무엇과 다른가

훈련에서는 표준 Trajectory Balance(TB)가 양의 보상을 요구하기 때문에 금지 영역의 목표 보상을 단순히 0으로 둘 수 없다는 문제를 다룬다. HCG는 금지 영역 D에 보조 보상 r을 두고, D에 속한 터미널에서는 로그 안에 양의 지시항을 더해 TB 균형이 달성되지 않게 만든 손실(식 9)을 쓴다. 허용 영역에서는 원래 TB와 같고, 금지 영역에서는 전방 정책이 질량을 두는 한 균형이 성립하지 않아 확률을 밀어낸다. 저자들은 r(x)=1로 설정한다. 명제 4.1은 D가 전체 공간의 진부분집합이면 최적점에서 D가 터미널 지원에서 제거되고 여집합에서 보상 비례 분포가 복원된다고 설명한다. 보조정리 4.2는 D가 전체 공간이고 Z를 정책과 함께 학습하면 Z>0에서 영손실 해가 없고 Z→0에서 하한에 접근한다고 말한다. 명제 4.3은 D가 전체 공간이고 Z를 고정하면 터미널 분포가 r에 비례하게 된다고 설명한다.

어떻게 쓰나

소유권을 실제로 알기 위해 HCG는 공유 분류기 Cφ(i|x)를 두고 각 터미널의 소유자를 예측한다. 이는 모델 간 확률 질의를 직접 수행할 때 K+1개 모델과 N개 터미널에서 O(NK²)의 교차 질의가 필요한 문제를 중앙화로 줄인다. 분류기는 각 Gi 샘플에 Zi·ai 가중치를 주어 학습된다. Zi는 샘플링 집중도 차이를 보정해 소유권이 단순 빈도가 아니라 보상 질량을 반영하게 하고, 감소하는 우선순위 ai는 겹칠 때 상위 모델을 선호하게 한다. 명제 4.4는 x를 포함하는 모든 GFlowNet이 해당 궤적에서 TB 손실 0을 달성하고 a0>a1>…>aK>0이면 분류기의 argmax가 진짜 소유자와 일치한다고 주장한다. 각 Gi는 예측 소유자 oφ(x)=argmax Cφ(j|x)를 기준으로 oφ(x)<i인 터미널을 금지 영역 Di로 간주해 지역적으로 업데이트한다. 모델은 자기 정책으로 궤적을 샘플링하고 분류기에 소유권을 질의한 뒤 다른 GFlowNet에 접근하지 않고 학습할 수 있으며, 생성 터미널·모델 인덱스·정규화 상수만 코디네이터에 보내 비동기 분산 학습이 가능하다. 초기에는 Zi가 근사값이라 분류기가 겹침을 상위 모델로 확정하지 못하면 두 모델 모두 해당 영역에서 표준 TB로 계속 학습된다.

전제와 한계

실험은 단일 TB, Sibling-augmented GFlowNets(SA), Adaptive Complementary Exploration(ACE)을 베이스라인으로 삼는다. DiffGrid는 81×81 격자에서 80스텝 후 종료하고 8 Gaussians, Rings, Moons, Spiral 네 보상 지형을 5개 시드, 10,000회 반복, HCG 8개 구성원으로 평가한다. 저자들은 8 Gaussians와 Rings처럼 모드가 잘 분리된 지형에서 HCG가 모든 베이스라인보다 총변동(TV) 거리를 크게 줄이고 훈련 끝까지 개선을 이어간다고 보고한다. Moons와 Spiral은 보상 질량이 연결 구조를 이뤄 단일 샘플러도 넓은 지원을 지날 수 있어 조정의 이점이 작다. 여기서 ACE가 초반에 더 빨리 거리를 줄이지만 HCG가 격차를 좁혀 종료 시점에는 비슷한 성능을 내고 TB와 SA보다는 낮은 거리를 유지한다. 8 Gaussians에서 구성원 수를 늘리면 단일 GFlowNet이 한 모드에 붕괴하는 것과 달리 추가 구성원이 아직 덮지 않은 모드로 유도되어 발견 모드 수가 늘고 TV 거리도 일관되게 감소한다고 주장한다. 다만 제공된 본문에는 표 1의 구체적인 TV 수치가 실려 있지 않다.

Quadratic Knapsack에서는 아이템 수 256과 512에서 상위 200개 평균 보상을 1000회 반복 동안 측정했고, HCG가 고가치 실행 가능 해를 찾는 반복 효율이 가장 좋았으며 512개 아이템의 더 복잡한 인스턴스에서 격차가 더 두드러졌다고 보고한다. Bit Sequences는 길이 32와 64에서 상위 200개 평균 보상을 1000회 반복 동안 측정했는데, 64비트에서는 HCG가 더 높은 평균 보상으로 빠르게 수렴하고 ACE가 뒤따르며 베이스라인은 진전이 제한적이었다. 32비트에서는 HCG가 훈련 내내 꾸준히 개선해 ACE에서 관찰된 조기 정체를 피했다고 설명한다. AMP 발견 과제는 길이 1~10, 어휘 20개로 약 10^13개 후보를 가지며, 다섯 개 Random Forest 분류기 앙상블의 최대 확률을 보상으로 쓰고 예측 확률이 0.95 이상이면 로그 보상을 0에서 자른다. HCG는 4개 GFlowNet으로 모든 방법보다 많은 고유 유효 펩타이드를 발견했고, TB와 SA가 소수 펩타이드에서 빠르게 포화하는 것과 달리 처음 100회 반복 안에 그들의 최종 발견 수를 넘어섰다. ACE는 초기 포화는 피하지만 불연속적으로 도약했고, HCG는 꾸준히 발견했으며 시드 간 변동도 ACE보다 작았다. 구체적인 발견 개수 수치는 본문에 제시되지 않았다.

개발자 관점에서 HCG는 여러 GFlowNet을 병렬로 돌릴 컴퓨트가 있고, 목표가 단일 최고점이 아니라 다양한 고보상 후보를 넓게 찾는 경우에 유용하다. 핵심 구현 포인트는 공유 소유권 분류기, 금지 영역을 반영한 수정 TB 손실, Zi로 가중한 앙상블 혼합이다. 모델 간 통신을 쌍방향으로 두지 않고 중앙 코디네이터에 모아 비동기 분산 학습을 가능하게 한 점도 실무적으로 중요하다. 다만 분류기와 정규화 상수 Zi의 품질이 조정에 영향을 주고, 초기에는 Zi가 근사값이라는 전제를 확인해야 한다. 또한 정규화 상수 가중 혼합이 목표를 복원한다는 보장은 소유 영역이 서로 겹치지 않고 전체를 덮으며 각 모델이 제한 목표에 보정되었다는 가정에 의존한다.

저자들이 밝힌 한계도 분명하다. 금지 영역에서 상수 보조 보상을 쓰는 것만으로도 강한 결과를 냈지만, 구성원이 허용 영역으로 더 빨리 빠져나가도록 보조 보상을 설계하는 것은 향후 과제다. 소유권 분류기에 환경 구조에 맞는 귀납 편향을 넣고 그 이론적·실험적 함의를 분석하는 것도 다음 단계로 남긴다. 또한 G0가 결국 전체 공간을 덮으면 하위 소유 영역이 비어 앙상블이 G0로 퇴화하므로, HCG의 이점은 영구적 전문화가 아니라 유한한 훈련 시간 동안의 상보적 탐색에 있다. 논문은 훈련 동역학이 완전한 커버리지나 정확한 보정에 도달한다고 보장하지 않으며, 목표 복원 명제도 그런 조건이 충족된 뒤의 재조합에 관한 결과다.