하이퍼그래프 골격을 고정해 협동 MARL의 크레딧 할당 흔들림을 잡는 HySTAR
HySTAR: Anchored Hypergraphs for Stable Credit Assignment in Cooperative Multi-Agent Reinforcement Learning
무엇인가
협동 다중 에이전트 강화학습은 부분 관측과 공유 보상 아래에서 중앙집중 학습·분산 실행(CTDE)을 쓴다. 핵심 난제는 크레딧 할당이다. 팀 리턴은 팀의 성공만 말해줄 뿐, 개별 에이전트와 고차 연합이 각각 얼마나 기여했는지는 풀리지 않는다. MAPPO식 critic은 결합 행동을 하나의 전역 가치로 압축하므로 집중 사격, 엄호, 역할 분담 같은 협력 기여를 암묵적으로만 담는다. 관계 기반 critic이나 동적 그룹핑 critic은 구조적 가치 성분을 도입하지만, 에이전트 사망과 관계 변화로 그룹이 합쳐지고 쪼개지고 사라지면서 critic의 표현과 분해 기저가 함께 바뀐다. 저자들은 이 불일치를 구조적 타깃 드리프트(structural target drift)라고 부른다. 의미상 협력 역할이 비슷하게 유지되는데도 에이전트·연합에서 가치 성분으로 가는 매핑이 타임스텝마다 달라지는 현상이다.
어떻게 동작하나
HySTAR(Hypergraph-anchored SpatioTemporal Agent Representation)는 이 두 요구를 분리한다. 원칙은 "토폴로지는 고정하고, 그 위의 표현은 적응시킨다"이다. 겹치는 희소 하이퍼그래프를 영속적인 에이전트 수준 가치 분해 골격으로 앵커링하고, ST-Encoder가 노드 표현을 현재의 공간 상호작용과 시간 궤적에 맞춰 바꾼다. 정규 겹침 하이퍼그래프는 시간적으로 일관되고 균일하게 커버되는 인덱스 구조를 제공하고, ST-Encoder와 학습된 메시지가 물리적·과제 의존적 상호작용 내용을 담는다. 희소 incidence 패턴 덕분에 다중 홉 고차 집계가 O(N(k+1)) 엔트리로 끝난다. 통신 증강 CTDE 설정을 따르며, 특권 전역 상태는 학습 중에만 쓴다.
무엇과 다른가
구성 요소는 세 가지다. ST-Encoder는 각 에이전트 히스토리에 인과적 시간 self-attention을 적용한 뒤 같은 타임스텝의 에이전트들 사이에 공간 self-attention을 적용하고, 잔차 융합과 LayerNorm으로 최종 표현을 만든다. 액터와 critic은 같은 구조를 독립 파라미터로 쓴다. AHVD(Anchored Hypergraph Value Decomposition)는 학습 전에 한 번 구성되는 고정 골격 위에서 동작한다. 각 에이전트 슬롯 i의 링 이웃은 N(i)={i+1,…,i+k}, 하이퍼엣지는 e_i={i}∪N(i)이며 인덱스는 순환한다. 노드-엣지-노드 업데이트에서 엣지 메시지는 이웃 노드 특징의 평균, 노드 갱신은 LayerNorm(h + MLP[h‖m])이다. 이후 엣지 스코어링 네트워크가 두 에이전트 특징과 각자의 원핫 행동을 받아 q_ij,t를 내고, 에이전트 가치는 이웃에 대한 합 Q_t^i, 팀 가치는 대칭 엣지 구현에 따라 Q_tot = ½ Σ Q_t^i로 계산된다. 미니배치 내 정규화를 거친 뒤 팀 어드밴티지 A_team = Norm(Q̄_tot − sg[V_φ])를 만들고, 정규화된 GAE 어드밴티지 A_base와 업데이트 의존 램프 ρ_u로 혼합해 A_mix를 얻는다.
어떻게 쓰나
STCA(Spatiotemporal Credit Assignment)는 여기에 시간적 크레딧 정보를 결합한다. PPO 미니배치마다 Credit Head가 현재 크레딧 로짓을 다시 계산하고 롤아웃 버퍼의 옛 로짓과 1:1로 섞은 뒤, 온도 스케일 softmax로 크레딧 스코어를 만든다. AHVD의 정규화된 에이전트 가치도 같은 방식으로 가치 스코어가 된다. 두 스코어를 ρ_u η_credit 계수로 섞어 합이 1인 최종 스코어 w_t^i를 만들고, 에이전트별 PPO 어드밴티지는 A_t^i = N·sg[w_t^i]·A_mix다. 합이 1이므로 N을 곱하면 에이전트 어드밴티지 평균이 팀 어드밴티지와 같아져 공유 어드밴티지 스케일이 보존된다. 최종 스코어에는 stop-gradient가 걸려 PPO 손실은 이를 고정 배분 계수로 취급한다. 최적화는 세 갈래로 분리된다. 액터는 STCA 어드밴티지로 PPO 클립 목적함수를, 베이스라인 critic은 표준 클립 가치 손실을, AHVD는 타깃 액터·타깃 AHVD critic을 둔 TD 손실을 각각 별도 옵티마이저로 학습한다. stop-gradient가 유발할 수 있는 표현 붕괴를 막기 위해 Credit Head는 보조 distillation 손실 L_credit으로 시간적 크레딧 로짓을 AHVD의 구조적 에이전트 가치에 정렬하도록 능동적으로 학습된다.
전제와 한계
실험은 SMAC, GRF, Traffic Junction, MPE 네 벤치마크에서 이뤄졌다. SMAC 12개 맵 중 11개에서 최고 기록을 냈다. 3s5z_vs_3s6z에서 MAPPO의 84.4%를 98.5%로 올려 +14.1%p, 상대 16.7% 개선이고, 6h_vs_8z에서는 동적 그룹핑 기법 HYGMA의 85.0%를 98.3%로 올려 +13.3%p, 상대 15.6% 개선이다. GRF는 6개 시나리오 전부 1위로, Corner에서 MAPPO 65.53%를 74.90%로(+9.37%p, 상대 14.3%), RPS에서 HYGMA 63.11%를 84.20%로(+21.09%p, 상대 33.4%) 끌어올렸다. Traffic Junction은 두 설정 모두 99.9% 성공률을 기록했고 수렴 에폭은 HYGMA 대비 3.3%(272→263), 1.9%(569→558) 줄었으며 MAGIC 대비로는 40.2%, 31.9% 줄었다. MPE의 Spread·Reference·Comm 세 과제 모두 최고 최종 보상을 얻었다. 파라미터 효율에서는 27m_vs_30m에서 critic 파라미터 149.889K로 100.0% 승률을 달성해 MAT보다 40.9% 적은 파라미터를 쓰고, MAPPO보다는 19.1% 많지만 승률을 93.8%에서 100.0%로(상대 6.6%) 올렸다. 이웃 크기 k를 바꾼 분석에서는 k=8을 넘으면 중복 상호작용이 늘어 성능이 정체되거나 떨어졌고, 아군 사망 시점 전후 critic 손실 분석에서는 HySTAR가 가장 작은 교란과 가장 낮은 후반 손실을 보였다. 기본 하이퍼파라미터는 λ_c=0.5, η=0.5, L=10이다.
실무 관점에서 이 논문이 쓸모 있는 지점은 팀 보상만 주어지는 협동 태스크에서 critic 구조를 어떻게 잡을지에 대한 구체적인 답을 준다는 것이다. 에이전트 수가 고정되고 슬롯 순서를 일관되게 유지할 수 있으며, 실행 시 에이전트 간 표현 공유(통신)가 허용되는 CTDE 파이프라인이라면 하이퍼엣지 골격을 한 번 만들어 두고 표현만 학습시키는 방식이 안정적인 출발점이 된다. 반대로 완전 분산 실행이나 이종 에이전트의 잦은 편성 변경이 있는 환경에서는 골격 자체를 다시 설계해야 한다. 도입 전에 확인할 것은 세 가지다. 실행 단계에서 크로스 에이전트 표현을 쓸 수 있는지, 에이전트 슬롯 순서가 학습 내내 고정되는지, critic 파라미터 증가분(MAPPO 대비 약 19%)을 감수할 예산이 있는지다.
저자들이 명시한 한계도 분명하다. HySTAR는 일관된 에이전트 슬롯 순서를 가정하며, 일반적인 순열이 적용되면 앵커링된 incidence 패턴 자체가 달라진다. 실행 단계가 에이전트 간 표현을 사용하므로 통신 증강 CTDE 설정을 전제로 한다. 또한 ST-Encoder, AHVD, STCA가 MAPPO와 IPPO 대비 critic 파라미터를 추가한다.