METTA는 메타강화학습의 긴 적응 이력을 두 시간 규모의 신경 메모리로 나눈다

무엇인가

이 논문은 메타강화학습에서 긴 상호작용 이력에 흩어진 과제 증거를 어떻게 표현할지 다룬다. 기존 순환 에이전트는 경험을 은닉 상태로 압축하고, 트랜스포머 기반 에이전트는 과거 궤적 전체에 어텐션을 걸어 메모리와 계산이 이차로 늘어난다. 논문은 보상이 희소하거나 지연되고 에피소드마다 증거가 고르지 않게 분포할 때 압축된 잠재 표현만으로는 나중에 중요한 과거 증거를 복원하기 어렵다고 지적한다. METTA는 트라이얼 단위 메타강화학습에서 빠른 적응을 에피소드 내부와 에피소드 사이의 두 시간 규모로 분해해 전체 이력 어텐션 없이 긴 문맥 적응을 하려 한다.

어떻게 동작하나

에피소드 내부에서는 TTT(test-time training) 층을 신경 메모리로 쓴다. 입력은 현재 상태, 이전 행동, 이전 보상, 이전 종료 신호를 이어 붙인 시퀀스이고, L개 TTT 층이 각각 에피소드 시작 시 초기화되는 빠른 가중치 메모리를 온라인으로 갱신한다. 각 층은 입력을 키, 값, 질의로 투영한 뒤 키로 값을 예측하는 자기지도 손실의 그래디언트 한 스텝으로 메모리를 쓰고, 갱신된 메모리에 질의를 넣어 다음 표현을 읽는다. 이 빠른 매개변수는 추론 시점에도 갱신되고, 투영과 초기 메모리, 하위 네트워크는 학습으로 얻는 느린 매개변수다. 이 구조가 에피소드 안의 세밀한 적응과 선형 시퀀스 복잡도를 제공한다.

무엇과 다른가

에피소드 간에는 각 에피소드의 마지막 적응 표현을 요약으로 저장하고, 이전 에피소드 요약들만 모아 현재 문맥을 만든다. 기본 방식은 현재 표현에서 질의를 만들어 이전 요약 집합에 어텐션으로 검색한 뒤 현재 표현과 레이어 정규화로 융합하는 것이다. 단일 벡터를 상수 시간에 갱신하는 지수 이동 평균 변형도 제시한다. 이렇게 만든 문맥 표현을 정책과 가치 함수에 상태와 함께 넣고, 전체 메타강화학습 트라이얼에 대해 PPO로 모든 모듈을 종단간 학습한다. 즉 빠른 적응을 에피소드 내 온라인 메모리 갱신과 에피소드 간 증거 집계로 나눠, 전체 상호작용 이력에 어텐션하지 않고도 긴 메타테스트 이력을 조건으로 삼는다.

어떻게 쓰나

실험은 MuJoCo HalfCheetahVel, Meta-World ML1/ML10/ML45, 희소 보상 PointMaze에서 한다. 비교 대상은 RL2, MAML, PEARL, VariBAD, TrMRL, ECET, AMAGO이고 다섯 시드 평균과 표준오차를 보고한다. HalfCheetahVel에서는 제한된 학습 예산에서도 빠르게 개선되고 학습 분산이 낮으며 첫 에피소드부터 안정적인 수익을 유지한다. PointMaze에서는 메타학습과 메타테스트 모두에서 성공률이 다른 베이스라인보다 크게 높고, 표 1에서 가장 높은 커버리지, 가장 낮은 연속 에피소드 자카드 중첩, 가장 적은 상호작용 스텝을 기록해 반복 탐색을 줄이고 더 넓게 탐색한다고 주장한다. Meta-World ML1에서는 적응 에피소드가 진행되며 빠르게 향상되고, ML10/45에서는 다양한 과제군에서 큰 차이로 앞선다. 특히 메타학습에서 보지 못한 홀드아웃 과제군 테스트에서 최대 약 40% 성공률 차이를 보이며, 초록 기준으로 미학습 ML10/45 테스트 환경에서 50% 넘는 성공률을 낮은 학습 예산과 짧은 실제 시간으로 달성했다고 보고한다. 문맥 표현의 t-SNE와 코사인 유사도 분석도 과제군별 구조를 보인다.

전제와 한계

온라인 메모리 갱신의 기여를 분리한 절제 실험도 중요하다. 온라인 갱신을 끄고 에피소드 간 집계만 남기면 PointMaze 테스트 성능이 크게 떨어져, 유용한 증거가 희소하고 상호작용을 통해 축적해야 할 때 지속적인 에피소드 내 적응이 특히 중요하다. 반대로 ML10에서는 목표가 관측되어 과제군 식별이 주된 적응이라 두 변형이 비슷하다. 목표가 숨겨진 ML1 Push에서는 온라인 갱신이 있을 때 이전 에피소드 정보가 없는 첫 평가 에피소드부터 성공률이 크게 높고, 없을 때는 25 에피소드 뒤에도 전체 모델보다 낮다. 따라서 에피소드 간 집계만으로는 상호작용에서 과제 정보를 추론해야 하는 경우의 이점을 회복하지 못한다고 주장한다.

계산 효율도 논문의 핵심 주장이다. ML10에서 METTA는 트랜스포머 기반 방법보다 더 좋은 성능을 더 낮은 GPU 시간으로 달성하고, 널리 쓰는 베이스라인과 비슷한 학습 시간을 유지한다. 추론 복잡도는 에피소드 길이 T, 트라이얼 내 에피소드 수 E에 대해 어텐션 기반 집계가 O(E^2 T), EMA가 O(ET)이며, TrMRL은 O(E^2 T^2), ECET는 O(ET^3+E^3 T)로 제시된다. 일반적으로 E가 T보다 작아 시간 단계 수준 이력 의존이 지배적이고, TTT의 내부 갱신은 스텝당 상수 비용으로 시간 단계 이력에 따라 커지지 않는다고 설명한다.

개발자 관점에서는 긴 호라이즌, 희소 보상, 여러 에피소드에 걸친 과제 증거 축적이 있는 메타강화학습에서 전체 이력 어텐션 비용을 피하려는 설계로 참고할 만하다. 다만 논문은 같은 숨은 과제에서 여러 에피소드를 연속 수행하는 고정 과제 트라이얼 설정을 전제로 하며, 저자들은 결론에서 과제 구조나 동역학, 보상이 시간에 따라 변하는 지속·비정상 환경으로 확장하려면 에피소드 간 메모리에 시간·최근성 정보를 넣는 연구가 필요하다고 밝힌다. 또한 에피소드 간 어텐션 집계는 에피소드 수에 대해 이차 비용을 가지므로 E가 커지는 실제 배포에서는 EMA나 다른 집계 방식과의 trade-off를 확인해야 한다.