Mem4Act가 고정 크기 잠재 메모리로 장기 로봇 조작을 해결한다

무엇인가

장기 로봇 조작은 본질적으로 메모리 문제다. 부분 관측 환경에서는 결정에 필요한 정보가 필요해지기 훨씬 전에 시야에서 사라진다. 논문이 드는 예에서 블록 색깔은 초반에 관측되지만 덮이는 순간 가려지고, 이후 정책은 그 색을 기억으로만 복원해야 한다. 기존 접근은 크게 세 갈래인데, 원본 관측 이력을 그대로 넣으면 비전-언어 백본이 계속 길어지는 시퀀스에 어텐션해야 해서 계산·메모리 비용이 증가하고 장기 구간에서 인과 혼동이 생긴다. 반대로 키프레임 선택, 프레임별 토큰 압축, 언어 요약은 시간적 커버리지나 미세한 시각 디테일, 나중에야 중요해지는 지각 단서를 잃을 위험이 있다. 저자들은 과거 관측을 정책에 그대로 노출하는 historical context와, 과거 상호작용 정보를 변환·유지해 미래 결정에 쓰는 memory를 구분하고, Mem4Act를 에피소드 내내 갱신되는 고정 용량 잠재 상태로 구현한다.

어떻게 동작하나

논문은 효과적인 잠재 메모리가 coverage, content, utilization이라는 세 가지 맞물린 문제를 풀어야 한다고 본다. 제한된 용량을 긴 이력에 어떻게 배분할지, 나중에 쓸 정보를 무엇으로 남길지, 그리고 정책이 실제로 메모리에 의존하게 만들지다. 행동 감독만으로는 서로 다른 이력이 같은 즉각 행동을 낳을 수 있어 메모리 내용에 대한 감독이 약하고, 현재 관측만으로 예측 가능한 행동이 많아 정책이 역사 정보를 무시하도록 학습될 수 있다는 것이 문제의식이다.

무엇과 다른가

첫 번째 구성 요소는 구조적 메모리 형성이다. 각 과거 프레임은 π0.5와 공유하는 SigLIP 비전 인코더로 인코딩되고, 특징 그리드를 4×4, 즉 16개 시각 토큰으로 공간 풀링한 뒤 고유수용 상태, 상대 시간, 실행 단계(시연 프레임인지 온라인 관측인지) 임베딩을 더해 이력 시퀀스를 만든다. 메모리 토큰 전체가 이력 전체에 어텐션하면 여러 토큰이 같은 두드러진 사건에 몰리고 다른 구간은 커버되지 않으므로, 미세-조대(fine-to-coarse) 시간 구조를 강제한다. 학습 가능한 S개 메모리 토큰을 레벨마다 G개의 연속 시간 윈도로 나누고, 같은 S개 슬롯을 대응 그룹으로 쪼개 각 그룹이 자기 윈도에만 크로스 어텐션하게 한다. 레벨이 올라갈수록 G를 줄여 더 넓은 윈도를 담당하게 하며, 기본값은 32→16→8 윈도 계층이다. 마지막에 전역 셀프 어텐션으로 토큰 간 정보를 교환해 고정 크기 잠재 메모리를 완성한다.

어떻게 쓰나

두 번째는 메모리 전용 감독이다. 하위 목표 주석에서 메모리 의존 질문을 만들어, 메모리를 PaliGemma-2B VLM 임베딩 공간으로 투영한 뒤 질문들을 무작위 순서로 이어 붙이고 정답 토큰에 대한 음의 로그우도 손실을 건다. 여기에 더해 최대 K개의 전면/헤드 뷰 키프레임에 대해 동결된 DINO 인코더 특징을 캐시해 두고, 학습 가능한 특징 예측기가 메모리로부터 이를 재구성하도록 MSE 손실을 준다. 픽셀 단위 손실이 큰 정적 영역에 치우치거나 단일 프레임 재구성이 시간적 변화를 약하게 감독하는 문제를 피하려는 설계다. 세 번째는 메모리 조건부 정책으로, π0.5 행동 전문가의 각 레이어에서 행동 은닉 상태가 메모리에 크로스 어텐션하고 그 결과를 특징별 스케일 γ와 시프트 β로 변환해 FFN 입력을 변조한다. 잔차 스트림과 현재 관측·언어 처리 경로는 그대로 보존된다. 학습은 메모리 우선 2단계다. 1단계에서는 사전학습 VLA 백본을 얼리고 메모리 인코더, 메모리-VLM 투영, DINO 디코더만 QA와 DINO 손실로 학습해 이력에 근거한 표현을 먼저 세운다. 2단계에서는 행동 손실에 두 메모리 목표를 유지한 채 정책과 메모리를 공동 학습하되, 메모리 인코더만 0.1배 학습률을 써서 사전학습 표현이 무너지지 않게 한다.

전제와 한계

실험은 29개 장기 조작 과제에서 이뤄졌다. RoboMME의 단일 팔 16개 과제에서 49.88% 성공률로 최고 성능을 냈고, 가장 강한 베이스라인인 FrameSamp+Modul을 5.37%포인트 앞섰다. 시간·객체 중심·절차 기억에 해당하는 Counting, Reference, Imitation에서 최고 점수를 냈으며, Permanence에서는 MemER이 53.17%로 앞섰다. RMBench의 양팔 9개 과제에서는 과제별 모델을 따로 만드는 기존 방식과 달리 단일 정책으로 61.0%를 기록해 NativeMEM을 12.3%포인트 앞섰다. 단일 과거 관측만 필요한 M(1) 과제에서는 76.8% 대 75.8%로 비슷했지만, 여러 관측을 기억해야 하는 M(n) 과제에서는 41.3% 대 14.8%로 격차가 26.5%포인트까지 벌어졌다. 실세계에서는 YAM 양팔 로봇과 RealSense 카메라 3대로 과제당 70개 시연을 모아 50회씩 평가했고, 평균 81.5%로 GPT-6 Astra(xhigh) 42.5%, FrameSamp+Modul 42.0%를 크게 앞섰다. 실세계 에피소드 중앙 길이가 982프레임으로 RoboMME의 430프레임보다 길고 시험 trial은 약 1200프레임이라, 같은 512토큰 예산에서 MME-VLA 계열이 최대 32장 이미지만 쓸 수 있어 시간 커버리지가 희박해지는 상황이 이 격차를 설명한다고 저자들은 분석한다.

절제 실험은 설계 선택의 근거를 수치로 보여준다. 같은 32→16→8 계층에서 메모리를 128, 256, 512토큰으로 늘리면 성공률이 40.13%, 44.25%, 49.88%로 오르지만 1024토큰에서는 42.75%로 떨어진다. 구조화된 128토큰 모델이 마스크 없는 전체 이력 어텐션에 512토큰을 준 모델보다 이미 낫다. 512토큰 고정에서 32→32→32 반복 집계는 36.88%에 그친 반면, 32→8은 43.13%, 기본 32→16→8은 49.88%를 냈고 더 거친 16→8→4와 더 잘게 쪼갠 64→32→16도 기본값에 못 미쳤다. 감독 목표는 상호 보완적이어서 QA는 의미 과제(58.80% 대 55.60%), DINO는 지각 과제(50.67% 대 45.33%)에 강했고, 둘을 합치면 공동 과제 37.60%와 전체 49.88%로 최고였다. 1단계 학습에서 행동 감독에 QA와 DINO를 더하면 31.50%에서 33.38%로 오른다. 2단계에서 메모리를 얼리면 18.38%로 급락하고, 0.1배 학습률이 49.88%로 최고, 1.0배는 43.25%, 1단계 학습은 33.38%였다. 추론 시 같은 과제의 다른 롤아웃 이력으로 바꿔치기하는 교란 실험에서 2단계 변형들이 1단계보다 성능 하락이 커, 실제로 롤아웃 특정 메모리에 더 의존한다는 증거로 제시된다.

개발자 관점에서 이 논문의 실용적 메시지는 컨텍스트를 늘리는 대신 고정 크기 인터페이스를 유지하는 쪽이 장기 과제에서 유리하다는 것이다. 512토큰이라는 상한이 있으면 지연시간과 메모리 사용량을 예측할 수 있고, 에피소드가 길어져도 비용이 늘지 않는다. 다만 그 상한을 그냥 두면 정보가 사라지므로, 시간 계층 구조로 커버리지를 확보하고, 행동 손실 외에 의미·지각 감독을 붙이고, 메모리를 먼저 학습시킨 뒤 낮은 학습률로 정책에 맞춰 미세 조정하는 순서가 필요하다는 것이 재현 시 확인할 지점이다. 특히 2단계에서 메모리를 얼리면 18.38%까지 떨어진다는 결과는 보조 목표로만 학습한 표현을 그대로 쓰면 안 된다는 경고로 읽힌다.

원문에 별도의 한계 절은 제시되지 않았지만, 전제는 곳곳에 드러난다. 메모리는 512토큰 고정 예산을 전제로 하며 1024토큰에서는 오히려 성능이 떨어진다. QA 감독은 하위 목표 주석에서 질문을 파생하므로 이런 주석이 없는 데이터에는 그대로 적용하기 어렵고, DINO 재구성은 키프레임과 캐시된 목표 특징에 의존한다. 실세계 평가는 4개 과제, 과제당 70개 시연과 50회 시험으로 규모가 제한적이며, 학습에는 8장의 RTX PRO 6000 Blackwell GPU가 동원된다. 또한 저자들 스스로 2단계에서 메모리 인코더를 0.1배 학습률로만 갱신하는 것이 사전학습 표현 보존과 제어 적응 사이의 균형점이라고 밝히고 있어, 이 비율이 데이터 규모에 따라 달라질 수 있는 하이퍼파라미터임을 시사한다.