PAL은 절차적 생성기로 최악 오류를 찾아 훈련한다

무엇인가

이 논문은 평균 오차가 낮아도 사람에게 쉬운 장면에서 실패하는 비전 모델의 문제를 다룬다. 자율주행차, 수술 로봇, 중장비처럼 지각 실패가 위험한 응용에서는 평균 성능보다 최악 조건의 오류가 중요하다. 그러나 고정 데이터셋만으로는 실패 사례가 포함되지 않을 수 있고, 전체 과제 공간의 최대 오류를 유한 샘플로 추정하기 어렵다. 저자들은 실패를 먼저 찾아야 줄일 수 있다는 전제 아래, 데이터와 모델 크기 확장만으로 해결되지 않는 문제를 다룬다.

어떻게 동작하나

해법의 중심은 절차적 생성기다. 생성기는 저차원 제어 파라미터 u∈[0,1]^d를 렌더링 이미지 x_u와 정답 라벨 y_u로 보내는 결정론적 함수 g로 정의된다. 파라미터는 배치, 조명, 자세처럼 해석 가능한 장면 속성을 제어한다. PAL은 절차적 적대적 훈련(PAT)과 절차적 적대적 평가(PAE)로 구성된다. 훈련에서는 학습자가 네트워크를 업데이트하는 동안 적대자가 최악 사례를 찾고, 평가에서는 강한 적대자가 같은 파라미터 공간에서 모델이 가장 어려워하는 구성을 탐색한다. 이미지 공간의 작은 픽셀 교란을 찾는 고전적 적대적 학습과 달리, 생성기의 제어 공간을 탐색해 물리적으로 타당하고 다양한 장면을 온디맨드로 만든다는 점이 구분점이다. 도메인 랜덤화처럼 평균 성능을 보는 것이 아니라 평가 자체를 같은 공간의 최악 사례 탐색으로 한다.

무엇과 다른가

Simple-PAT는 이 게임을 제로차 CMA-ES로 구현한다. k개의 CMA-ES 인스턴스 π1…πk를 유지하고, 각 스텝의 배치는 n0개의 균등 샘플과 각 πi에서 뽑은 λ개 샘플로 구성된다. 모든 데이터에 순전파를 수행한 뒤 그 결과로 CMA-ES 파라미터를 갱신하고, 이어서 역전파와 옵티마이저 스텝을 수행한다. CMA-ES는 다변량 정규분포로 후보를 샘플링하는 제로차 최적화기이며, 배치 계산과 샘플 다양성에 맞게 대각 공분산을 사용한다. 저자들은 2세대에 걸쳐 갱신을 풀링해 목적함수의 비정상성을 일부 흡수하고, 일시적으로만 존재하는 최적점에 과도하게 집중하지 않게 한다. R 스텝마다 오류항과 분리항을 합친 적합도로 가장 약한 인스턴스를 리셋해 지역 최소와 중복 수렴을 완화한다. 설계 원칙은 최악 사례 근처의 커버리지, 배치 내 다양성, 렌더링·평가한 샘플의 계산 재사용이다.

어떻게 쓰나

PAL-Dojo는 이 프레임워크를 분석할 생성기 모음이다. 표면 법선 추정은 25개 파라미터로 파도 13개, 광원 방위·고도 2개, 체커보드 텍스처 10개를 제어하며 24개 연속 파라미터와 파도 수를 정하는 1개 이산 파라미터로 구성된다. 평가지표는 평균 각도 오차다. Chair-Simple은 방·카메라 5개와 객체 타입·형태·위치 8개, 총 13차원이고 픽셀 단위 BCE를 쓴다. Chair-Full은 69차원으로 바닥의 16×16 격자에 최대 8개 객체를 순차 배치하며, 기존 객체와의 비충돌, 방 경계, 비가림 조건을 만족하는 유효 셀 중 목표 셀에 가장 가까운 곳에 놓는다. 이 배치 절차는 문제를 다루기 쉽게 만들지만 불연속성과 민감한 파라미터를 도입한다. 자세 추정은 객체 슬롯 3개와 사람 슬롯 1개를 두고, MakeHuman 기반 Anny 모델에 5개 신원 좌표와 CMU 모션 캡처 자세를 원형 분석으로 줄인 9개 자세 좌표를 사용한다. 뒤집힌 자세 원형 2개를 제거한 10개 원형의 혼합 가중치가 자세를 결정하며, 평가지표는 가시 관절만 계산하는 루트 정렬 MPJPE다.

전제와 한계

실험은 균등 학습, CVaR, tilted ERM과 비교한다. 각 과제에서 5M~7.8M 파라미터 네트워크를 20,000 스텝, 배치 256으로 훈련하고 별도 언급이 없으면 Muon을 쓴다. 평가는 훈련 후 블랙박스 최악 사례 탐색인 PAE로 한다. 단일 모델 평가는 2M 쿼리를 DIRECT-L 1M과 CMA-ES 1M에 나누며, 평가용 CMA-ES는 인구 512, 전체 공분산, IPOP 재시작, 정상 목적함수를 사용해 훈련 때보다 강한 탐색을 한다. 교차 모델 평가는 5개 방법×5개 시드의 최악 사례를 모아 총 50M 쿼리가 되지만 각 모델은 여전히 2M 쿼리만 받는다. 결과적으로 Simple-PAT가 네 과제 모두에서 가장 강건했다. 균등 Muon 대비 교차 모델 최악 오류는 법선 2.71배, Chair-Simple 6.64배, Chair-Full 3.08배, 자세 1.78배 줄었고, 각 과제의 가장 강한 베이스라인 대비로는 2.31배, 4.41배, 2.74배, 1.71배 줄었다. 초록 기준으로는 표준 학습 대비 기하평균 3.15배, 가장 강한 강건 학습 베이스라인 대비 2.63배 감소다. 16개 비교 모두 p=0.05에서 유의했고 실제 p값은 0.0079로, 모든 Simple-PAT 시드가 다른 모든 베이스라인 시드보다 나은 최악 사례를 보였다.

일반 성능도 완전히 희생되지는 않았다. 자세와 법선 과제에서 Simple-PAT는 강건 학습 방법 중 가장 좋은 중앙값을 보였고, 모든 방법을 통틀어 테스트 세트 최대 오류가 가장 낮았다. 자세 과제의 중앙값은 균등 Muon보다 1.1cm 나빴지만 평가 최악 사례는 25cm 개선됐다. 두 의자 과제의 중앙값은 256×256 이미지에서 몇 픽셀만 0.5 확률로 예측해도 BCE가 최소 6.3×10^-5가 되는 수준과 비슷하다고 설명한다. 다만 의자 과제의 테스트 세트 최대 오류는 Simple-PAT가 다른 방법보다 높았고, 그 증가폭은 최대 0.026 BCE로 교차 모델 오류 감소폭 최소 1.4 BCE에 비해 작다. 한편 SOTA 기반 모델 평가에서 MoGe-2, SAM 3, SAM 3D Body는 10^6 쿼리(자세는 10^5)의 단일 CMA-ES 탐색만으로도 평균보다 훨씬 큰 오류를 보였다. SAM 3D Body의 최악 관절 오차는 1m를 넘었고, 두 의자 과제의 최악 오류는 중앙값의 270배를 넘었다. 법선 과제의 파라미터 공간을 8^6=262,144개 구간으로 나눈 분석에서는 Simple-PAT가 상위 1%와 0.1% 구간을 각각 40배, 176배 더 많이 샘플링해, 균등 학습이 같은 노출을 얻으려면 40배 또는 176배 더 오래 훈련해야 함을 보였다.

저자들이 밝힌 가장 큰 전제는 최악 사례가 유한 쿼리로 정확히 계산되지 않는다는 점이다. 그래서 평가는 계산 예산 안에서 블랙박스로 모델을 찔러 보는 최선의 적대자를 쓰고, 그 결과를 평가 최악 사례라고 부른다. 또한 최악 오류가 의미 있으려면 모든 파라미터 u에 대해 라벨이 이미지로부터 풀 수 있어야 하며, PAL-Dojo는 이 조건을 만족하도록 설계됐다. Chair-Full처럼 69차원으로 높고 배치 불연속성이 있는 과제에서는 단일 모델 탐색이 Simple-PAT의 어려운 사례를 놓쳤고, 교차 모델 평가가 최악 사례를 2.65배 키웠다. 이는 복잡한 환경의 최악 사례 평가 자체가 어렵다는 점을 보여준다. 방법은 해석 가능한 저차원 제어와 빠른 렌더링을 가진 생성기, 그리고 실패가 파라미터 공간의 작은 영역에만 있거나 하나를 배우면 이전 장면을 잊는 상황에 의존한다. 따라서 논문의 결과는 생성기가 정의한 과제 공간의 최악 사례이지 임의의 실제 이미지 분포 전체에 대한 보장은 아니다.