Scene-Designer가 설계와 비평을 함께 학습해 3D 실내 장면을 생성한다

무엇인가

이 논문은 자연어 지시로 완전하고 일관되며 사용 가능한 3D 실내 장면을 만드는 문제를 다룬다. 저자들은 핵심을 단순 객체 배치가 아니라 설계 지능, 즉 장면을 설계하는 능력과 그 품질을 비평하는 능력으로 정의한다. 기존 접근은 도메인 설계 경험이 없는 범용 모델에 의존하거나 정적인 장면 상태만 학습한다. 진단 실험에서 GPT-5.2는 강한 장면 구축 스캐폴드로도 오류를 인식하지만 불필요한 수정을 반복했고, 100개 장면 분석에서 창 접근 차단 오류의 약 18%가 5회 이상 수정 동작을 요구했다. 장면 비평에서도 범용 모델은 물리적 타당성, 기능적 정확성, 배치 일관성을 함께 구분하는 데 한계를 보인다.

어떻게 동작하나

해결은 두 데이터셋과 2단계 학습으로 구성된다. Scene-OTA-35K는 1K 장면과 35K Observation–Thought–Action 단계를 담는다. 원시 궤적은 SceneSmith 스캐폴드와 GPT-5.2로 생성하고 고품질 장면을 수동 선별해 얻는다. 저자들은 Causal Trajectory Consolidation으로 비효율 동작을 제거한다. 각 동작에 대해 최종 상태와의 차이 변화 Δstate와 남은 오류 감소 Δerror를 계산해, 장면 상태를 개선하지도 오류를 줄이지도 않는 동작을 후보로 표시한다. 이어 GPT-5.2가 장면 상태, 환경 피드백, 구축 문맥을 보고 수정 효과를 평가하고, 하류 기여가 없는 비효율 동작만 제거한다. 통합된 궤적은 재생해 최종 장면 상태가 같음을 검증하며, 평균 길이는 약 110단계에서 30단계로 줄었다. Scene-OTC-15K는 약 15K 비평 예제로, 경미한 배치 편차, 기능 저하, 심각한 물리 위반의 세 단계 교란을 사용해 품질 순위를 만든다. 누적 교란, 같은 객체에 다른 강도 적용, 다른 객체에 같은 교란 적용의 세 전략을 쓰며 앞의 두 전략은 교란 강도로 자동 순위화하고 세 번째는 객체의 기능적 역할 때문에 수동 주석을 한다. GPT-5.2가 렌더링과 품질 차이로부터 추론 흔적을 만들어 Observation–Thought–Critic 감독을 형성한다. 두 데이터셋에 대한 공동 SFT로 Scene-Builder를 얻는다.

무엇과 다른가

Scene-GRPO는 Scene-Builder를 Scene-Designer로 바꾸는 Critic-guided GRPO다. Scene-Builder를 복제해 하나는 고정된 Critic, 하나는 학습 가능한 정책으로 초기화한다. 각 편집 단계에서 같은 부모 장면으로부터 여러 후보 행동을 샘플링해 자식 장면을 만들고, 고정된 Critic이 물리적 타당성, 기능적 정확성, 배치 일관성 기준으로 유효 후보의 순위를 매겨 최상위 분기로 궤적을 계속한다. 보상은 두 국소 신호가 중심이다. 분기 순위 보상은 같은 부모에서 나온 형제 장면을 비교해 더 나은 설계 선택을 선호하게 하고, 개선 보상은 자식과 부모를 비교해 편집이 실제로 장면 품질을 높였는지 평가한다. 여기에 형식 보상, 전역 길이 보상, 객체 완전성 보상이 안정적이고 효율적인 학습을 보조한다. 정책은 표준 GRPO 목적함수로 최적화된다. 추론 시에도 각 편집 단계에서 네 후보 분기를 만들고 Critic이 순위를 매겨 가장 유망한 분기를 선택하는 테스트 시 Critic 가이던스를 적용할 수 있다.

어떻게 쓰나

실험은 Qwen3-VL-8B-Instruct를 베이스로 전체 파라미터 미세조정으로 진행됐다. SFT는 4대 A800에서 2에포크, 학습률 1×10^-5, 코사인 스케줄, 워밍업 비율 0.08로 훈련했다. Scene-GRPO는 정책과 Critic 모두 SFT 모델에서 초기화하되 정책만 갱신하고, 편집 단계마다 4개 분기, GRPO 그룹 크기 4, 최대 궤적 길이 80, 학습률 1×10^-6을 사용했다. 평가는 모든 LLM 기반 방법에 Design me a {room_type} 프롬프트를 쓰고 방 유형별로 10개 장면을 생성해 비교했다. 물리적 타당성은 객체 수 #Obj 증가, 경계 밖 객체 #OB 감소, 객체 충돌 #CN 감소로 측정하고, 시각-의미 품질은 GPT-4가 사실성, 기능성, 배치 품질, 완전성을 0~10점으로 평가했다. 본문은 표 1·2에서 다양한 방 유형의 전반적 성능 향상을 보고하지만, 표의 세부 셀 수치는 제시하지 않는다.

전제와 한계

수정 효율에서 Scene-Designer는 Scene-Builder보다 5회 이상 수정이 필요한 비율을 줄였다. 문 통행 방해는 15%에서 13%, 창 접근 차단은 21%에서 5%, 상호작용 방향 오류는 40%에서 7%, 규모 불일치는 50%에서 23%로 감소했다. 비평 모델 성능은 Scene-OTC 테스트 세트 94개 2장면 비교와 55개 4장면 순위에서 제시된다. 베이스 모델은 72%와 2%, GPT-5.2는 72%와 15%, OTC만 학습한 모델은 86%와 51%, OTA+OTC 공동 학습 모델은 89%와 76%를 기록했다. 이미지-라벨 순서를 다섯 번 섞은 강건성 평가에서도 2장면 90.00±2.07%, 4장면 75.64±6.88%로 원래 결과와 비슷했다. 순위 일관성에서는 Top-1 82%, Top-4 76%를 보였다. 보상 제거 실험에서는 어떤 보상을 빼도 성능이 떨어졌고, 특히 분기 순위 보상 제거 시 하락이 컸으며 개선 보상 제거도 성능을 낮췄다. 훈련 곡선에서는 분기 순위, 개선, 길이 보상이 전반적으로 상승해 정책이 더 나은 편집 선택과 효율적 구축을 함께 학습하는 경향을 보였다.

저자들은 설계와 비평이 상호 보완적이라고 주장한다. OTA만 학습한 정책과 OTA+OTC를 함께 학습한 정책을 비교한 정성 사례에서, 공동 학습 정책은 식당의 테이블, 의자, 뷔페, 조명을 더 일관된 기능 구성으로 묶고, 독서용 거실에서는 소파, 플로어 램프, 책장의 관계를 더 분명히 해 독서 코너를 형성했다. OTA만 학습한 정책은 객체 요구를 주로 충족하지만 기능적 정렬이 약했다. 이는 비평 학습이 구축 궤적만으로는 부족한 설계 지침을 제공할 수 있음을 보여준다. 또한 OTA+OTC Critic이 다른 평가자보다 높은 순위 일관성을 보인 점을 근거로, 신뢰할 수 있는 비평에는 장면 설계 과정에 대한 이해가 필요하다고 주장한다.

개발자 관점에서 이 논문은 3D 장면 생성 에이전트를 만들 때 원시 상호작용 로그를 그대로 학습하지 말고 최종 상태를 보존하는 선별·통합 과정을 거쳐야 한다는 실무적 힌트를 준다. 또 통제된 교란으로 자동 순위화 가능한 선호 데이터를 만들고, 학습된 Critic을 GRPO 보상과 추론 시 재정렬기로 함께 쓰는 구조를 참고할 수 있다. 다만 원문에는 별도 한계 절이 없고, 방법상 GPT-5.2를 원시 궤적과 추론 흔적 생성에 사용하며 고품질 장면 선별과 일부 교란 순위는 수동 주석에 의존한다. 평가도 GPT-4 기반 시각-의미 점수와 94개·55개 규모의 Scene-OTC 테스트 세트, 단일 베이스 모델 Qwen3-VL-8B에 기반하므로, 다른 모델·도메인·평가자로의 일반화는 별도 검증이 필요하다. 표 1·2의 세부 수치가 원문에 제시되지 않은 점도 결과 해석의 제약이다.