인간 의도가 확산 모델 최적화 과정에서 어떻게 변형되는지 추적한 리뷰

무엇인가

이 논문은 새로운 기법을 제안하는 연구가 아니라, 확산 모델 최적화 연구를 '인간 의도(human intent)'라는 관점으로 다시 엮은 체계적 문헌 리뷰다. 문제의식은 명확하다. 미적 품질, 텍스트-이미지 정합도, 학습된 선호 점수 같은 측정 가능한 목표는 최적화하기 쉽지만, 그것이 사용자가 실제로 원한 것과 일치하는지는 거의 검증되지 않는다. 인간의 요구는 다차원적이고 맥락 의존적이며 대화 과정에서 변하는데, 기존 방법은 이를 고정된 지표로 근사한다. 저자들은 이 근사가 인간 의도의 일부만 포착하며 최적화 과정에서 원래 의도로부터의 편차를 오히려 증폭시킬 수 있다고 본다. 즉 점수가 높아졌다고 해서 사용자 기대에 더 부합하는 결과가 나오는 것은 아니라는 것이다.

어떻게 동작하나

방법론은 2020년 1월부터 2026년 9월까지 ACM Digital Library, IEEE Xplore, Web of Science, Scopus, arXiv를 검색한 체계적 문헌 리뷰다. 검색어는 확산 모델, 최적화 기제(강화학습, RLHF, DPO, 보상 최적화, training-free guidance, 추론 시점 최적화, 잠재·궤적 최적화), 인간 의도·상호작용(인간 선호, 피드백, 정렬, 개인화, 반복 개선, 인간-AI 공동 창작)의 세 개념군으로 구성했다. 키워드 누락을 줄이기 위해 대표 연구에 대한 전방·후방 인용 추적을 병행했다. 포함 기준은 두 가지다. 확산 모델이 주 생성 기제이고 제안 방법이 모델 파라미터나 생성 과정을 실제로 바꿔야 하며, 최적화 목표가 사용자 피드백·평가·보상 모델 같은 프록시를 통해 인간의 필요·선호와 직간접적으로 연결되어야 한다. 사전학습, 모델 압축, 샘플링 가속, 증류, 수치 해법 효율만 다룬 연구는 제외했고, 최적화 없이 상호작용·평가만 다룬 HCI 연구는 핵심 코퍼스가 아닌 맥락 참조로만 활용했다. 이렇게 모은 문헌을 알고리즘 유형이 아니라 의도 표현, 최적화 기제, 실패 모드와 트레이드오프, 인간 중심 검증의 네 축으로 재코딩했다.

무엇과 다른가

논문이 정의하는 '인간 중심 확산 모델 최적화'는 인간의 필요와 관련된 목표를 얻어 그것으로 모델 행동이나 생성 궤적을 능동적으로 바꾸는 것이다. 이 목표는 사용자에게서 직접 오거나 프록시 모델을 거쳐 온다. 저자들은 실행 경로를 두 갈래로 나눈다. 모델 수준 최적화는 파라미터를 갱신해 이후 생성 전반에 비교적 지속적인 적응을 만든다. 생성 수준 최적화는 베이스 모델을 고정한 채 가이던스, 잠재 변수 조정, 궤적 개입으로 현재 생성만 바꾼다. 두 경로는 최적화 기제뿐 아니라 사용자가 개입할 수 있는 시점과 방식이 다르다. 리뷰는 이 차이를 유지한 채 네 개의 연구 질문으로 문헌을 다시 배열한다. 의도가 어떻게 표현·번역되는가(RQ1), 어떤 기제로 모델 행동에 반영되는가(RQ2), 어떤 긴장과 실패 모드가 생기는가(RQ3), 그리고 자동·인간 평가로 정렬이 어떻게 검증되는가(RQ4)다.

어떻게 쓰나

이 리뷰의 핵심 개념적 산출물은 두 가지 불일치를 구분한 것이다. Human–Proxy Gap은 인간 의도와 그 계산적 대표 사이의 구조적 불일치로, 프록시가 의도의 일부만 담기 때문에 생기며 최적화 과정에서 증폭될 수 있다. Human–Proxy Disagreement는 그보다 관찰 가능한 층위의 현상으로, 보상 점수나 미적 평가, 정합도 점수가 올라갔는데 실제 사람의 선호 판단에서는 같은 개선이 나타나지 않는 경우를 가리킨다. 저자들은 평가 대상과 최적화 대상이 같거나 긴밀히 연결되어 있으면 점수 상승이 독립적인 정렬 개선의 증거가 되지 못한다고 지적한다. 또한 다목적 설정에서 기존 방법이 고정 가중치로 여러 목표를 정적으로 결합해, 과제와 사용자에 따라 변하는 중요도를 반영하지 못하고 일부 목표만 강화하다 다른 목표를 희생시키는 문제를 실패 모드로 든다. 다양성 감소, 창의적 탐색과 사용자 주도성(agency)의 위축, 최적화 비용도 트레이드오프로 함께 언급된다.

전제와 한계

실험이나 정량 결과는 없다. 이 논문은 저자들이 직접 돌린 실험이나 사용자 연구 없이 기존 연구에 보고된 증거를 종합하는 리뷰이며, 원문에 데이터셋·베이스라인·개선폭 같은 수치는 제시되지 않았다. 대신 기존 평가 관행을 자동 지표와 인간 기반 검증으로 나눠 분석한다. 자동 지표는 확장성과 표준화된 비교를 제공하지만, 인간 기반 평가 역시 누가 판단하는지, 무엇을 평가하는지, 평가 환경이 실제 사용 맥락을 닮았는지에 따라 인간 중심 검증이 되지 못할 수 있다고 본다. 개인화 시스템이라면 일반 참가자의 선호가 아니라 해당 사용자의 판단이 필요하고, 전문 작업이라면 전문가 평가나 도메인 기준이 필요하다는 것이다. 여기에 더해 리뷰 문헌 대부분이 완성된 이미지에 대한 일회성 평가에 머물러, 사용자가 관찰·비교·수정하며 의도를 점진적으로 명확히 하는 상호작용 과정과 반복 사용에 따른 신뢰·통제감·수용도의 변화를 포착하지 못한다는 공백을 지적한다.

개발자 관점에서 이 논문의 실용적 가치는 파이프라인 점검표에 가깝다. 보상 모델이나 선호 데이터로 파인튜닝하거나 추론 시점 가이던스를 넣을 때, 최적화 목표로 쓰는 프록시가 사용자 요구의 어느 차원을 담고 어느 차원을 버렸는지 먼저 적어보라는 것이다. 그리고 평가 지표를 최적화 지표와 분리해 두어야 한다. 같은 보상 모델로 최적화하고 같은 계열 평가자로 채점하면 점수는 오르지만 그것이 사용자 만족의 증거는 아니기 때문이다. 다목적 가중치를 고정해 둔 시스템이라면 컨텍스트에 따라 가중치를 조정할 여지를 남겨야 하고, 개인화 기능이라면 대상 사용자 집단에서 직접 평가를 받아야 한다. 마지막으로 오프라인 일회 평가만으로는 다회 생성에 걸친 의도 변화와 사용자 통제감을 검증할 수 없다는 점을 감안해야 한다.

저자들이 밝힌 한계는 분명하다. 첫째, 새 실험이나 사용자 연구 없이 기존 연구 보고를 종합한 것이므로 최적화 전략과 사용자 경험 사이의 새로운 인과관계를 확립하지는 못하며, 행위 주체성·변화하는 의도·창의적 탐색·장기 만족도는 리뷰 문헌에서 일관되게 다뤄지지 않았다. 둘째, 인간 중심 확산 모델 최적화의 범위가 이 리뷰의 조작적 정의와 포함 기준에 의존하기 때문에, 인간 친화적 상호작용을 명시하지 않은 보상 최적화 연구나 선호 최적화 없이 사용자 통제만 제공하는 연구가 경계 밖으로 빠질 수 있다. 셋째, HCI·컴퓨터 비전·머신러닝 간 용어 차이가 검색 결과에 영향을 주고, 하나의 방법이 여러 기제에 걸치는 경우 분류에 방법론적 판단이 개입한다. 넷째, 분야가 빠르게 변하므로 제시된 범주는 닫힌 분류가 아니라 검토 시점의 분석적 기술로 읽어야 한다. 향후 과제로는 더 풍부한 의도 모델링, 적응적 목표 조정, 인간 중심 평가, 행위 주체성·안전·배포 문제를 제안한다.