빠른 응답형 LLM에 숙고형 추론 능력을 얹는 방법을 묻는다

해커뉴스에 'How to make System 1 LLMs show System 2 competencies?'라는 제목의 글이 올라왔다. 한마디로, 즉답에 가깝게 동작하는 언어모델에 인간의 숙고형 사고에 해당하는 능력을 어떻게 붙일 것인가를 묻는 문제 제기다. 인지심리학에서 쓰는 System 1과 System 2 구분을 LLM 운영에 그대로 대입해 본 셈이다.

System 1은 빠르고 자동적이며 노력이 거의 들지 않는 판단을, System 2는 느리지만 의식적으로 단계를 밟아가는 추론을 가리킨다. 대부분의 LLM은 다음 토큰을 확률적으로 이어 붙여 답을 만든다. 구조적으로는 앞쪽에 가깝다. 그래서 이 질문의 핵심은 모델 자체를 갈아치우지 않고도 뒤쪽에 해당하는 능력을 끌어낼 수 있느냐에 있다.

이런 논의가 나오는 배경에는 지연시간과 정확도 사이의 줄다리기가 있다. 답을 내기 전에 중간 추론 단계를 더 생성하게 하거나, 별도의 추론 전용 모델에 문제를 넘기는 식의 접근이 이미 널리 쓰인다. 문제는 그렇게 만든 '느린 사고'가 항상 이득이 아니라는 점이다. 단순 분류나 추출 작업에까지 긴 추론을 붙이면 토큰 비용과 응답 시간만 늘어난다.

실무에서 이 질문이 중요한 이유는 라우팅 설계와 직결되기 때문이다. 어떤 요청을 빠른 경로로 보내고 어떤 요청을 숙고 경로로 보낼지, 숙고를 몇 단계까지 허용할지, 그 결과를 어떤 지표로 검증할지를 정해야 한다. 평가셋도 함께 손봐야 한다. 즉답형 모델이 우연히 맞힌 답과 단계를 밟아 도출한 답을 같은 점수로 처리하면 개선 여부를 판별할 수 없다.

다만 이 글은 해법을 제시하는 발표나 논문이 아니라 질문을 던지는 토론 성격이다. 제목 외에 구체적인 기법이나 수치, 특정 제품명은 확인되지 않았으므로 이 기사에서도 그것들을 단정하지 않는다. System 1과 System 2라는 틀이 LLM 설계에 얼마나 유용한 비유인지, 아니면 지나친 의인화인지는 여전히 열린 논쟁거리다.