하나의 1B 디코더가 개입 시점 판단과 메모리 기반 힌트 생성을 함께 수행한다

무엇인가

이 논문은 사용자가 이미 진행 중인 대화를 듣다가 필요할 때만 짧은 힌트를 끼워 넣는 프로액티브 어시스턴트를 다룬다. 이런 시스템은 호출되지 않으므로 언제 개입할지와 무엇을 제안할지를 스스로 결정해야 하고, 대부분의 후보 지점은 힌트가 필요 없다. 저자들에 따르면 이 코퍼스에서는 약 11.96%만 힌트가 필요하다. 기존 LlamaPIE식 구조는 작은 게이트와 더 큰 생성기를 분리하고 게이트가 발화할 때만 생성기를 호출한다. 저자들은 28,058개 결정 지점에서 두 단계를 함께 평가하고, 단계별 생성 점수는 오라클 게이트 상한이라는 점을 강조한다. 실제 게이트 뒤에서 end-to-end exact match는 0.2619로 상한 0.2971에 못 미치고 end-to-end precision은 0.2387이어서, 게이트의 가치는 정밀도와 연산 절감에서 나온다고 주장한다.

어떻게 동작하나

문제는 각 후보 개입 지점에서 게이트 값 g_i와 힌트 h_i로 나뉜다. 게이트 모델은 점수 p_i를 내고 임계값 t 이상이면 개입하며, 발화 시 대화 문맥과 사용자 메모리 프로필로부터 1~3토큰의 힌트를 생성한다. end-to-end exact match는 참조 트리거 집합에서 게이트가 전달한 정확 힌트 비율로 recall형이고, end-to-end precision은 발화한 모든 힌트 중 정확한 비율로 오경보를 벌점화한다. EM_e2e는 게이트 recall과 전달된 트리거에서의 exact match의 곱으로 분해된다. 메모리 프로필은 대화 전에 축적된 사용자별 지속 기억이며 생성기가 볼 수 있는 유일한 추가 정보다. 프로필은 선언적 산문과 이벤트 맵으로 구성되고 사실 단위로 분절되며, 테스트 트리거 3,356개에서 평균 11.99개 사실을 갖는다. 통합 디코더는 프로필을 포함한 하나의 프롬프트를 읽고 중간 레이어 k의 은닉 상태에서 게이트 헤드를 읽는다. 게이트가 발화하면 같은 forward pass에서 k+1부터 L까지 이어서 힌트를 생성한다. 신뢰도 기반 early exit처럼 중간 출력이 깊은 출력을 근사하는 것이 아니라, 깊은 연산을 할지 말지를 결정하는 라우터와 전문가가 같은 가중치인 구조다. 침묵 지점은 k/L 패스, 발화 지점은 한 패스로 비용이 계산된다.

무엇과 다른가

실험은 866개 대화의 28,058개 테스트 마커로 구성된다. 그중 24,702개는 침묵, 3,356개는 트리거이며 트리거 비율은 11.96%다. 모든 임계값은 검증 분할에서 F1을 스윕해 선택하고 테스트에서 보고하며, 검증 선택으로 인한 비용은 평균 0.0016 F1, 최대 0.0041 F1이었다. 게이트 비교에서 최고 디코더는 Llama-3.2-1B로 0.8002 PA-F1이었고, 이는 2단계 베이스라인이 사용하는 게이트다. RoBERTa-large는 자체 레시피에서 0.8113 PA-F1로 1.11점 높았지만 선택 임계값의 낙관성이 평균 0.0033, 95백분위 0.0079로 노이즈 플로어 0.0070과 비슷했다. 같은 LoRA 레시피에서는 RoBERTa-large가 0.7483으로 모든 디코더보다 낮았다. 표면 특징 21개를 쓰는 로지스틱 회귀는 0.3456 PA-F1에 그쳤고, 범용 LLM 프롬프트는 2,000개 표본에서 zero-shot 0.1381, 4-shot 0.1914였다.

어떻게 쓰나

힌트 품질은 메모리 프로필에서 나온다. 같은 어댑터에서 프로필을 제거하면 exact match가 24.73포인트 하락하고, rescaled BERTScore는 0.57에서 0.35로, ROUGE-1은 0.48에서 0.13으로 떨어졌다. 다른 샘플의 프로필을 넣은 경우는 프로필 없음과 구분되지 않았고(p=0.343), 이득을 길이와 내용으로 분해했을 때 길이 몫은 -1.33%에 불과했다. 프로필 없이 학습한 모델과 비교해도 효과는 23.63포인트였다. 프로필에 대한 추출 오라클은 목표가 프로필에 있을 때 0.9371에 이르지만, 미세조정 모델은 추출이 가능한 경우에도 그 상한보다 낮아 단순 복사가 아님을 보인다. 생성기 확대는 같은 계열에서 Llama-3.1-8B와 Llama-3.2-1B가 오라클 게이트 단계와 end-to-end 모두 exact match에서 동률이었다(p=0.79, p=0.338). 다른 계열의 Qwen2.5-7B는 오라클 게이트 exact match 35.79%로 앞섰지만 Instruct 체크포인트와 base 체크포인트를 비교한 교란이 있다. 검색은 도움이 되지 않았다. k=10과 k=5는 전체 프로필보다 유의하게 낮았고, 45개 검색 구성 중 전체 프로필을 Holm 보정 후 이긴 것은 없었다.

전제와 한계

통합 모델은 최종 체크포인트에서 k=6 게이트 0.8022, k=10 게이트 0.8164 PA-F1로 2단계 게이트 0.8002와 비교된다. k=6 차이 +0.0020은 노이즈 플로어 안이고 k=10 차이 +0.0162는 넘는다. 3시드 반복에서는 k=10 평균 0.8022가 2단계 게이트와 동률이었고, k=6 평균 0.7846은 0.0156 낮아 노이즈 플로어 밖이었다. 실제 게이트 뒤 end-to-end exact match는 1B 생성기에서 0.2619로 상한 0.2971에 못 미쳤고, 8B는 0.2548 대 0.2947, Qwen2.5-7B는 0.3084 대 0.3579였다. 배포 지점의 end-to-end precision은 0.2387이고, 1% false-alarm 예산으로 조이면 precision은 0.3011로 오르지만 exact match는 0.2122로 내려간다. 게이트는 생성기 호출을 7.62배 줄이며, 그 절감은 8B 생성기 대비 4.39배, 1B 대비 1.38배의 wall-clock 절감이 된다. 게이트 자체가 gated 1B 파이프라인 실행 시간의 82%, prefix-cache 비율 적용 시 약 53%를 차지하기 때문이다. 통합 모델은 최종 체크포인트에서 두 2단계 파이프라인보다 높은 end-to-end exact match와 precision을 보였고, k=6에서 matched 1B 파이프라인보다 1.76배, 8B 파이프라인보다 3.41배 적은 wall-clock을 기록했다. CPU에서는 ONNX Runtime NF4에서 k=6 게이트가 마커당 1,793ms, k=10이 2,909ms였고 발화 시 힌트 생성에 각각 7.79초와 5.01초가 더 걸렸다. early exit 절감은 NF4에서 k=6 2.86배, k=10 1.51배였다.

인간 평가는 1,144개 평점, 32개 대화로 이루어졌다. 8B 생성기 힌트는 프로필이 있을 때 평균 4.01, 없을 때 3.18로 +0.83의 차이를 보여 메모리 효과를 지지했다. 통합 모델은 matched 1B 2단계 파이프라인과 k=6에서 +0.04, k=10에서 -0.02로 비슷했지만, 두 구간 모두 -0.25 아래로 내려가 계획된 비열등성 마진은 입증되지 않았다. 1B+8B 파이프라인과 비교하면 각각 -0.38, -0.44로 더 낮았는데, 자동 end-to-end exact match에서는 통합 모델이 더 높았다. 자동 지표 중 LlamaPIE의 native judge가 인간 평점과 가장 가깝게 상관했고(r=0.55와 0.67), ROUGE-1(0.51, 0.62), BERTScore(0.47, 0.61)가 뒤를 이었으며 exact match(0.31, 0.43)가 가장 낮았다. 저자들은 native judge를 이 과제의 자동 평가자로 권장하고, exact match는 엄격한 하한으로 읽어야 한다고 말한다.

실무적으로는 게이트 모델을 바꿀 때마다 임계값을 재보정해야 한다. 2% false-alarm 예산을 만족하는 임계값은 여섯 배포 후보에서 3배 넘게 달라졌고, 최악의 경우 Gemma-3-270M은 다른 모델의 운영점에서 28.0 F1 포인트를 잃었다. 사용자 피드백으로 임계값을 적응시키는 시스템은 게이트의 순위뿐 아니라 확률 보정을 소비하므로, 순위가 가장 좋은 게이트가 보정은 가장 나쁠 수 있음을 확인해야 한다. false-alarm 예산은 배포 결정이다. 배포 운영점에서 시스템은 3,682개 힌트를 냈고 그중 23.5%는 코퍼스 기준으로 침묵했어야 하는 지점이었다. 메모리 측면에서는 하나의 4비트 1B 베이스에 게이트 어댑터, 생성기 어댑터, 분류 헤드를 상주시키는 프로브가 1.05GB 가중치를 썼다. 두 번째 어댑터는 42MB인데 두 번째 베이스는 957MB라 915MB를 절약하는 셈이다. CPU에서는 ONNX Runtime 그래프 런타임이 early exit를 시간 절감으로 바꾸며, 4비트 가중치는 시간보다 메모리를 줄인다.

저자들이 밝힌 한계는 분명하다. 모든 핵심 결과가 언어모델이 만든 대화와 트리거 라벨을 가진 하나의 주 코퍼스에 의존하므로, 라벨은 착용자가 실제로 필요했던 순간이 아니라 모델이 힌트가 도움이 될 것이라고 판단한 순간을 표시한다. 자연 녹음 회의 코퍼스에서는 미세조정 게이트가 관찰 가능한 메타데이터 베이스라인과 비슷했다(AUROC 0.8349 대 0.8291). 대부분 구성은 한 번만 학습되어 신뢰구간이 고정 모델에 대한 샘플링 구간이고, 노이즈 플로어 아래 차이는 해석되지 않는다. 통합 모델은 마커 단위 행으로 2에폭 53,772스텝, 2단계 게이트는 대화 단위 샘플로 4에폭 학습해 학습 예산이 다르다. 두 번째 계열의 통합 모델, 추가 에폭, 다른 exit depth는 실행되지 않았다. 인간 평가는 대부분 한 명의 평가자에게서 나왔고, 2단계 게이트의 prefix caching 비용은 측정되지 않았다. 소비자 기기를 측정하지 않았고 음성 인식 오류가 없는 전사문만 평가했다. 윤리적으로는 착용자가 아닌 주변 사람의 동의 문제와 지속적 메모리 프로필의 보관 위험이 남는다.