연속 학습에서 설명 표류를 클래스 일관 의미 개념으로 차단한다
Semantic Concept Steering Breaks the Explanation Drift Loop in Continual Learning
무엇인가
이 논문은 클래스 증분 연속 학습에서 파국적 망각이 정확도 하락만이 아니라 설명 표류로 나타난다는 문제를 다룬다. 모델이 이전 태스크의 정확도를 유지하면서도 진단 특징 대신 배경 잎사귀 같은 허위 상관으로 주의를 옮길 수 있고, 이런 모델은 분포 이동에서 성능이 무너질 수 있다. 기존 설명 인식 연속 학습은 픽셀 수준 saliency 정규화로 이 문제를 막으려 했지만, 정규화 목표를 버퍼 삽입 시점의 모델 자체 saliency에서 가져온다. 모델이 이미 허위 특징으로 표류했다면 그 패턴이 다음 태스크의 감독 목표가 되어 표류를 오히려 강화하는 자기참조 표류 루프가 생긴다는 것이 저자들의 핵심 진단이다.
어떻게 동작하나
C3L은 이 루프를 모델 상태와 독립적으로 오프라인에서 발견한 클래스 일관 의미 개념에 정규화를 고정해 끊는다. 각 클래스에 대해 LLM을 사용한 label-free 개념 발견을 수행해 곡선 부리, 줄무늬 같은 판별적 속성 후보를 만들고, 선택적으로 발생률과 커버리지 기준으로 개념을 걸러낸다. 이후 SAM3로 개념별 텍스트 프롬프트를 공간 접지해 신뢰도가 높은 이진 마스크를 합집합으로 모은다. 개념 집합은 클래스의 모든 인스턴스에 공유되고 마스크는 학습기 상태와 무관하게 생성되므로, 모델 표류를 목표에 암호화하지 않는 목표 독립성과 클래스 수준의 인스턴스 간 일관성을 얻는다.
무엇과 다른가
학습 시 설명은 CNN에서 epsilon-rule LRP, ViT에서 AttnLRP로 추출한다. 전체 목적함수는 태스크 교차엔트로피에 개념 중첩 보존 항과 배경 안정성 항을 더한 형태다. 개념 항은 리플레이 샘플에서 saliency와 개념 마스크의 곱을 개념 마스크에 맞추는 BCE로, 개념 영역 안에 높은 relevance가 놓이도록 한다. 저자들은 이를 참조 saliency를 그대로 보존하는 방식이 아니라 잘못된 설명을 교정하는 correct-not-preserve 전략이라고 설명한다.
어떻게 쓰나
개념 항은 배경에도 간접 효과를 낸다. 근사 LRP relevance 보존 아래에서는 개념 영역과 배경 영역이 같은 예측의 relevance를 두고 경쟁하므로, 개념 영역의 relevance 비중을 높이면 목표 로짓이 비례해 커지지 않는 한 배경 relevance가 줄어든다. 저자들은 이를 crowding-out 효과라고 부르며, 별도의 배경 벌점 없이 허위 배경 상관을 억제하는 암묵적 기제로 본다. 다만 비선형성 때문에 보존은 근사적이고 relevance는 부호가 있으며 개념 항은 정규화된 맵에서 동작하므로, 이를 보장이 아닌 가설로 두고 부록 E에서 실증한다. 배경 안정성 항은 버퍼 삽입 시점의 참조 saliency와 현재 saliency의 배경 영역 코사인 유사도를 사용해, 배경 relevance의 크기가 줄어드는 것은 허용하면서 공간 구조가 새 태스크 특유의 잡음으로 이동하는 것을 막는다.
전제와 한계
실험은 CUB-200-2011, DomainNet, ImageNet-R, ImageNet-A, ObjectNet의 다섯 벤치마크에서 수행된다. CUB는 200개 조류 종, DomainNet은 6개 도메인 345개 클래스, ImageNet-R과 ImageNet-A는 각 200개 클래스, ObjectNet은 113개 클래스 중 3개를 제외한 110개 클래스를 사용한다. 클래스 증분 설정으로 대부분 10개 태스크, DomainNet은 5개 태스크로 나누고, 평가는 평균 정확도, 평균 망각, 평균 증분 정확도와 함께 CUB에서 mIoU, 픽셀 정확도, mAP, FITZ와 I-100C에서 허위 상관 완화 정확도를 본다. ResNet-18과 ViT-B에서 20개가 넘는 베이스라인과 비교하며, EWC, LwF, PEC, ER, iCaRL, DER++, ER-ACE, RRR, EPR, TASS, L2P, DualPrompt, CODA-Prompt, SLCA, RanPAC, EASE, MOS, MIN, PLAN 등을 포함한다. 리플레이 버퍼는 공정 비교를 위해 1000으로 맞춘다.
본문 발췌에는 표 1, 3, 5의 개별 ACC와 망각 수치가 제시되지 않아 세부 숫자를 인용할 수는 없지만, 저자들은 모든 데이터셋에서 정확도와 망각, 설명 품질, 허위 상관 완화, OOD 견고성에서 일관된 최고 성능을 주장한다. 통제 비교에서는 같은 AttnLRP를 쓴 RRR-ViT-AttnLRP보다 C3L이 훨씬 큰 이득을 보여, 이득이 설명 기법만의 효과가 아니라 개념 수준 정규화에서 온다는 근거로 제시된다. C3L은 FITZ와 I-100C에서 전용 디바이어싱 방법인 BiasPruner와 BGS보다 높은 정확도를 보였다고 서술된다. 버퍼를 500으로 줄여도 1000을 쓰는 비교 방법들을 앞서고, 200에서도 경쟁력이 있다고 보고한다. OOD 실험은 ImageNet-1K 절반 클래스에서 클래스당 5장씩 총 2500장으로 미세조정했을 때, C3L이 ImageNet-A와 ObjectNet 정확도를 크게 올렸고 RRR은 이득이 미미하거나 때로 감소했다고 설명한다.
개발자 관점에서 이 논문은 연속 학습 시스템의 평가를 정확도만으로 끝내면 안 된다는 신호를 준다. 순차 업데이트 후 설명이 진단 특징에서 허위 배경으로 이동하는지, OOD에서 무너지는지, 리플레이 버퍼가 작아도 개념 수준 감독이 버티는지를 확인하려는 팀에参考할 만하다. 다만 클래스 증분 설정과 학습 중 태스크 경계가 알려진 조건을 전제로 하고, LRP 또는 AttnLRP 설명 추출과 LLM 및 SAM3 기반 오프라인 개념 파이프라인, 리플레이 버퍼가 필요하다. 개념 마스크의 신뢰도 임계값과 필터링 여부, 설명 기법과 아키텍처 호환성, 추가 전처리 비용을 실제 파이프라인에서 검증해야 한다.
저자들이 밝힌 전제와 한계도 분명하다. crowding-out은 근사 relevance 보존, 비선형성, 부호 있는 relevance, 정규화 맵 때문에 보장이 아니라 실증적으로 검증하는 기제다. 개념 발견과 공간 접지는 LLM과 SAM3에 의존하므로 자동화되었어도 파이프라인 의존성이 남고, 개념 필터링은 선택 사항이며 약한 개념 접지에서도 어느 정도 견고하다고 부록에서 주장하지만 개념 품질 자체를 별도로 점검해야 한다. 배경 안정성 항은 모델에서 유래한 참조 saliency를 쓰지만 배경 영역에 한정되고 스케일 불변이라 자기참조 루프를 다시 도입하지 않는다는 것이 저자들의 설명이다. 정규화는 리플레이 샘플에만 적용되며, RRR 대비 ResNet-18 기준 학습 시간이 약 3퍼센트 늘고 저장 공간이 약 8퍼센트 더 필요하다. 개념 병목 모델로의 확장은 향후 과제로 남겨져 있고, 상세 한계는 부록에 정리되어 있다.