자기어텐션 없이 그라스만 흐름으로 시퀀스 모델을 학습한다

arXiv에 공개된 ‘Attention Is Not What You Need’는 자기어텐션이 강한 성능과 추론에 반드시 필요한지 다시 묻는다. 저자 Zhang Chong은 멀티헤드 어텐션을 토큰 쌍 상호작용을 고차원 텐서로 끌어올리는 텐서 리프팅으로 해석하고, 그 대안으로 그라스만 다양체 기반의 어텐션 프리 구조를 제안한다.

핵심은 Causal Grassmann 층이다. 이 층은 토큰 상태를 선형으로 축소한 뒤, 국소 토큰 쌍을 플뤼커 좌표를 통해 그라스만 다양체 위의 2차원 부분공간으로 인코딩한다. 이렇게 만든 기하학적 특징은 게이트 혼합을 거쳐 다시 은닉 상태로 결합된다.

정보는 여러 스케일의 국소 윈도우에서 저랭크 부분공간을 조금씩 변형하는 방식으로 전파된다. 즉 L×L 어텐션 행렬을 만드는 대신, 유한 차원 다양체 위에서 계산이 이뤄진다는 것이 이 설계의 요점이다.

논문은 표준 멀티헤드 어텐션이 매우 표현력이 크지만 수학적으로 불투명하다고 본다. 여러 층을 쌓으면 모델을 소수의 명시적 불변량으로 설명하기 어려워진다는 문제의식이다. 그래서 텐서 공간 대신 구조가 부여된 다양체에서 추론을 표현하려는 시도로 읽힌다.

Wikitext-2 언어모델링에서 13~18M 파라미터의 순수 그라스만 기반 모델은 크기를 맞춘 트랜스포머와 비교해 검증 퍼플렉시티가 약 10~15% 차이 이내에 들어왔다. 성능이 동등하거나 앞선다는 뜻은 아니고, 어텐션 없이도 경쟁력 있는 범위에 도달했다는 결과다.

SNLI 자연어추론에서는 DistilBERT 위에 그라스만-플뤼커 헤드를 얹은 구성이 트랜스포머 헤드를 소폭 앞섰다. 최고 검증·테스트 정확도는 0.8550과 0.8538로, 비교 수치는 0.8545와 0.8511이었다.

복잡도 분석에서는 고정 랭크일 때 시퀀스 길이에 대해 선형으로 스케일한다고 주장한다. 장문 입력에서 어텐션 행렬의 2차 비용을 피할 수 있다는 점이 실무적 관심사다.

개발자 입장에서는 당장 트랜스포머를 대체할 만한 완성품이라기보다, 어텐션을 기하학적 구조로 바꿔 해석 가능성과 비용을 동시에 다루려는 연구 방향으로 볼 수 있다. 특히 국소 윈도우와 저랭크 부분공간을 활용하는 설계는 장문 시퀀스나 구조적 표현이 중요한 과제에서 참고할 만하다.

다만 검증은 Wikitext-2와 SNLI, 13~18M 규모의 언어모델, DistilBERT 기반 헤드 실험에 한정된다. 언어모델링에서는 동급 트랜스포머 대비 10~15% 차이 이내라는 결과이므로, 대규모 모델이나 다양한 다운스트림 과제에서의 우위를 주장하는 자료는 아니다.