블록이 텍스트 없이 사람 음성만으로 학습한 음성 AI 모델 Dessa를 공개했다

Square와 Cash App을 운영하는 블록이 Dessa라는 음성 AI 모델을 공개했다. 눈에 띄는 점은 학습 데이터다. 텍스트를 한 줄도 쓰지 않고 사람의 음성만으로 처음부터 학습시킨 모델이라고 회사는 설명한다. 음성을 먼저 받아쓰기로 변환한 뒤 언어 모델에 넘기는 통상적인 파이프라인을 거치지 않는다.

Dessa는 입력된 오디오를 오디오인 채로 직접 처리한다. 그 결과 목소리에 실린 감정이나 비꼬는 어조, 웃음, 말 사이의 멈춤 같은 요소를 실시간으로 읽어낸다. 대화 방식도 전이중(full-duplex)이다. 상대의 말이 끝나기를 기다렸다가 응답하는 대신, 듣는 동시에 말할 수 있는 구조다.

규모와 실행 환경도 함께 공개됐다. 학습에는 NVIDIA GB200 NVL72 한 대가 쓰였고, 추론은 MacBook Pro M4 Max에서 로컬로 돌아간다. 대형 클러스터에서 학습한 모델을 개인용 노트북에서 구동한다는 점은 온디바이스 음성 인터페이스를 염두에 둔 설계로 읽힌다.

개발 동기로 블록이 내세운 것은 세 가지다. 호기심, 사람과 AI의 소통을 더 낫게 만들고 싶다는 바람, 그리고 안전에 대한 고민이다. 현재의 음성 AI가 목소리에 담긴 감정 신호를 사실상 무시하고 있다는 문제의식이 출발점에 있다.

감정을 다루는 음성 AI 시도는 이전에도 있었다. 2024년 3월 스타트업 Hume AI가 감정 지능을 표방한 EVI를 내놓았고, 같은 해 9월 Kyutai가 Moshi를 선보였다. LAION의 Open Empathic 프로젝트는 2023년 말부터 오픈소스 오디오 데이터셋으로 공감형 음성 합성 모델을 학습해 왔다. OpenAI도 2025년 6월 ChatGPT의 고급 음성 모드를 개편한 뒤 억양과 멈춤, 공감과 비꼼 표현을 계속 다듬고 있다.

개발자 입장에서 Dessa의 의미는 파이프라인 단순화에 있다. 음성 인식과 텍스트 언어 모델, 다시 음성 합성으로 이어지는 단계를 하나의 오디오 네이티브 모델로 대체할 수 있다면 지연 시간과 정보 손실을 줄일 수 있다. 전이중 통신은 실시간 통역이나 상담형 인터페이스처럼 끼어들기와 반응 속도가 중요한 응용에서 차이를 만든다.

다만 아직 실무에 바로 쓸 수 있는 단계는 아니다. Dessa는 공개 배포되지 않았고, 블록은 예상치 못한 위험을 점검할 AI 보안 연구자들을 먼저 찾고 있다. 관심 있는 사람은 신청 폼을 통해 참여할 수 있다.

한 가지 구분도 짚어야 한다. 감정적으로 들리는 것과 실제로 감정을 이해하는 것은 다르다. 응답 과정에서 추론이 함께 작동하는지가 답변의 질을 좌우한다는 점은 음성 모델을 평가할 때 목소리의 자연스러움만 보면 안 되는 이유이기도 하다.