앤스로픽 클로드가 양자 회로를 스스로 고쳐 최고 기록을 앞질렀다

앤스로픽이 자사 모델 클로드에게 양자 회로 설계를 맡긴 실험 결과를 공개했다. 사람이 중간에 개입하지 않아도 클로드가 회로를 코드로 작성하고, 자동 평가기가 정답 여부와 비용 점수를 매기면 그 피드백을 받아 다음 시도를 고치는 폐루프 방식이다. 대상은 화학·최적화·물리 시뮬레이션·정수론·수치 계산에서 뽑은 8개 계산 프리미티브였고, 여러 과제에서 기존에 발표된 최고 설계보다 적은 큐비트와 게이트를 쓰는 회로가 나왔다. 개선 폭이 자릿수 단위에 이르는 경우도 있었다.

평가 지표는 단순하다. 회로가 쓰는 큐비트 수와 게이트 수를 곱한 값으로, 실행 시간의 대리 지표 역할을 한다. 클로드는 파이썬으로 구현을 제출하고, 평가기는 먼저 그 구현이 맞는지 검사한 뒤 점수를 돌려준다. 이 루프를 사람 손을 거치지 않고 반복했다는 점이 이번 작업의 핵심이다. 실험에 쓰인 모델은 클로드 미토스 5다.

이번 연구는 앤스로픽 STEM 펠로우 프로그램의 일환으로 Andi Gu가 주도했고, 앤스로픽의 양자 물리학자 Alek Kemeny가 멘토링을 맡았다. 하버드대의 Susanne Yelin, 하버드대와 QuEra Computing에 함께 있는 Mikhail Lukin이 협업했으며 논문은 arXiv에 올라와 있다.

양자컴퓨터는 0과 1을 담는 비트 대신 중첩을 활용하는 큐비트를 쓴다. 문제는 현재 하드웨어가 수백에서 수천 큐비트 수준에 머물고, 열이나 진동, 심지어 우주선 같은 외부 잡음에 극도로 민감하다는 점이다. 작은 오차가 쌓이면 답이 틀어진다. 큐비트와 연산 시간이 모두 희소 자원이니, 알고리즘을 다시 설계해 둘 다 아끼는 연구가 오래 이어져 왔다.

대표 사례가 질소고정효소의 핵심인 철-황 클러스터 FeMoco 시뮬레이션이다. 2017년 추산으로는 바닥 상태 에너지를 계산하는 데 약 50조 개의 Toffoli 게이트가 필요했다. 이후 알고리즘 개선을 거쳐 이 추정치는 약 3억 4천만 개까지 내려왔는데, 약 15만 배 줄어든 수치이며 300만 개 안팎의 물리 큐비트를 가진 미래 장비에서 몇 시간 분량에 해당한다. 이런 감소는 대부분 하드웨어가 아니라 회로를 다시 짠 데서 나왔다.

클로드가 이 작업에 잘 맞는 이유는 세 가지다. 양자 회로가 게이트 나열, 즉 코드로 표현되므로 코딩 능력을 그대로 쓸 수 있다. 대상 알고리즘 부류는 입력마다 정답이 하나로 정해져 일반 컴퓨터로 검증할 수 있다. 그리고 큐비트 수 곱하기 게이트 수라는 명확한 점수 목표가 존재한다.

개선은 기존 설계를 다듬어서가 아니라 문제의 구조를 새로 읽어낸 데서 나왔다. 황화철 분자 시뮬레이션 회로를 짜던 클로드는 분자의 대칭성과 반복 구조를 발견하고, 시스템 전체를 매번 다시 계산하는 대신 일부 결과를 한 번 계산해 재사용하는 방식을 택했다. 다른 과제에서는 극히 드물게 들어오는 입력만 처리하려고 붙어 있던 값비싼 구성요소를 찾아내 제거했다.

원문이 소개한 두 사례 중 하나는 모듈러 역원(modular inversion)을 새로 구현한 것이다. 타원곡선 계산에서 가장 비싼 단계에 해당한다. 다른 하나는 대표적인 양자 최적화 알고리즘의 최고 비용 단계를 약 12배 저렴하게 만든 설계다.

개발자 입장에서 이 실험의 의미는 양자 회로 설계가 검증 가능한 코드 최적화 문제로 바뀐다는 점이다. 정답을 기계적으로 확인할 수 있고 비용 함수가 명확한 영역이라면, LLM을 평가기와 묶어 자동 탐색 루프를 돌리는 패턴이 통할 수 있다는 사례가 하나 늘었다. 양자 알고리즘을 직접 다루지 않더라도 검증기와 점수를 붙여 모델을 반복 개선시키는 워크플로 설계에 참고할 만하다.

다만 양자 회로에는 일반 프로그램에 없는 제약이 두 가지 있다. if-then 분기를 할 수 없다는 점, 그리고 정보를 버릴 수 없다는 점이다. 중간 계산 결과를 지우지 못하고 남겨두면 최종 결과가 오염되므로 모든 단계가 가역적이어야 한다. 또 이번 결과의 게이트 수치는 미래 장비를 가정한 추정이며 실제 하드웨어에서 실행한 측정값이 아니다.