AI 보조는 신입 특허변리사를 즉시 향상시키지만 실력 성장은 조용히 가로막을 수 있다

the-decoder8일 전

미국경제연구국(NBER)이 공개한 작업논문 하나가 AI 보조의 '즉시 효과'와 '남는 실력'을 분리해서 측정했다. 미국 지식재산 전문 로펌 11곳의 특허변리사 133명을 대상으로 3개월간 무작위 대조 실험을 진행한 결과, AI를 쓰는 동안의 산출물 품질은 확실히 올라갔지만 AI를 빼앗은 뒤에도 그 우위가 남는 사람은 경력이 긴 쪽이었다.

실험은 구글의 지원을 받아 이뤄졌다. 참가자 3분의 2에게는 구글랩스가 아직 공개하지 않은 AI 어시스턴트 'InFlow' 접근 권한을 줬고, 나머지 3분의 1은 아무 도구 없이 같은 일을 하게 했다. 특허 청구항 작성 과제 두 개는 AI 사용 여부로 집단이 갈렸고, 세 번째 '레드라이닝(redlining)' 과제는 전원이 AI 없이 기존 특허 초안을 비판적으로 검토해야 했다. 작성 과제는 AI가 붙은 상태의 성과를, 레드라이닝은 도구 없이 남은 판단력을 재는 장치였다. 채점은 별도 로펌의 변리사들이 어떤 결과물이 AI에서 나왔는지 모르는 상태에서 등록 가능성, 기술 정확성, 전략적 모호성, 완결성, 명료성 다섯 항목으로 맡았다.

청구항 작성에서는 AI 집단이 10일 시점과 90일 시점 모두 대조군을 앞섰고, 다섯 항목 전반에서 차이가 났다. 다만 점수 상승의 성격이 중요하다. 최상위 평가가 늘어난 게 아니라 나쁜 평가가 줄고 중간 수준 평가가 늘어난 것이다. 개선 폭은 경력 7년 미만의 신입 변리사에게서 훨씬 컸다. 글쓰기, 고객 응대, 소프트웨어 개발 등 다른 영역에서 관찰된 'AI가 숙련도 격차를 좁힌다'는 결과와 같은 방향이다.

레드라이닝에서는 그림이 뒤집혔다. AI를 써본 집단이 전체적으로는 나은 점수를 받았지만, 그 우위는 전부 시니어에게서 나왔다. AI 작성 단계에서 가장 큰 이득을 봤던 신입들은 AI 없이 검토할 때 아무 이득도 얻지 못했다. 오히려 이들의 점수 분포는 중간대가 사라지고 나쁜 점수와 좋은 점수가 함께 늘어나는 양극화 형태를 보였고, 최상위 구간은 성장하지 않았다. AI가 어떤 신입의 실력 형성을 앞당긴 반면 다른 신입에게서는 그 과정을 대체해버렸다는 해석이 가능하지만, 실험 자체가 이유를 설명하지는 못한다.

연구진은 참가자들이 남긴 메모를 분석해 단서를 찾았다. 시니어는 결함이 있는 초안의 구조를 다시 짜고 수정 근거를 법 원칙에 붙이는 경향이 있었다. 신입은 심각한 문제를 찾아내고도 고치지 않은 채, 마치 AI에게 지시하듯 메모를 남기는 경우가 많았다. 이런 행태는 AI를 쓰지 않은 대조군에서도 나타났기 때문에 AI가 만든 습관이라기보다 원래 있던 기본기 격차로 읽힌다. 결국 AI 활용을 지속 가능한 실력으로 전환하려면 어느 정도의 기초 전문성이 전제돼야 한다는 것이 연구진의 추정이다.

비슷한 신호는 다른 분야에도 쌓여 있다. Anthropic 연구에서는 새 프로그래밍 라이브러리를 AI 도움으로 익힌 젊은 개발자가 그렇지 않은 개발자보다 사후 지식 테스트에서 17% 낮은 점수를 받았다. MIT 미디어랩은 에세이 작성에서 사고를 외주화할 때 생기는 '인지 부채' 징후를 관찰했고, 2023년 BCG 실험에서는 GPT-4의 도움을 가장 크게 받은 쪽이 성과가 낮은 컨설턴트였다. 스탠퍼드 연구진은 AI가 학교에서 배우는 교과서적 지식을 대체하면서 초임 일자리가 줄어드는 현상을 설명하기도 했다. Anthropic은 자사 엔지니어링 조직에서 신입 비중이 2025년 초 21%에서 14%로 떨어졌다고 밝힌 바 있다.

개발자에게 이 실험이 던지는 질문은 명확하다. 코드 생성 도구는 초안을 빠르게 중간 수준까지 끌어올려 주지만, 그 도구가 없을 때 리뷰하고 디버깅하고 설계를 판단하는 힘은 별개의 능력이라는 점이다. 신입 개발자 온보딩에서 AI를 전면 허용하면 단기 생산성은 오르겠지만, 나중에 도구 없이 판단해야 하는 순간에 드러날 격차를 감춰버릴 수 있다. AI 없이 하는 훈련 과제를 의도적으로 남겨두는 설계가 필요하다는 뜻이기도 하다.

연구진이 스스로 밝힌 한계도 분명하다. 최상위 변리사들의 높은 청구 단가 탓에 표본이 작고, 참여 로펌이 전문 서비스 산업 전체를 대표하지 않으며, 참가자의 기초 실력을 사전에 측정하지 않았고, 특허 전문성이 형성되는 기간에 비해 3개월은 짧다. 또한 이 결과는 AI 없이 판단해야 하는 업무가 계속 남아 있다는 전제 위에서 의미를 갖는다. AI가 레드라이닝까지 지원하게 되더라도 고객 미팅이나 법정처럼 즉석에서 판단이 이뤄지는 자리에서는 당분간 도구 없이 판단할 일이 남을 가능성이 크다.