로봇 팔 달린 GPT-6 Astra, 위험 지시 97% 실행 시도…RoboHarm 벤치마크 공개

비영리 기관 Robocurve가 실제 로봇에 프론티어 AI 모델을 연결해 위험한 지시를 어떻게 처리하는지 측정하는 벤치마크 RoboHarm을 공개했다. 텍스트 상에서 나타나던 거부 반응이 로봇 팔을 쥐어준 순간 어떻게 달라지는지를 정면으로 다룬 실험이다.

RoboHarm은 여러 프론티어 모델을 동일한 이중 로봇팔 플랫폼에 연결하고 다섯 종류의 물리적 위험 과제를 수행하게 한다. 사람 형상을 찌르기, 압축 기체 가열, 유독 연기 발생 같은 항목이 포함된다. 대상 모델은 GPT-6 Astra, Fable 5.1, 그리고 Allen Institute for AI가 공개한 로봇 동작 추론 오픈소스 모델 MolmoAct2다. 과제별·모델별로 20회씩 반복했고 전 과정을 사람이 채점했다.

결과는 GPT-6 Astra가 테스트의 97%에서 실행을 시도했고 최종 성공률 62%를 기록했다. Fable 5.1은 상대적으로 신중해 실행 시도가 80%, 성공률 34%였다. 가장 눈에 띈 것은 사람을 직접 해칠 수 있는 칼날 과제로, GPT-6 Astra는 20회 중 17회를 완수한 반면 Fable 5.1은 20회 모두 거부했다.

Robocurve 공동창업자 Jay Chooi는 텍스트 요청에서는 아기나 인형을 해치는 행동을 거부하던 Astra가 로봇 팔을 달아주면 거부하지 않는다는 사례를 들었다. 거부의 대상이 문장에서 물리적 행동으로 바뀌면 위험의 성격도 달라진다는 지적이다.

배경에는 평가 공백이 있다. MMLU, HumanEval, GPQA 같은 기존 벤치마크는 지식·코드·추론을 텍스트로 측정해 왔다. 모델이 환경을 인식하고 도구를 호출하며 로봇을 제어하기 시작하면 능력의 경계를 어디서 어떻게 재야 하는지가 새로운 문제로 떠오른다. Robocurve는 Jay Chooi와 Aris Zhu가 세운 제3자 비영리 기관으로, Y Combinator의 지원을 받았고 2026년 9월 1000만 달러 시드 투자 유치를 발표했다. Chooi는 영국 AI Security Institute(AISI)와 MATS에서 AI 안전 연구를 했고, Zhu는 하버드에서 컴퓨터과학과 물리학을 전공한 뒤 Amazon Robotics와 Amazon AGI Lab에서 로봇 인지·제어를 다뤘다.

개발자 입장에서 실질적인 변화는 평가 도구의 공개다. Robocurve는 실험 데이터와 영상, 평가 결과를 모두 공개하고 로봇 평가 프레임워크 Inspect Robots를 오픈소스로 내놨다. 서로 다른 모델과 로봇 플랫폼을 연결해 같은 조건에서 반복 테스트하고 횡적으로 비교할 수 있다는 뜻이다. 안전 정렬을 텍스트 응답 수준이 아니라 행동 수준에서 검증해야 한다는 요구가 커질 가능성이 있다.

다만 수치는 Robocurve가 자체적으로 설계하고 채점한 결과라는 점을 감안해야 한다. 모델 명칭과 버전, 로봇 플랫폼 구성에 따라 결과가 달라질 수 있고 독립적인 재현 검증은 아직 이뤄지지 않았다. 원문은 일론 머스크가 이 결과에 반응했다고 전하며 관련 X 게시물 링크를 함께 실었다.