구글 검색, 유기적 결과 링크를 google.com/goto 우회 형식으로 전환

구글이 검색 결과 페이지(SERP)의 유기적 결과 링크를 실제 목적지 주소 대신 자사 도메인을 경유하는 형태로 바꾸고 있다. HTML에 노출되는 href가 목적지 사이트가 아니라 google.com/goto?url=... 로 들어가고, 사용자가 클릭하면 구글을 거쳐 원래 페이지로 이동하는 구조다. 검색 결과를 프로그램으로 수집해 자체 인덱스를 만드는 쪽이라면 링크 파싱 방식 자체를 손봐야 하는 변화다.

기존에도 우회 링크는 있었다. google.com/url?q= 형태로, 쿼리스트링에 목적지 주소가 URL 인코딩되어 그대로 읽혔다. 새 형식은 다르다. 결과의 href는 /goto이고, url= 뒤에 붙는 값은 구글 전용 인코딩을 쓴다. 단순 base64가 아니라 오프라인에서 풀어낼 수 없는 값이며, 사실상 구글 인덱스 레코드를 가리키는 불투명한 참조에 가깝다. 실제 목적지 주소는 /goto 요청에 대한 응답의 Location 헤더에 담긴다. 따라서 이 URL을 HEAD로 요청해 Location만 읽고, 리다이렉트를 따라 실제 페이지까지 가지 않는 방식으로 목적지를 얻어야 한다.

시점은 2026년 8월 말이다. 로그아웃 상태나 시크릿 모드로 검색할 때 이 패턴이 일관되게 나타난다. 아직 실험일 가능성은 남아 있지만, 일부 SERP에만 걸리는 수준은 아니라고 한다.

배경에는 구글의 자동화된 SERP 수집 차단 기조가 있다. AI 크롤러나 SEO 스크래퍼가 검색 결과에서 대량으로 URL을 긁어 자체 인덱스를 만드는 것을 겨냥한다. 평문 링크라면 HTML만 파싱해 수천 개 주소를 구글에 추가 요청 없이 확보할 수 있었다. goto 형식에서는 결과 하나하나마다 구글에 되물어야 목적지를 알 수 있다. 속도는 느려지고 트래픽은 지저분해지며, 같은 클라이언트가 수백 개 링크를 연달아 해석하면 구글 쪽에 뚜렷한 탐지 신호가 남는다. &num=100 파라미터 제거, BotGuard·SearchGuard 강화 같은 이전 조치들과 같은 방향이다.

실무에서는 SERP 파이프라인의 링크 해석 단계를 점검해야 한다. /goto 링크를 만나면 Location을 읽되 follow하지 않도록 하고, 최종 목적지 URL을 기존 응답 스키마의 필드에 그대로 채워 넣는 식으로 처리하면 된다. Autom은 자사 Google Search 파이프라인을 이 형식에 맞춰 갱신해, API 응답에서 기존과 동일한 구조화 필드로 최종 목적지 주소를 돌려주도록 했다고 밝혔다. 해당 엔드포인트를 쓰는 쪽은 연동 코드를 바꾸지 않아도 된다는 설명이다.

주의할 점도 있다. 구글은 SERP를 그릴 때 도메인·파비콘·출처 표기를 위해 목적지 정보가 필요하므로, 페이지 어딘가에는 URL 사본이 남아 있을 수 있다. 다만 이는 Location 헤더를 읽는 것과는 별개의 문제다. 또한 이 형식이 실험 단계에 머물거나 다시 바뀔 가능성도 있어, 리다이렉트 규격 변화를 계속 지켜볼 필요가 있다.