흩어진 다중 URL 파라미터 선들이 깔때기를 거쳐 하나의 대표 URL 화살표로 수렴하는 일러스트

핵심 요약 · 3줄 체크

  1. 01속성 4종류에서 값을 하나씩 고른 81조합에 정렬 4종과 추적 파라미터 3종 중 하나씩만 붙여도(값은 하나로 가정) 카테고리 하나에서 972개 URL 문자열이 생길 수 있습니다.
  2. 02파라미터는 추적·세션, 정렬·보기, 속성 필터 세 가지 목적(색인 불필요 조합 vs 검색 수요가 있는 랜딩 조합)으로 나누어 제어 규칙을 적용합니다.
  3. 03robots.txt로 막은 페이지는 크롤러가 HTML 안의 canonical·noindex 태그를 읽지 못하므로 두 제어 수단을 충돌 없이 배치해야 합니다.

1. 필터 URL 조합이 크롤링 예산을 소모하는 구조

패싯 내비게이션(Faceted Navigation)은 사용자가 상품 목록에서 브랜드, 색상, 크기, 가격대, 정렬 순서를 조합해 좁혀 보는 필터 UI이며, URL 쿼리 파라미터를 적절히 통제하지 않으면 검색엔진이 무한에 가까운 중복 URL을 수집하게 만드는 대표적인 원인입니다. Google 패싯 내비게이션 안내(2026년 11월 확인 기준)는 필터 조합이 방치될 경우 크롤러가 핵심 상품 상세 페이지 대신 내용 차이가 거의 없는 조합 URL을 반복 수집해 서버 자원과 크롤링 효율을 떨어뜨린다고 설명합니다.

예를 들어 60개 제품만 취급하는 중소 B2B 자재몰의 카테고리 페이지(/items/bolts/)에서 재질(3종), 규격(3종), 표면처리(3종), 배송조건(3종) 네 가지 속성이 각각 하나씩 선택되어 81개(3 × 3 × 3 × 3) 조합이 만들어지고(여기에 ‘미선택’ 상태까지 열리면 조합 수는 더 늘어납니다), 각 조합에 정렬 4종(popular, price_asc, price_desc, newest) 중 1개와 광고 추적 파라미터 3종(utm_source, fbclid, NaPm) 중 1개가 각각 따라붙는 경우를 가정해 보겠습니다(추적 파라미터의 값은 하나로 고정). 이 단일 조건만으로도 카테고리 하나에서 3 × 3 × 3 × 3 × 4 × 3 = 972개의 서로 다른 URL 문자열이 만들어지고, 카테고리가 20개면 크롤러 앞에는 19,440개의 유사 URL이 놓이게 됩니다.

2. URL 파라미터 목적별 분류와 네 가지 처리 기준

Google Search Console의 구형 URL 매개변수 도구가 종료된 이후, 웹 담당자는 URL 구조와 서버 응답, HTML 태그만으로 파라미터를 직접 제어해야 합니다. Google 공식 가이드가 권장하는 표준 URL 표기 원칙은 키-값 구분에 =, 여러 파라미터 연결에 &를 쓰고 콜론(:)이나 대괄호([]), 쉼표(,) 같은 변칙 구분자를 피하는 것입니다. 여기에 더해 파라미터를 **세 가지 목적(추적·세션 / 정렬·보기 / 속성 필터)**으로 나누되, 속성 필터를 다시 “검색 수요가 없는 조합”과 “고유한 검색 수요가 있는 랜딩 조합” 둘로 구분해 아래 네 가지 처리 기준을 적용합니다.

구분파라미터·경로 예시색인 필요성권장 제어 방식
추적·세션?utm_source=, ?fbclid=, ?NaPm=불필요파라미터 없는 대표 URL로 canonical 선언, 사이트맵·내부 링크 제외
정렬·보기?sort=price_asc, ?view=list, ?limit=40불필요robots.txt 크롤 차단 또는 비링크 UI(버튼·스크립트) 처리
검색 가치 없는 필터 조합/items/filter/?mat=sus&coat=zinc불필요전용 경로 차단(robots.txt) 또는 크롤링 허용 시 noindex·대표 canonical
검색 수요가 있는 필터 페이지/bolts/stainless/ 또는 /bolts/m8-stainless/필요독립된 상품 목록·고유 title·자기 canonical 부여(내부 링크 노출)
표 1. URL 파라미터 목적별 네 가지 제어 기준표

세션 ID(?sid=...)는 접속할 때마다 새 문자열을 만들어 크롤러에 무한 URL을 노출하므로 URL에 넣지 말고 쿠키로 처리해야 합니다. 반대로 속성 필터 중에서도 고객이 실제로 많이 검색하고 다른 조합과 구분되는 고유한 상품 세트를 보여 주는 페이지(단일 속성이든 2개 속성 조합이든 실제 검색 수요가 확인된 경우)만 깨끗한 경로와 고유한 제목·자기 canonical을 유지해 색인 대상으로 남기고, 나머지 임의 조합은 크롤링·색인 대상에서 분리하는 것이 Google 패싯 내비게이션 권장 원칙입니다.

3. robots.txt·canonical·noindex 충돌을 피하는 설계

파라미터 제어에서 가장 빈번한 구현 실수는 robots.txt 차단과 canonical·noindex 태그를 한 URL에 동시에 걸어 두는 것입니다. 먼저 역할을 구분해야 합니다. rel="canonical"은 중복 URL의 신호를 대표 URL로 통합하라는 힌트일 뿐 색인에서 URL을 강제로 지우는 지시가 아니며, 검색 색인에서 빼야 하는 URL은 noindex로 처리합니다. 그런데 크롤러는 robots.txt에서 Disallow를 만나는 순간 해당 페이지의 HTML을 내려받지 않으므로, 페이지 <head> 안에 적어 둔 rel="canonical"이나 noindex 지시를 전혀 읽을 수 없습니다. 결과적으로 이미 색인에 들어가 있던 필터 URL에 noindex를 붙인 뒤 곧바로 robots.txt로 막아 버리면, 검색 결과에서 빠지지 않고 “robots.txt에 의해 차단되었지만 색인 생성됨” 상태로 오래 남게 됩니다.

복잡하게 얽힌 필터 토글과 슬라이더가 정돈된 대표 URL 경로로 정리되는 크롤링 제어 개념도
그림 1. 불필요한 파라미터 수집 경로를 분리해 대표 URL 크롤링 효율을 지키는 흐름
  • 이미 색인된 필터 URL을 검색에서 뺄 때 · robots.txt 차단을 먼저 풀어 크롤러가 noindex를 읽고 색인을 정리할 시간을 확보합니다(색인 제거 목적에는 canonical 대신 noindex 사용).
  • 처음부터 크롤링 자체를 막을 정렬·비색인 조합 URL · 색인에 올라온 적이 없는 ?sort=, ?view=, 비색인 필터 전용 경로는 내부 <a href> 링크 노출을 줄이거나 robots.txt의 명확한 파라미터 키 규칙으로 수집을 막습니다.
  • 광고 추적 파라미터 · 내부 링크에는 절대 utm_*을 달지 않고, 외부 광고 유입 URL의 HTML에는 파라미터가 없는 대표 URL을 가리키는 canonical을 출력하게 템플릿을 고정합니다.

robots.txt로 파라미터를 막을 때 Disallow: /*?*&*& 같은 포괄적 와일드카드는 위험합니다. 예를 들어 ?id=102&utm_source=mail&utm_campaign=sale처럼 정상 상품 URL에 추적 파라미터가 2개 붙은 경우까지 우연히 차단하는 반면, 2개 파라미터 필터(?mat=sus&size=m8)는 그대로 통과시키기 때문입니다. 아래처럼 비색인 목적의 파라미터 이름(sort, view, limit)을 첫 번째(?)와 두 번째 이후(&) 위치로 나누어 명시하거나, 비색인 필터 전용 경로(/items/filter/)만 분리해 차단해야 정상 상품 상세(?id=)와 광고 랜딩(?utm_)이 다치지 않습니다.

예시 · 특정 파라미터 키 및 필터 전용 경로 제어
User-agent: *
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?view=
Disallow: /*&view=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /items/filter/

Allow: / Sitemap: https://example.com/sitemap.xml

4. 서치콘솔 페이지 보고서 점검 체크리스트

필터 URL 정리는 한 번 설정하고 끝내기보다 Google Search Console의 색인 생성 > 페이지 보고서에서 불필요한 URL이 줄어들고, 동시에 정상 상품·카테고리 랜딩 페이지가 막히지 않았는지 함께 확인해야 완료됩니다. 특히 “크롤링됨 - 현재 색인이 생성되지 않음”, “중복 페이지, 사용자가 표준 페이지를 선택하지 않음”, “적절한 표준 태그가 포함된 대체 페이지” 항목에 필터·정렬·추적 URL이 대량으로 잡혀 있는지 봅니다.

  1. Search Console 페이지 보고서에서 각 사유별 URL 목록을 열어 ?sort=, ?utm_, 필터 문자열이 얼마나 잡혀 있는지 표본을 추출합니다.
  2. HTML 소스에서 정렬·임시 필터 버튼이 검색엔진이 따라가는 <a href="...?sort=price"> 형태인지, 아니면 클릭 시 동작하는 <button>이나 상태 스크립트로 제어되는지 확인합니다.
  3. 필터 및 추적 URL의 <head>를 열어 rel="canonical"이 파라미터가 없는 대표 카테고리·상품 URL을 정확히 가리키는지 확인합니다(페이지네이션 ?page=2는 예외적으로 자기 자신 지정).
  4. sitemap.xml에 추적 파라미터나 비색인 필터 URL이 실수로 들어가지 않았는지 검사합니다.
  5. robots.txt 규칙을 바꾼 직후에는 Search Console robots.txt 보고서와 URL 검사 도구로 실제 상품 상세(/product?id=...), 검색 가치가 있는 필터 랜딩, 추적 파라미터가 붙은 랜딩 URL이 우발적으로 차단되지 않았는지 교차 검증합니다.

대표 URL 선언의 기본 원칙은 Canonical 기초, 목록 페이지의 다음 구간 처리는 페이지네이션과 무한 스크롤에서 이어서 확인할 수 있습니다.

참고 자료(2026년 11월 확인 기준): Google 패싯 내비게이션 관리, Google 대표 URL 안내.

자주 묻는 질문

필터 URL을 모두 canonical로 대표 카테고리에 모으면 robots.txt 차단은 안 해도 되나요?

규모가 크지 않아 크롤링 부하가 적다면 canonical만으로도 중복 URL을 정리할 수 있습니다. 반면 Search Console 크롤링 통계에서 의미 없는 필터·정렬 URL을 반복 수집하느라 서버 자원이나 신규 상품 색인이 밀린다면, 가치 없는 정렬·조합 URL은 robots.txt나 비링크 UI로 크롤링 진입 자체를 줄이는 편이 효과적입니다.

광고 링크에 붙는 utm_source나 fbclid는 어떻게 처리해야 하나요?

추적 파라미터는 robots.txt로 막으면 유입된 랜딩 페이지의 크롤링과 신호 통합을 방해할 수 있으므로 막지 않는 것이 원칙입니다. 대신 페이지 HTML의 rel="canonical"이 항상 추적 파라미터가 없는 깨끗한 대표 URL을 가리키게 설정하세요.

카테고리 페이지의 2페이지(?page=2)도 대표 카테고리(1페이지)로 canonical을 걸어야 하나요?

아닙니다. 2페이지와 3페이지는 서로 다른 상품 목록을 담고 있으므로 각각 자기 자신(?page=2, ?page=3)을 canonical로 선언해야 검색엔진이 다음 구간의 상품 링크까지 안정적으로 발견할 수 있습니다.

이 글과 함께 보기

블로그 전체 보기

우리 브랜드의 측정 기록부터 만들어 보세요.

도입 상담 신청