핵심 요약 · 3줄 체크
- 01noindex는 검색 색인에서 제외하도록 알리는 규칙입니다.
- 02HTML은 메타 태그, 파일 응답은 HTTP 헤더를 검토합니다.
- 03민감한 자료는 인증과 권한으로 접근을 관리합니다.
1. 검색 제외와 접근 제한의 목적을 나눕니다
noindex는 페이지나 파일을 검색 색인에서 제외하도록 검색엔진에 알리는 규칙입니다. 공개된 자료를 검색 결과에서 빼려는 목적과, 허가받은 사람만 자료를 열게 하려는 목적은 적용할 설정이 다릅니다.
예를 들어 일반 방문자가 사용할 수 있는 인쇄용 안내 페이지는 검색 제외 여부를 검토할 수 있습니다. 반면 회원별 계약 문서는 문서 소유자의 권한을 확인한 뒤 제공해야 합니다. 먼저 “주소를 아는 누구나 열어도 되는가”를 정하면 검색 설정과 서비스의 권한 설정을 혼동하지 않고 담당 업무를 나눌 수 있습니다.
2. 응답 형식에 맞는 위치에 규칙을 둡니다
Google은 HTML의 robots 메타 태그 또는 HTTP 응답의 X-Robots-Tag로 noindex를 전달하는 방법을 안내합니다(2026년 11월 확인 기준). 다음은 공개 HTML을 검색에서 제외하려는 경우의 태그 예시이며 head 안에 둡니다.
<meta name="robots" content="noindex">
PDF처럼 HTML head가 없는 파일은 응답 헤더를 검토합니다. 헤더 예시 X-Robots-Tag: noindex는 파일 본문이 아니라 서버가 파일과 함께 보내는 정보입니다. 관리 화면에 설정이 있어도 공개 응답에 나오는지 확인해야 하므로, 적용 대상 주소와 최종 응답을 함께 기록하세요.
3. 목적별 점검표로 설정을 검토합니다
설정 검토표는 무엇을 숨길지보다 누가 어떤 경로로 자료를 읽어도 되는지를 먼저 적는 편이 명확합니다. 아래는 담당자가 작업을 분류할 때 쓸 수 있는 예시입니다.
| 상황 | 검토할 설정 | 확인 위치 |
|---|---|---|
| 공개 HTML을 검색에서 제외 | robots 메타의 noindex | 공개 HTML head |
| 공개 PDF를 검색에서 제외 | X-Robots-Tag의 noindex | PDF 응답 헤더 |
| 회원 개인 자료 제공 | 인증과 자료별 권한 | 로그인 상태와 소유자 확인 |
| 크롤러의 요청 경로 관리 | robots.txt | 호스트의 크롤링 규칙 |
Google이 robots.txt로 차단된 페이지에 접근할 수 없으면 그 안의 noindex도 읽을 수 없습니다. 검색 제외를 목적으로 설정했다면 접근 규칙과 색인 규칙을 함께 확인하세요. robots.txt는 요청을 관리하는 문서이므로 비공개 자료의 열람 권한은 서비스 쪽에서 관리합니다.
4. 적용 전후의 응답과 검색 상태를 남깁니다
배포 전에는 적용 대상 목록과 템플릿 범위를 확인합니다. 예를 들어 인쇄용 페이지만 제외하려다 공통 head에 규칙을 넣으면 다른 공개 페이지까지 같은 설정을 받을 수 있습니다. 검수용으로 대상 페이지와 정상 공개 페이지를 함께 골라 비교하세요.
- 대상 URL의 HTML 또는 응답 헤더에서 규칙을 확인합니다.
- robots.txt에 대상 경로의 접근을 막는 설정이 있는지 봅니다.
- 공통 템플릿을 쓰는 공개 페이지가 영향을 받았는지 확인합니다.
- 수정 시점과 검색 도구에서 확인한 상태를 각각 기록합니다.
설정이 바뀐 시각과 검색엔진이 다시 읽은 시각은 구분해 적습니다. 검수 메모의 예시는 “대상 / 의도 / 실제 출력 / 확인 시점 / 다음 확인 항목”입니다. 중복 페이지를 하나로 정리하려는 상황이라면 Canonical 기초의 대표 주소 선택부터 확인하세요.
참고 자료(2026년 11월 확인 기준): Google noindex 안내, Google robots 규칙, Google robots.txt 소개.
자주 묻는 질문
robots.txt로 막으면 noindex도 읽히나요?
Google이 페이지에 접근할 수 있어야 그 안의 noindex를 읽을 수 있습니다. 두 설정을 함께 검토하세요.
PDF에는 어디에 noindex를 넣나요?
PDF를 보내는 HTTP 응답의 X-Robots-Tag 헤더를 검토합니다. HTML용 메타 태그와 적용 위치가 다릅니다.
noindex가 붙은 URL을 공유해도 열리나요?
공개 접근이 가능한 URL이라면 방문자가 열 수 있습니다. 열람 권한은 인증과 접근 제어로 관리합니다.