핵심 요약 · 3줄 체크
- 01크롤러 이름을 운영사가 밝힌 용도와 대조하세요.
- 02로그 한 줄에서 시각·경로·응답을 나누어 읽습니다.
- 03수집 현황과 답변의 출처 표시를 별도 기록으로 봅니다.
1. 크롤러가 하는 일을 구분합니다
AI 크롤러 로그를 읽을 때 첫 질문은 “어떤 목적으로 들어온 요청인가”입니다. 검색에 쓰는 수집과 모델 학습에 쓰일 수 있는 자료 수집, 사용자가 요청한 페이지 열람은 같은 이름으로 묶기 어렵습니다.
예를 들어 OAI-SearchBot과 GPTBot이 같은 페이지를 요청했더라도 보고서에서는 요청자별로 나누어 봅니다. 아래는 운영사가 밝힌 용도를 요약한 표입니다. User-Agent의 버전 문자열보다 이름과 목적을 먼저 익히면 로그를 분류하기 좋습니다.
| 이름 | 운영사가 밝힌 용도 |
|---|---|
| OAI-SearchBot | ChatGPT 검색 기능에서 웹사이트를 찾고 표시하는 검색용 |
| GPTBot | 모델 학습에 사용될 수 있는 콘텐츠 수집 |
| ChatGPT-User | ChatGPT 사용자의 요청에 따른 일부 페이지 방문 |
| PerplexityBot | Perplexity 검색 결과에서 사이트를 찾고 연결하는 검색용 |
| Perplexity-User | Perplexity 사용자의 요청에 따른 페이지 접근 |
2. 로그 한 줄을 필드별로 읽습니다
서버마다 로그 형식은 다릅니다. 실제 분석에 앞서 각 필드가 무엇을 뜻하는지 운영 설정과 대조하세요. 다음은 읽는 순서를 설명하려고 필드를 단순화한 예시이며, 실제 방문 기록이 아닙니다.
time="2026-11-13T09:00:00+09:00"
url="https://example.com/guides/care/"
method="GET" status="200"
user_agent="OAI-SearchBot"
시각과 시간대는 언제의 기록인지, URL은 어떤 페이지인지, GET은 어떤 요청 방식인지 보여 줍니다. status 200은 성공 응답을 뜻합니다. User-Agent 값은 요청자가 적어 보낸 이름이므로 다음 단계에서 출처를 확인합니다. 이 한 줄로 알 수 있는 것은 페이지 요청과 서버 응답까지입니다.
3. 이름과 실제 출처를 대조합니다
로그에서 이름을 찾은 뒤에는 운영사의 검증 안내를 사용하세요. OpenAI와 Perplexity는 요청자별 IP 범위를 공개하며, Google은 공개 IP 목록 대조 또는 역방향·정방향 DNS 확인 방법을 안내합니다(2026년 11월 확인 기준).
분류 예시는 “이름으로 찾은 후보 / 공개 범위와 대조한 요청 / 아직 확인할 요청”입니다. 검증을 수행한 시점도 적어 두면 이후 공개 범위가 바뀌었을 때 다시 확인할 대상을 찾을 수 있습니다.
- 후보 추출 · User-Agent에서 요청자 이름을 찾습니다.
- 출처 대조 · 해당 운영사의 최신 공개 자료를 확인합니다.
- 결과 기록 · 대조 결과와 확인 시점을 남깁니다.
4. 응답과 페이지를 함께 묶어 봅니다
요청 수를 합치기 전에 성공 응답과 이동, 접근 거부, 서버 오류를 나눕니다. 같은 경로가 반복되는지, 새 페이지도 요청되는지 살펴보면 총합만 볼 때 놓치는 차이가 드러납니다.
예를 들어 관리 안내는 성공 응답인데 제품 비교 페이지는 접근 거부라면, 먼저 비교 페이지의 공개 정책과 보안 설정을 확인할 수 있습니다. 성공 응답인 관리 안내도 실제로 관리 본문을 반환하는지 열어 봅니다.
콘텐츠 전송망(CDN)과 원본 서버 중 어디의 로그인지도 중요합니다. 같은 요청이 여러 계층에 남는 환경이라면 중복을 처리할 기준을 정하세요. 보고서에는 자료를 가져온 계층과 보관 기간을 적어 집계 범위를 보여 줍니다.
5. 수집 현황을 다음 작업으로 옮깁니다
보고서는 요청자별 현황, 오류 경로, 확인이 필요한 내용을 중심으로 정리합니다. 예시 메모 “비교 페이지 접근 거부 확인 → 공개 설정 검토”처럼 관찰한 상태와 후속 작업을 연결하세요.
- 집계 기간과 시간대, 로그 계층을 적습니다.
- 요청자 확인 방법과 미확인 범위를 남깁니다.
- 응답별 경로를 묶고 우선 확인할 페이지를 고릅니다.
- 답변의 출처 표시는 별도의 질문·답변 기록과 비교합니다.
로그는 “읽으러 왔는가”를, 답변은 “근거로 쓰였는가”를 보여 줍니다. 두 기록을 나란히 놓으면 접근과 콘텐츠 중 어디를 다음에 살필지 정하기 좋습니다. 서비스 범위는 수집 확인, 답변 기록은 GEO 측정을 참고하세요.
참고 자료(2026년 11월 확인 기준): OpenAI 크롤러, Perplexity 크롤러, Google 요청 검증.
자주 묻는 질문
User-Agent만으로 요청자를 확정할 수 있나요?
이름은 후보를 찾는 데 쓰고 운영사가 공개한 IP 범위나 검증 방법으로 출처를 확인합니다.
성공 응답이면 내용을 모두 읽은 것인가요?
성공 응답은 서버의 처리 상태입니다. 반환된 본문과 실제 답변의 출처 표시는 따로 확인하세요.
로그가 없는 기간은 어떻게 다루나요?
보관 범위와 빠진 구간을 표시하고 관찰할 수 있는 기간 안에서 현황을 정리합니다.