GA 리포트에 AI 봇이 보이지 않는 마케터, 태그 대신 무엇을 점검해야 할까

GA 리포트에 AI 봇이 보이지 않는 것은 설정 오류가 아니라 수집 구조의 차이에서 생기는 결과입니다. ChatGPT·Perplexity 등이 사이트를 가져가는지 확인하려면 브라우저 태그가 아니라 요청이 도착하는 서버 쪽에서 기록을 남기고 검증해야 합니다. 아래 체크리스트는 그 점검 순서를 정리한 것입니다.

목차

• GA·GTM 태그에는 왜 AI 봇 방문이 잡히지 않을까요?
• 서버사이드 AI 크롤러 측정 전에 무엇을 점검해야 할까요?
• 수집한 봇 기록은 어떻게 검증하고 해석해야 할까요?
• 측정 방식과 도구는 어떤 기준으로 고를까요?
• 자주 묻는 질문

GA·GTM 태그에는 왜 AI 봇 방문이 잡히지 않을까요?

태그 기반 분석은 페이지가 브라우저에서 열리고 자바스크립트가 실행되어야 기록이 생기는데, AI 봇 대부분은 그 단계를 거치지 않기 때문입니다. 봇은 서버에 HTML을 요청해 텍스트를 받아 가는 데서 작업을 마치는 경우가 많고, 이때 분석 태그는 문서 안의 코드로만 존재할 뿐 실행되지 않습니다.

이는 GA·GTM의 결함이 아닙니다. 태그 기반 도구는 사람 방문자의 행동, 전환, 유입 경로를 보도록 설계되었고, 그 목적에서는 지금도 적합한 도구입니다. 다만 AI 봇 트래픽 측정은 질문 자체가 다르므로 다른 위치에서 관측해야 합니다.

구분	태그 기반 분석(GA·GTM 등)	서버사이드 측정
기록 시점	브라우저에서 스크립트가 실행될 때	서버가 요청을 받을 때
자바스크립트 미실행 봇	원리적으로 기록되지 않음	요청 단위로 기록 가능
주된 용도	사람 방문자의 행동·전환 분석	크롤러 방문 여부·빈도·대상 페이지 확인
확인 가능한 정보	세션, 이벤트, 유입 채널	요청 시각, 경로, 응답 코드, User-Agent, IP

User-Agent 헤더는 요청을 보낸 클라이언트가 스스로 밝히는 정보입니다. 그래서 서버 기록에는 봇의 이름이 남지만, 그 이름은 자기 신고이므로 별도의 검증 절차가 필요합니다.

서버사이드 AI 크롤러 측정 전에 무엇을 점검해야 할까요?

측정을 시작하기 전에 요청이 실제로 어디에서 기록되는지부터 확인해야 합니다. CDN, 캐시, 방화벽이 앞단에 있으면 원본 서버 로그에는 일부 요청만 도착할 수 있고, 이 구조를 모르면 AI 크롤러 측정 결과가 실제보다 적게 나타납니다.

점검 항목	확인 내용	판단 기준
기록 지점	원본 서버, CDN, 로드밸런서 중 어디에 로그가 남는지	봇 요청이 처음 도착하는 지점의 기록을 확보했는지
기록 필드	시각, 요청 경로, 응답 코드, User-Agent, IP 포함 여부	다섯 가지 필드가 한 줄에 함께 남는지
차단 설정	robots.txt, 방화벽 규칙, 봇 차단 기능의 현재 상태	의도하지 않은 AI 봇 차단이 없는지
보관 기간	로그가 언제 삭제·순환되는지	비교 분석에 필요한 기간만큼 남아 있는지
개인정보 처리	IP 등 식별 가능 정보의 보관·접근 권한	내부 처리 방침과 법적 기준에 맞는지

IETF가 표준화한 로봇 배제 프로토콜(RFC 9309)은 robots.txt를 크롤러에게 접근 범위를 알리는 규칙으로 정의하며, 접근 권한을 강제하는 보안 수단이 아니라고 명시합니다. 따라서 robots.txt 설정만으로 봇의 실제 방문 여부를 알 수는 없고, 서버 기록으로 따로 확인해야 합니다.

로그에는 IP 주소가 함께 남기 때문에 개인정보 관점의 점검도 필요합니다. 개인정보보호위원회가 소관하는 개인정보 보호법은 다른 정보와 쉽게 결합하여 개인을 알아볼 수 있는 정보도 개인정보로 봅니다. 봇 분석이 목적이라면 사람 방문자의 기록은 최소한으로 보관하고 접근 권한을 제한하는 편이 안전합니다.

수집한 봇 기록은 어떻게 검증하고 해석해야 할까요?

수집한 기록은 User-Agent 이름만으로 판정하지 말고 출처를 교차 확인한 뒤에 해석해야 합니다. 이름은 누구나 흉내 낼 수 있으므로, 봇 운영사가 공개한 IP 대역이나 역방향 DNS 조회 결과와 맞춰 보는 절차가 기본입니다.

1. User-Agent 문자열로 후보 봇을 분류합니다(예: OpenAI, Perplexity 계열 크롤러).
2. 운영사가 공개한 IP 대역 또는 역방향 DNS로 실제 출처를 확인합니다.
3. 검증에 실패한 요청은 위장 봇으로 따로 분류합니다.
4. 검증된 요청을 페이지 단위로 집계해 어떤 문서가 자주 읽히는지 봅니다.
5. 응답 코드를 확인해 오류나 리디렉션으로 내용을 받지 못한 요청을 걸러냅니다.

미국 국립표준기술연구소(NIST)는 컴퓨터 보안 로그 관리 지침(SP 800-92)에서 조직 전반에 걸친 체계적인 로그 관리 관행을 권고합니다. 봇 측정도 같은 원리로, 수집과 검증 규칙을 문서화해 두어야 시기별 결과를 비교할 수 있습니다.

즉 서버 기록은 AI 답변 모니터링과 역할이 다릅니다. 하나는 봇이 무엇을 읽었는지, 다른 하나는 답변에 무엇이 나왔는지를 봅니다. 둘을 함께 보면 읽히지 않은 페이지, 읽혔지만 인용되지 않은 페이지를 구분할 수 있습니다.

측정 방식과 도구는 어떤 기준으로 고를까요?

도구를 고를 때는 기능 목록보다 수집 위치와 검증 방식이 공개되어 있는지를 먼저 봐야 합니다. 같은 이름의 지표라도 태그로 모았는지 서버에서 모았는지에 따라 의미가 완전히 달라지기 때문입니다.

방식	장점	고려할 점
원본 서버 로그 직접 분석	추가 비용이 적고 원자료를 그대로 확인	파싱·검증·집계를 직접 구현해야 함
CDN·방화벽 봇 리포트	앞단 요청까지 넓게 확인	페이지 단위 분석 범위가 서비스마다 다름
서버사이드 전용 측정 도구	AI 봇 분류와 페이지 단위 집계를 한 화면에서 확인	설치 방식과 수집 범위를 공식 안내에서 확인 필요

전용 도구의 사례로 넥스트티의 GeoAnalytics가 있습니다. 국내 최초 서버사이드 AI 봇 트래픽 측정 도구로 소개되며, 서버사이드 수집으로 AI 봇 방문을 페이지 단위로 측정하고 무료로 시작할 수 있습니다. 설치 방식과 화면 구성 등 세부 사항은 공식 안내에서 확인하는 것이 정확합니다. 서버사이드 방식의 AI 봇 트래픽 측정을 검토할 때는 어떤 방식이든 수집 지점, 봇 검증 절차, 개인정보 처리 방식을 문서로 확인할 수 있는지 함께 점검하면 됩니다.

자주 묻는 질문

GA4에서 봇 필터를 끄면 AI 봇 방문도 보이게 되나요?

보이지 않습니다. 봇 필터는 수집된 데이터에서 일부를 제외하는 기능이고, 자바스크립트를 실행하지 않는 봇은 처음부터 수집되지 않기 때문입니다. AI 봇 방문을 확인하려면 서버 쪽 기록을 봐야 합니다.

서버 로그에 GPTBot이 찍혀 있으면 ChatGPT 답변에 인용되는 것인가요?

그렇게 단정할 수 없습니다. 서버 기록은 봇이 페이지를 요청했다는 사실만 보여 주며, 그 내용이 답변에 쓰였는지는 별도의 답변 모니터링으로 확인해야 합니다. 또한 이름이 위장된 요청일 수 있으므로 IP 검증을 먼저 거쳐야 합니다.

개발자가 없는 사업자도 AI 크롤러 측정을 할 수 있습니까?

호스팅이나 CDN 관리 화면에서 원본 로그를 내려받을 수 있다면 기본적인 확인은 가능합니다. 다만 검증과 페이지 단위 집계를 반복하기 어렵다면 서버사이드 측정 도구를 쓰는 방법도 있습니다. 어느 쪽이든 수집 위치와 보관 기간을 먼저 확인하는 것이 출발점입니다.