Llms.txt 편집하기 (부분)

=== robots.txt와 AI 크롤러 ===

robots.txt는 AI 크롤러를 직접 제어할 수 있는 현실적인 도구다. llms.txt가 "무엇을 읽어주면 좋겠어"라는 긍정적 안내라면, robots.txt는 "여기는 들어오지 마"라는 직접적인 규칙이다. 2026년 기준 주요 AI 크롤러 유저 에이전트(User-Agent)와 역할은 다음과 같다.

{| class="wikitable"
|+ '''주요 AI 크롤러 User-Agent 목록 (2026년 기준)'''
|-
! style="background:#3c5a9a;color:white;" | User-Agent
! style="background:#3c5a9a;color:white;" | 회사
! style="background:#3c5a9a;color:white;" | 용도
|-
| <code>GPTBot</code>
| OpenAI
| 학습 데이터 수집
|-
| <code>OAI-SearchBot</code>
| OpenAI
| ChatGPT 검색/인용 인덱싱
|-
| <code>ChatGPT-User</code>
| OpenAI
| 사용자 요청 시 실시간 페이지 방문
|-
| <code>ClaudeBot</code>
| Anthropic
| 학습 데이터 수집
|-
| <code>Claude-SearchBot</code>
| Anthropic
| Claude 검색 결과 인덱싱
|-
| <code>Claude-User</code>
| Anthropic
| 사용자 요청 시 실시간 페이지 방문
|-
| <code>PerplexityBot</code>
| Perplexity
| 검색 및 인용 인덱싱
|-
| <code>Google-Extended</code>
| Google
| Gemini 학습 데이터 수집
|-
| <code>Applebot-Extended</code>
| Apple
| Apple Intelligence 관련
|}

{{참고|robots.txt에서 AI 학습 차단, AI 검색 인용 허용을 분리하는 일반적인 정책 패턴은 다음과 같다.
<syntaxhighlight lang="text">
# OpenAI - 검색 허용, 학습 차단
User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

# Anthropic - 검색 허용, 학습 차단
User-agent: Claude-SearchBot
Allow: /

User-agent: ClaudeBot
Disallow: /
</syntaxhighlight>
}}