Llms.txt 편집하기 (부분)

== llms.txt와 llms-full.txt ==

=== 두 파일의 차이 ===

공식 명세는 사실상 두 가지 파일을 정의한다.

{| class="wikitable"
|+ '''llms.txt vs llms-full.txt 비교'''
|-
! style="background:#3c5a9a;color:white;width:20%" | 항목
! style="background:#3c5a9a;color:white;width:40%" | llms.txt
! style="background:#3c5a9a;color:white;width:40%" | llms-full.txt
|-
| '''역할'''
| 내비게이션 가이드 (큐레이션된 링크 목록)
| 모든 콘텐츠를 단일 파일로 통합
|-
| '''크기'''
| 수백~수천 토큰 (가볍다)
| 수만~수백만 토큰 (무겁다)
|-
| '''용도'''
| AI가 어떤 페이지를 가져갈지 판단하는 인덱스
| AI가 모든 내용을 한 번에 읽을 수 있는 전체 문서
|-
| '''링크 추종'''
| 에이전트가 링크를 따라가서 개별 페이지를 읽음
| 링크를 따라갈 필요 없이 이 파일만 읽으면 됨
|-
| '''실제 용량 예시'''
| Anthropic: 약 8,364 토큰
| Anthropic: 약 481,349 토큰
|-
| '''Cloudflare 예시'''
| 일반 크기
| 370만 토큰 (!)
|-
| '''권장 대상'''
| 모든 사이트
| SaaS, 개발자 도구, API 문서 사이트
|}

=== llms-full.txt 주의사항 ===

llms-full.txt는 강력하지만 양날의 검이다.

* '''장점''' : 에이전트가 링크를 일일이 방문하지 않아도 전체 내용을 파악 가능. 토큰 효율적인 일괄 수집(bulk ingestion)이 가능.
* '''단점''' : 경쟁사나 AI 크롤러에게 사이트의 전체 콘텐츠를 한 번에 제공하는 셈. 독점적인 정보나 프리미엄 콘텐츠가 포함될 경우 리스크가 있다.

때문에 전문가들 사이에서는 '''llms.txt(내비게이션 파일)만 공개하고, llms-full.txt는 신중하게 판단하라'''는 의견이 많다.

=== .md 확장자 규칙 ===

Mintlify와 Anthropic이 협력하여 추가된 관련 규칙으로, 기존 URL에 <code>.md</code>를 붙이면 해당 페이지의 마크다운 버전을 반환하는 규칙이 있다. 예를 들어 <code>https://docs.example.com/quickstart.md</code>에 접근하면 HTML이 아닌 마크다운 형식으로 콘텐츠가 반환된다. 이 기능은 llms.txt 링크와 함께 사용하면 AI 에이전트가 더욱 깨끗한 형태로 콘텐츠를 수집할 수 있다.