Llms.txt 편집하기 (부분)

=== 기존 표준의 한계 ===

{| class="wikitable"
|+ '''기존 웹 표준과 llms.txt의 비교'''
|-
! style="background:#3c5a9a;color:white;width:15%" | 파일
! style="background:#3c5a9a;color:white;width:20%" | 대상
! style="background:#3c5a9a;color:white;width:30%" | 역할
! style="background:#3c5a9a;color:white;width:35%" | 한계
|-
| <code>'''robots.txt'''</code>
| 검색엔진 크롤러
| 크롤링 허용/차단 URL 지정
| 어떤 페이지가 중요한지, 콘텐츠가 무엇인지 설명 불가
|-
| <code>'''sitemap.xml'''</code>
| 검색엔진
| 전체 URL 목록 제공
| 우선순위 정보가 제한적, 콘텐츠 맥락 없음
|-
| '''schema.org'''
| 검색엔진(구조화 데이터)
| 페이지 내 구조화 데이터 마크업
| 개별 페이지 단위, 사이트 전체 맥락 제공 불가
|-
| <code>'''llms.txt'''</code>
| AI 어시스턴트 / LLM
| 중요 페이지 큐레이션 + 사이트 설명
| 공식 표준 아님, AI 크롤러 지원 아직 초기 단계
|}

제레미 하워드는 이 문제를 인식하고, '''AI 시대에 맞는 새로운 웹 표준'''이 필요하다는 결론을 내렸다. 마치 1994년에 [[마르틴 코스터(Martijn Koster)]]가 검색엔진 크롤러를 위한 robots.txt를 만들었듯이, AI를 위한 유사한 파일이 필요하다는 것이었다.