llms.txt는 필요할까: 형식, 현황, 만드는 법

llms.txt란 무엇인가

llms.txt란 사이트 루트(/llms.txt)에 두는 마크다운 텍스트 파일로, 대형 언어 모델을 쓰는 도구가 사이트에서 먼저 읽을 만한 문서를 간추려 안내하려는 목적의 제안입니다. HTML 페이지에는 메뉴, 광고, 스크립트처럼 본문과 상관없는 요소가 많습니다. 그래서 사람이 고른 핵심 문서 목록과 짧은 설명을 한 파일에 모아 두자는 발상에서 출발했습니다.

결론부터 말하면, 지금 시점에서 llms.txt는 선택 사항입니다. Google 검색은 이 파일을 쓰지 않는다고 밝혔고, 다른 AI 서비스가 타 사이트의 llms.txt를 읽는다는 공식 설명도 확인되지 않았습니다. 만드는 비용이 낮으니 문서가 많은 사이트라면 정리 차원에서 둘 수 있지만, 검색 성과를 기대하고 우선순위를 높일 파일은 아닙니다. 아래에서 근거를 하나씩 살펴봅니다.

제안의 출처와 형식

llms.txt는 Jeremy Howard가 2024년 9월 3일에 공개한 제안이며, 명세는 llmstxt.org에 있습니다. 2026년 8월 10일에 갱신된 v2 명세 기준으로 구성 요소는 다음과 같습니다.

요소	필수 여부	설명
H1 (# 이름)	필수	사이트나 프로젝트 이름. 명세에서 유일한 필수 요소입니다.
인용 블록 (> 요약)	선택	사이트를 한두 문장으로 소개하는 요약
일반 문단	선택	파일을 읽는 쪽이 알아 두면 좋은 추가 설명
H2 섹션과 링크 목록	선택	## 섹션 아래 - [제목](URL): 설명 형식의 목록, 0개 이상
## Optional 섹션	관례	건너뛰어도 되는 문서를 모아 두는 관례. 형식상 강제는 없음

명세는 이 밖에도 각 페이지의 마크다운 버전을 같은 경로에 .md를 붙여 제공하자는 제안을 담고 있습니다. 흔히 함께 언급되는 llms-full.txt, 즉 문서 전체 본문을 한 파일에 합친 형태는 널리 쓰이는 관례일 뿐 v2 명세의 일부가 아닙니다.

형식에서 기억할 점은 하나입니다. 첫 줄의 H1만 지키면 명세를 만족하고, 나머지는 사이트 사정에 맞춰 고르면 됩니다.

표준인가

아닙니다. 2026년 9월 23일 기준으로 llms.txt는 IETF나 W3C 표준이 아니며, IETF 문서나 IANA 등록도 없습니다. 공개 제안으로 이해하면 정확합니다.

표준이 아니라는 사실이 곧 쓸모없다는 뜻은 아닙니다. 다만 “만들어 두면 어느 서비스가 반드시 읽는다”는 약속이 어디에도 없다는 점은 분명히 해 둬야 합니다.

누가 읽나

Google 검색은 쓰지 않는다

Google은 생성형 AI 검색 최적화 안내에서 Google 검색에 나오기 위해 새로운 기계 판독용 파일이나 AI 텍스트 파일, 마크업, 마크다운을 따로 만들 필요가 없다고 설명합니다. 같은 문서는 Google 검색 자체가 그런 파일을 쓰지 않으므로 만들어도 검색 가시성에 도움이 되지도 해가 되지도 않는다고 적고 있습니다. Google만 놓고 보면 llms.txt 작업보다 크롤링과 색인 상태를 챙기는 편이 훨씬 낫습니다.

AI 사업자는 자기 문서용으로 게시한다

OpenAI, Anthropic, Perplexity, Mistral은 자사 개발 문서 사이트에 llms.txt를 올려 두고 있습니다. 그런데 게시하는 것과 읽는 것은 다른 이야기입니다. 이 사업자들이 운영하는 크롤러가 다른 사이트의 llms.txt를 읽는다는 1차 공식 설명은 확인되지 않았습니다. 각 사업자가 크롤러를 설명하는 문서, 예를 들어 OpenAI 크롤러 안내, Perplexity 크롤러 안내, Mistral 크롤러 안내는 robots.txt 제어를 기준으로 설명합니다.

서버 로그 관찰은 판단 근거로 약하다

자사 서버 로그에서는 사용자 에이전트별 /llms.txt 요청 여부를 확인할 수 있습니다. 다만 요청 기록만으로 그 내용이 답변 생성에 쓰였다고 판단할 수는 없습니다.

Lighthouse는 선택 항목으로 다룬다

Chrome Lighthouse의 에이전트 브라우징 llms.txt 감사는 이 파일을 선택 항목으로 취급합니다. 파일이 없으면 “해당 없음”으로 처리하고, 서버 오류가 날 때 문제로 표시합니다. 도구 쪽에서도 “없으면 감점”이 아니라 “있다면 제대로 응답하는지”를 보는 셈입니다.

주체	확인된 사실
Google 검색	사용하지 않음. 만들어도 검색에 영향 없음
주요 AI 사업자	자사 문서에 게시. 타 사이트 파일 사용은 공식 미확인
Chrome Lighthouse	선택 항목. 없으면 해당 없음, 서버 오류는 표시
표준화 기구	IETF·W3C 표준 아님, IANA 등록 없음

만든다면: 예시 파일

만들기로 했다면 짧고 정확하게 쓰는 것이 핵심입니다. 아래는 애드브랜치의 /llms.txt와 같은 구조로 쓴 예시입니다. 사이트 이름, 한 줄 요약, 주요 도구, 가이드, 참고 문서 순서로 정리했습니다.

# 애드브랜치

> 애드브랜치는 웹페이지의 SEO와 GEO 상태를 점검하는 무료 검사기와 한국어 가이드를 제공합니다.

검사 결과는 공개된 규칙과 배점 기준에 따라 계산되며, 규칙 설명은 /rules에서 볼 수 있습니다.

## 도구

- [SEO·GEO 검사기](https://ad-branch.com/seo-geo-checker): URL 하나를 넣으면 검색 접근성, 구조화 데이터, 답변 명확성 등을 점검합니다.
- [검사 규칙](https://ad-branch.com/rules): 규칙별 판정 기준과 배점

## 가이드

- [robots.txt 작성법](https://ad-branch.com/guides/robots-txt): 크롤러 접근 제어의 기본
- [sitemap.xml 만들기](https://ad-branch.com/guides/sitemap): 형식, 제한, 제출 방법
- [구조화 데이터 기초](https://ad-branch.com/guides/structured-data): JSON-LD 작성과 검증

## Optional

- [검사 방법론](https://ad-branch.com/methodology): 수집 범위와 점수 계산 방식

작성할 때 지킬 점을 정리하면 이렇습니다.

• 첫 줄은 반드시 # 이름 형식의 H1로 시작합니다. 앞에 빈 줄이나 BOM, HTML 주석을 두지 않는 편이 안전합니다.
• 링크는 절대 URL로 쓰고, 실제로 200을 돌려주는 canonical URL만 넣습니다.
• 모든 페이지를 나열하지 않습니다. 전체 목록은 sitemap.xml의 역할이고, llms.txt는 핵심 문서를 고른 안내판입니다.
• 설명은 링크마다 한 줄로 충분합니다. 홍보 문구보다 문서가 무엇을 다루는지를 씁니다.
• 파일은 text/plain 또는 text/markdown으로, UTF-8 인코딩으로 제공합니다.

흔한 실수

HTML 대체 라우팅이 200을 돌려준다

단일 페이지 애플리케이션(SPA)이나 일부 호스팅 설정은 존재하지 않는 경로에 대해 index.html을 200 상태로 돌려줍니다. 이 경우 /llms.txt를 만든 적이 없는데도 요청하면 200과 함께 HTML 문서가 돌아옵니다. 파일을 읽으려는 쪽에서는 마크다운 대신 앱 껍데기를 받게 되고, 사이트 운영자는 파일이 있는 것으로 착각하기 쉽습니다. 없는 경로가 404를 돌려주도록 서버를 고치는 것이 근본 해결이며, 이 문제는 soft 404 가이드에서 자세히 다룹니다.

# 상태 코드와 Content-Type을 함께 확인합니다
curl -sI https://example.com/llms.txt
# 기대: HTTP/2 200, content-type: text/plain 또는 text/markdown
# 문제: HTTP/2 200, content-type: text/html

H1 없이 목록부터 시작한다

첫 줄이 ## 문서이거나 일반 문장으로 시작하면 명세의 유일한 필수 요소를 빠뜨린 것입니다. 다른 형식은 느슨해도 되지만, 첫 줄 H1만큼은 지켜야 명세를 따르는 파일이 됩니다.

<!-- 잘못된 예 -->

## 문서

- [가이드](https://example.com/guides)

<!-- 수정된 예 -->

# Example

> Example은 소규모 쇼핑몰 운영 도구입니다.

## 문서

- [가이드](https://example.com/guides): 설정과 운영 방법

리디렉션으로 다른 곳을 가리킨다

/llms.txt를 다른 도메인이나 문서 홈으로 리디렉션하는 경우도 있습니다. 읽는 쪽이 리디렉션을 따라간다고 기대할 수 없으니, 파일은 루트 경로에서 바로 응답하게 두는 편이 낫습니다.

오래된 링크를 방치한다

한 번 만들고 잊어버리면 삭제된 문서나 옮겨진 URL이 쌓입니다. 사이트 구조를 바꿀 때 sitemap.xml과 함께 갱신 목록에 넣어 두세요.

비용 대비 판단

llms.txt에 들이는 노력은 기대할 수 있는 효과에 맞춰야 합니다. 판단 기준을 표로 정리하면 다음과 같습니다.

상황	권장
크롤링·색인 문제가 남아 있음	그 문제부터 해결. llms.txt는 뒤로 미룸
개발 문서, API 문서처럼 구조화된 문서가 많음	만들어 둘 만함. 유지 비용도 낮음
페이지가 적은 소개형 사이트	없어도 무방
이미 있는데 HTML이나 오류를 돌려줌	고치거나 404가 나도록 정리

정리하면, llms.txt는 선택 작업이며 효과가 확인된 개선 작업은 아닙니다. 같은 시간이라면 robots.txt에서 AI 크롤러 접근을 확인하고, 본문이 HTML에 들어 있는지, 제목과 구조화 데이터가 정확한지를 먼저 점검하세요. AI 크롤러 제어는 AI 크롤러 접근 가이드에서 다룹니다.

애드브랜치 검사기의 판정

애드브랜치 SEO·GEO 검사기는 geo-a10-llms-txt 규칙으로 검사한 페이지와 같은 출처(origin)의 /llms.txt를 한 번 요청합니다. 리디렉션은 따라가지 않고, 응답은 최대 64KB까지 읽습니다. 이 규칙은 배점이 0점인 진단 항목이라 결과가 점수에 반영되지 않습니다.

응답	판정
2xx, 첫 줄이 # 이름 형식	pass
2xx, 본문이 HTML	warning
2xx, 첫 줄이 # 이름 형식이 아님	warning
3xx 또는 4xx(파일 없음 포함)	info
5xx 또는 요청 실패	unknown

파일이 없을 때 warning이 아니라 info인 이유는 앞에서 본 대로 llms.txt가 선택 사항이기 때문입니다. 반대로 2xx인데 HTML이 돌아오는 경우는 대체 라우팅 문제를 드러내는 신호라서 warning으로 표시합니다. 검사기는 리디렉션 이동을 포함해 한 번의 검사에서 외부 요청을 최대 6회 보내며, 요청 한도를 먼저 소진하면 이 진단은 unknown으로 남습니다. 규칙 전체는 검사 규칙과 검사 방법론에서 확인할 수 있습니다.

자주 묻는 질문

llms.txt를 만들면 AI 답변에 우리 사이트가 더 자주 나오나요

그렇다고 볼 근거가 없습니다. Google 검색은 이 파일을 쓰지 않는다고 밝혔고, 다른 AI 사업자도 타 사이트의 llms.txt를 읽는다고 공식적으로 설명하지 않았습니다. 효과를 기대하고 만들기보다 문서 안내판을 정리한다는 생각으로 접근하세요.

robots.txt 대신 llms.txt로 AI 크롤러를 막을 수 있나요

아닙니다. llms.txt는 안내용 목록이지 접근 제어 수단이 아닙니다. robots.txt는 규칙을 준수하는 크롤러의 접근을 제어할 뿐 보안 수단은 아니며, 특정 크롤러의 접근을 제한하려면 robots.txt에서 해당 사용자 에이전트를 지정합니다. 방법은 robots.txt 가이드를 참고하세요.

llms-full.txt도 같이 만들어야 하나요

필수는 아닙니다. llms-full.txt는 문서 전체 본문을 한 파일로 합치는 관례일 뿐 llms.txt v2 명세에 포함되지 않습니다. 문서가 자주 바뀌는 사이트라면 갱신 부담만 늘 수 있으니, 필요성이 분명할 때만 검토하세요.

관련 가이드

• AI 크롤러 접근 설정
• robots.txt 작성법과 흔한 실수
• soft 404 점검
• GEO 점검 체크리스트