llms.txt란 무엇인가: 작성법과 실제 크롤러 반응

llms.txt는 사이트 루트에 두는 마크다운 파일로, 이 사이트가 무엇을 다루는지와 어떤 문서를 먼저 읽어야 하는지를 대형 언어 모델에게 알려주기 위해 제안된 규약입니다. robots.txt가 "어디를 긁어도 되는지"를 말한다면 llms.txt는 "무엇부터 읽으면 되는지"를 말합니다. 2024년에 제안된 뒤 개발자 문서 사이트를 중심으로 도입이 늘었습니다.

다만 도입을 검토하는 입장에서 가장 궁금한 것은 규격이 아니라 효과입니다. 정말 AI가 이 파일을 읽어 가는가 하는 점입니다. 이 글은 llms.txt의 구조와 작성 방법을 정리하고, 저희가 직접 배포한 뒤 서버 접근 로그로 관찰한 결과를 그대로 공개합니다. 결론부터 말하면 배포 6일 동안 주요 AI 크롤러는 이 파일을 한 번도 요청하지 않았습니다.

llms.txt는 robots.txt나 sitemap.xml과 역할이 다릅니다

robots.txt는 접근 허용과 차단을 다루는 규칙 파일입니다. 크롤러가 어떤 경로를 요청해도 되는지 알려줄 뿐 내용에 관해서는 아무 말도 하지 않습니다. sitemap.xml은 URL 목록과 갱신 시각을 담지만 기계가 읽기 좋은 형식일 뿐 각 페이지가 무엇을 설명하는지는 담기지 않습니다.

llms.txt는 그 빈칸을 겨냥합니다. 사람이 읽을 수 있는 마크다운으로 사이트의 한 줄 요약과 핵심 문서 목록, 각 문서가 무엇을 다루는지를 적습니다. 언어 모델이 컨텍스트 창 안에 넣고 바로 이해할 수 있는 형태로 사이트 지도를 주는 셈입니다. 확장판인 llms-full.txt는 링크 대신 본문 전체를 하나의 파일에 담아 별도 요청 없이 읽을 수 있게 합니다.

세 파일은 대체 관계가 아닙니다. robots.txt로 접근을 열고, sitemap.xml로 전체 URL을 알리고, llms.txt로 우선순위와 맥락을 전하는 구성입니다. llms.txt만 두고 나머지를 빼면 아무 효과가 없습니다.

파일 구조는 네 부분으로 정해져 있습니다

규약이 정한 형식은 단순합니다. 맨 위에 H1으로 사이트나 프로젝트 이름을 적고, 바로 아래 인용문 형식으로 한두 문장 요약을 넣습니다. 이 요약이 모델이 사이트 성격을 판단하는 첫 근거이므로 업계 용어보다 구체적인 기능 설명을 쓰는 편이 낫습니다.

그다음은 자유 형식의 설명 문단입니다. 필수는 아니지만 서비스가 해결하는 문제나 대상 사용자를 적어 두면 모델이 맥락을 잡기 쉽습니다. 마지막이 핵심인데, H2 제목으로 묶은 링크 목록입니다. 각 항목은 마크다운 링크 뒤에 콜론과 한 줄 설명을 붙이는 형태입니다.

H2 제목 중 Optional은 특별한 의미를 가집니다. 컨텍스트가 부족할 때 건너뛰어도 되는 문서를 여기에 넣습니다. 약관이나 개인정보처리방침처럼 내용 이해에 꼭 필요하지 않은 문서를 Optional로 내리면 중요한 문서에 자리를 양보할 수 있습니다.

배포 6일 동안 AI 크롤러는 한 번도 오지 않았습니다

저희는 2026년 7월 31일에 llms.txt와 llms-full.txt를 배포하고 nginx 접근 로그에서 두 경로의 요청을 전부 추적했습니다. 8월 5일까지 6일 동안 기록된 요청은 배포 직후 저희가 검증에 쓴 curl, 사람이 브라우저로 연 한 번, 그리고 Dataprovider.com이라는 웹 데이터 수집 업체뿐이었습니다.

같은 기간 다른 파일은 상황이 전혀 달랐습니다. GPTBot은 블로그 글 열네 편을 하루에 두 번씩 가져갔고, ClaudeBot은 누적 마흔네 개 페이지를 수집했습니다. Applebot과 meta-externalagent도 각각 열아홉 개, 스물아홉 개를 읽어 갔습니다. PerplexityBot을 포함해 이 봇들은 robots.txt와 sitemap.xml은 꼬박꼬박 요청하면서 llms.txt만 건너뛰었습니다.

즉 크롤러가 사이트에 안 온 것이 아니라, 와서 다른 파일만 읽고 갔습니다. 현재 주요 AI 사업자들이 llms.txt를 수집 경로에 넣지 않고 있다는 뜻으로 읽는 것이 타당합니다. 이 관찰은 저희 도메인 한 곳의 6일치 기록이므로 업계 전체를 단정할 수는 없지만, 도입 효과를 즉시 기대하기는 어렵다는 판단의 근거로는 충분합니다.

그럼에도 두는 편이 나은 이유

효과가 확인되지 않았는데 왜 두느냐는 질문이 나옵니다. 비용이 거의 들지 않는다는 점이 첫 번째 이유입니다. 사이트 구조 데이터를 이미 가지고 있다면 llms.txt는 그것을 마크다운으로 출력하는 라우트 하나로 끝납니다. 저희도 기존 페이지 목록과 블로그 메타데이터를 재사용해 자동 생성되도록 만들었기 때문에 새 글을 쓰면 파일이 알아서 갱신됩니다.

두 번째는 규약이 채택될 경우의 시차입니다. 만약 특정 시점에 주요 사업자가 지원을 시작하면 그때 준비하는 쪽보다 이미 두고 있던 쪽이 먼저 반영됩니다. 정적 파일이라 유지 비용이 사실상 없으므로 기다리는 데 드는 손해가 없습니다.

세 번째는 부수 효과입니다. llms.txt를 쓰려면 사이트의 핵심 문서가 무엇이고 각각 무엇을 설명하는지 한 줄로 정리해야 합니다. 이 작업을 하다 보면 설명이 겹치는 페이지나 어떤 질문에도 답하지 않는 페이지가 드러납니다. 저희도 이 과정에서 홈페이지가 여러 키워드를 동시에 대표하려 한다는 문제를 발견했습니다.

도입할 때의 작업 순서

먼저 robots.txt에서 GPTBot, ClaudeBot, PerplexityBot, Google-Extended가 차단되어 있지 않은지 확인합니다. 여기가 막혀 있으면 llms.txt를 아무리 잘 써도 의미가 없습니다. 접근 허용이 항상 먼저입니다.

사이트에서 반드시 읽혔으면 하는 문서를 열 개 안팎으로 추립니다. 소개, 핵심 기능, 가격, 자주 묻는 질문, 대표 가이드 글 정도가 기본입니다. 이때 링크마다 붙일 한 줄 설명을 미리 써 두면 파일 작성이 빨라집니다.

정적 파일로 직접 쓰기보다 사이트 데이터에서 생성되도록 만드는 편이 좋습니다. 수동 파일은 글이 늘어날 때마다 갱신을 잊게 되고, 오래된 링크가 남으면 없느니만 못합니다. 저희는 블로그 메타데이터를 읽어 응답을 만드는 라우트로 처리했습니다.

배포 후에는 서버 접근 로그에서 해당 경로의 요청을 기록해 두세요. 어떤 User-Agent가 언제 가져갔는지 남겨 두면 나중에 도입 효과를 판단할 근거가 됩니다. 이 글의 관찰 결과도 그렇게 얻은 것입니다.

자주 묻는 질문

llms.txt를 두면 AI 답변에 더 자주 인용되나요?

현재로서는 근거가 없습니다. 저희가 6일간 관찰한 바로는 주요 AI 크롤러가 이 파일을 요청조차 하지 않았습니다. 인용 빈도를 높이려면 llms.txt보다 본문 구조, 질문형 소제목, 첫 문단의 직접 답변, 구조화 데이터를 먼저 손보는 편이 효과적입니다.

llms.txt와 llms-full.txt 중 하나만 둬도 되나요?

llms.txt만 두어도 규약은 충족됩니다. llms-full.txt는 본문 전체를 담기 때문에 파일이 커지고 갱신 부담도 늘어납니다. 문서 수가 적고 자동 생성이 가능하다면 둘 다 두고, 수동 관리라면 llms.txt부터 시작하는 것을 권합니다.

llms.txt에 넣은 내용이 학습 데이터로 쓰이나요?

llms.txt는 학습 여부와 무관한 파일입니다. 학습 사용을 제어하려면 robots.txt에서 GPTBot이나 Google-Extended 같은 사용자 에이전트를 개별로 다루어야 합니다. llms.txt에 민감 정보를 적지 않는 것은 당연하고, 공개하고 싶지 않은 문서는 애초에 목록에서 빼야 합니다.

실행 체크리스트

• robots.txt에서 주요 AI 크롤러가 차단되어 있지 않은지 먼저 확인합니다.

• H1 이름, 인용문 요약, H2 링크 목록의 기본 구조를 지킵니다.

• 약관이나 정책 문서는 Optional 섹션으로 내려 중요 문서에 자리를 줍니다.

• 수동 파일 대신 사이트 데이터에서 자동 생성되도록 만듭니다.

• 접근 로그에서 해당 경로 요청을 기록해 도입 효과를 직접 확인합니다.

정리

llms.txt는 아이디어로는 합리적이지만 2026년 8월 현재 주요 AI 크롤러가 실제로 읽어 가는 파일은 아닙니다. 저희 서버 로그가 그렇게 말하고 있습니다. 도입을 검토한다면 즉각적인 노출 상승을 기대하기보다 비용이 거의 들지 않는 준비 작업으로 보는 편이 정확합니다.

우선순위를 정하자면 AI 크롤러 접근 허용, 본문 구조 정리, 구조화 데이터 적용이 먼저이고 llms.txt는 그다음입니다. 순서를 뒤집으면 파일은 있는데 읽을 내용이 부실한 상태가 됩니다.