Вокруг файла llms.txt много шума и ещё больше путаницы. Одни называют его «robots.txt для нейросетей», другие — маркетинговой пустышкой. Истина посередине, и чтобы принять решение, нужно чётко разделить две разные задачи: управление доступом ботов и подсказку моделям, что на сайте главное.
Это не замена robots.txt
Доступом ИИ-краулеров по-прежнему управляет robots.txt. Именно там указываются директивы для GPTBot, ClaudeBot, PerplexityBot, Google-Extended и других агентов: разрешить или запретить обход конкретных разделов. Если задача — закрыть контент от обучения или сбора, это делается в robots.txt и на уровне сервера, а не в llms.txt.
Зачем тогда llms.txt
Идея файла llms.txt — дать модели компактную карту сайта в удобном для чтения виде: ссылки на ключевые страницы с краткими описаниями, очищенные от навигации, рекламы и скриптов. Это попытка сказать: «вот самое важное, вот структура, читай отсюда». Файл размещается в корне сайта и пишется в формате Markdown — заголовок, короткое описание проекта и списки ссылок по разделам.
Работает ли это сейчас
Честный ответ: единого, повсеместно поддерживаемого стандарта пока нет, и крупные модели не гарантируют, что читают этот файл. Поэтому относиться к llms.txt стоит как к недорогой ставке на будущее, а не как к рычагу мгновенного роста. Вреда он не несёт, а если формат закрепится — вы окажетесь готовы раньше конкурентов.
Разумный план действий
Сначала наведите порядок в robots.txt и явно пропишите поведение для ИИ-агентов — это работает уже сегодня. Затем, если ресурсов хватает, добавьте аккуратный llms.txt с честной картой главных разделов. И не путайте инструменты: доступ — в robots.txt, подсказка о содержании — в llms.txt.