Ваш сайт. Ваши правила.
Решите, какие страницы могут обходить поисковые роботы.
Мы превратим ваши настройки в robots.txt.
Добавьте ваш сайт
Найдём страницы по ссылкам внутри сайта. Можно начать и с ручного добавления.
Настройте доступ
Для страниц без отдельного правила
Отдельное правило точнее общей настройки. «Авто» — без отдельного правила.
robots.txt управляет обходом сайта. Он не защищает личные данные и не гарантирует удаление страницы из поиска.
Понятно с первого раза
Что такое поисковый робот?
Это программа поисковой системы, которая открывает страницы и изучает их содержимое. robots.txt подсказывает таким программам, куда можно заходить.
В чём разница между страницей и разделом?
«Только страница» задаёт правило ровно для указанного адреса. Например, /blog не затронет /blog/article. «Весь раздел» охватывает /blog, /blog/ и вложенные страницы. Параметры после ? считаются частью адреса отдельной страницы.
Почему найдены не все страницы?
Мы следуем обычным HTML-ссылкам внутри одного сайта, учитываем текущие запреты robots.txt. Без регистрации собираем до 50 страниц, после входа — до 1000 за загрузку. Страницы за входом, ссылки, создаваемые JavaScript, и адреса с параметрами автоматически не собираются. Добавьте их вручную. Лимит включает все найденные страницы. Если обход занимает больше 20 минут, он ставится на паузу: нажмите «Продолжить загрузку».
Какое правило важнее?
Побеждает самое точное совпадение пути. При равной точности разрешение важнее запрета. Для Google, Яндекса и Bing можно задать исключения: общие правила копируются в их группы, затем учитываются отдельные настройки.
Где хранятся мои настройки?
Черновик сохраняется только в этом браузере. Адрес сайта, очередь и результаты поиска страниц хранятся на сервере до 7 дней, чтобы загрузку можно было продолжить. Доступ к ним есть только у вашей сессии или аккаунта. Логин и защищённые хеши пароля и кода восстановления хранятся до удаления аккаунта; почта не требуется. На общем компьютере очистите черновик после работы.
Что даёт регистрация?
Без регистрации можно загрузить до 50 страниц, с аккаунтом — до 1000 за один запуск. Нужны только логин и пароль. При регистрации вы получите личный код для восстановления доступа — сохраните его отдельно от пароля. Почта и телефон не нужны. Загрузку можно продолжить после входа с другого устройства; настройки правил остаются в браузере.