Конструктор robots.txt

Файл, которым сайт объясняет поисковым роботам, куда ходить не нужно. Выберите движок — остальное соберётся само, вспоминать синтаксис не придётся.

Сайт

Адрес сайта

Движок

Что закрыть

Поиск по сайтуБесконечные страницы результатов засоряют индекс Корзину и оформлениеЛичный кабинет, вход, восстановление пароля Адреса с меткамиОдна страница с разными utm — для робота это разные страницы Версии для печатиДубль каждой страницы ПагинациюСпорно: так можно потерять из индекса товары с дальних страниц

Что добавить

Разрешить стили и скриптыИначе робот увидит страницу без оформления и сочтёт её неудобной Отдельный блок для ЯндексаС директивой Clean-param — она склеивает адреса с метками вместо запрета Ссылку на карту сайта

Свои строки — по одной на строку

Готовый файл

Файл кладётся в корень сайта и должен открываться по адресу

Проверка адресов

Вставьте адреса — покажем, какие закрыты

О чём стоит помнить

robots.txt — просьба, а не замок. Он говорит роботам «не заходите», но не прячет страницу: если на неё ведут ссылки, адрес всё равно может попасть в выдачу. Чтобы страницы точно не было в поиске, нужен тег <meta name="robots" content="noindex"> на самой странице — а для этого робот должен иметь право её открыть. Поэтому закрывать такую страницу ещё и здесь не нужно.