Как закрыть сайт от индексации в Robots.txt
В процессе разработки или редизайна проекта бывают такие ситуации, когда лучше не допускать поисковых роботов на сайт. В таком случае необходимо закрыть сайт от индексации поисковых систем. Сделать это можно следующим образом:
Закрыть сайт от индексации очень просто, достаточно создать в корне сайта текстовый файл robots.txt и прописать в нём строки, которые закроют сайт от поискового робота Яндекса.
Disallow: /
А таким образом можно закрыть сайт от всех поисковых систем (Яндекса, Google и других).
Disallow: /
КАК ЗАКРЫТЬ ОТ ИНДЕКСАЦИИ ОТДЕЛЬНУЮ ПАПКУ?
Отдельную папку можно закрыть от поисковых систем в том же файле robots.txt с её явным указанием (будут скрыты все файлы внутри этой папки).
Disallow: /folder/
Если какой-то отдельный файл в закрытой папке хочется отдельно разрешить к индексации, то используйте два правила Allow и Disallow совместно:
Аllow: /folder/file.php
Disallow: /folder/
КАК ЗАКРЫТЬ ОТДЕЛЬНЫЙ ФАЙЛ В ЯНДЕКСЕ?
Всё по аналогии.
Disallow: /folder/file.php
КАК СКРЫТЬ ОТ ИНДЕКСАЦИИ КАРТИНКИ?
Картинки форматов jpg, png и gif могут быть запрещены к индексации следующими строчками в robots.txt:
Disallow: *.jpg
Disallow: *.png
Disallow: *.gif
КАК ЗАКРЫТЬ ПОДДОМЕН?
У каждого поддомена на сайте, в общем случае, имеется свой файл robots.txt. Обычно он располагается в папке, которая является корневой для поддомена. Требуется скорректировать содержимое файла с указанием закрываемых разделов с использованием директории Disallow. Если файл отсутствует — его требуется создать.
ПРИ ИСПОЛЬЗОВАНИИ CDN-ВЕРСИИ
Дубль на поддомене может стать проблемой для SEO при использовании CDN. В данном случае рекомендуется, либо предварительно настроить работу атрибута rel="canonical" тега <link> на основном домене, либо создать на поддомене с CDN (скажем, nnmmkk.r.cdn.skyparkcdn.ru) свой запрещающий файл robots.txt. Вариант с настройкой rel="canonical" — предпочтительный, так как позволит сохранить/склеить всю информацию о поведенческих факторах по обоим адресам.
КАК ОБРАЩАТЬСЯ К ДРУГИМ ПОИСКОВЫМ РОБОТАМ (СПИСОК)
У каждой поисковой системы есть свой список поисковых роботов (их несколько), к которым можно обращаться по имени в файле robots.txt. Приведем список основных из них (полные списки ищите в помощи Вебмастерам):
- Yandex — основной робот-индексатор Яндекса.
- Googlebot — основной робот-индексатор от Google.
- Slurp — поисковый робот от Yahoo!.
- MSNBot — поисковый робот от MSN (поисковая система Bing от Майкрософт).
- SputnikBot — имя робота российского поисковика Спутник от Ростелекома.
ПРОЧИЕ ДИРЕКТИВЫ В ROBOTS.TXT
Поисковая система Яндекс также поддерживает следующие дополнительные директивы в файле:
- «Crawl-delay:» — задает минимальный период времени в секундах для последовательного скачивания двух файлов с сервера. Также поддерживается и большинством других поисковых систем. Пример записи: Crawl-delay: 0.5
- «Clean-param:» — указывает GET-параметры, которые не влияют на отображение контента сайта (скажем UTM-метки или ref-ссылки). Пример записи: Clean-param: utm /catalog/books.php
- «Sitemap:» — указывает путь к XML-карте сайта, при этом, карт может быть несколько. Также директива поддерживается большинством поисковых систем (в том числе Google). Пример записи: Sitemap: https://coderoll.net/sitemap.xml
ЗАКРЫТЬ СТРАНИЦУ И САЙТ С ПОМОЩЬЮ META-ТЕГА NAME="ROBOTS"
Также, можно закрыть сайт или заданную страницу от индексации с помощь мета-тега robots. Данный способ является даже предпочтительным и с большим приоритетом выполняется пауками поисковых систем. Для скрытия от индексации внутри зоны <head> </head> документа устанавливается следующий код:
<meta name="robots" content="noindex, nofollow"/>
Или (полная альтернатива):
<meta name="robots" content="none"/>
С помощью meta-тега можно обращаться и к одному из роботов, используя вместо name="robots" имя робота, а именно:
Для робота Google:
<meta name="googlebot" content="noindex, nofollow"/>
Или для Яндекса:
<meta name="yandex" content="none"/>