sequelone
01.08.2016 16:28 9 919 Помощь
Всем привет, назрел такой вопрос, как правильно закрыть от индексации пагинацию, чтобы робот мог ходить по страницам и индексировать странички, но страницы типа:
и т.д. не индексировал. Как это прописать в robots.txt?
Ответы на пост (10) Написать ответ
01.08.2016 16:37
Disallow: /*/page*
Disallow: /page*
01.08.2016 16:40
А если вложенность больше? Например /catalog/111/23/24/?page=12
01.08.2016 16:39
Первый вариант закроет индексацию по вашем принципу, а 2 конструкции закрывает полностью на всем сайте пагинацию от индексации поисковыми системами, тем самым дублей в поиске не будет.
01.08.2016 16:41
А стоаницы на этой самой пагинации будут индексировпться?
01.08.2016 17:38
Да все индексироваться будет, вложенность хоть бесконечная она все равно будет закрыта для индекса.
01.08.2016 17:49
Спасибо, будем проверять)
02.08.2016 00:08
Доброй ночи скажите а как закрыть архив со всеми годами от индексации пример /2015/08
02.08.2016 00:43
Как закрыть страницу от индексации с помощью robots.txt за 2 минуты
закрытые динамические страницы в robots.txt попадают в «сопли» . сраницы пагинации лучше закрывать через «canonical» и мета-тег . например для страницы http://site.ru/catalog/111/23/24/?page=12 будет
13.06.2017 17:09
А как закрыть индексацию таких страниц site.ru/?=http://300smiles.dfdf одним словом на мой домен постоянно делают ссылки такого типа с разнымы сайтами не только тот что в примере. И по какойто причине при переходе на ссилку идет 301 редирект автоматом на главную, проверил htaccess ничего левого нету. Спасибо за совет
28.09.2018 13:31
Помогите плиз решить проблему в Гугл Вебмастере:
Ошибка сервера (5xx)
Дата обнаружения: 20.12.2017
Статус: Ошибка
p.s. Боюсь полностью закрывать тему в robots.txt.
Источник: pr-cy.ru
Как в WordPress скрыть от поисковых систем конкретную страницу?
Часто владельцам сайтов бывает нужно скрыть одну или несколько выборочных записей или страниц от индексирования. Это необходимо, например, когда на странице существует много ссылок, а, как общеизвестно, это не очень хорошо воспринимается поисковыми системами.
Как скрыть страницу/запись от поисковых систем?
Способ 1. Плагин Yoast SEO
Наиболее простым способом скрытия от индексирования контента является использование мощного SEO-плагина
После перехода в раздел Дополнительно Вам откроется окно дополнительных параметров для выбранной записи/страницы.
Поиск мусорных страниц сайта и закрытие от индексации
Тут нас интересуют два поля: Meta robots index и Мета-тег robots follow. В первом поле нужно выбрать значение noindex, а второй поставить в положение nofollow.
После нажатия кнопки Обновить новые параметры страницы/записи вступят в силу.
Способ 2. Файл robots.txt
Этот способ предполагает редактирование конфигурационного файла robots.txt, специально предназначенного для поисковых систем. Итак, пусть мы хотим скрыть от индексирования запись, имеющую следующий адрес:
http://site.ru/2017/01/25/post1/
Для этого в файл следует добавить следующие строки:
User-agent: * Disallow: /2017/01/25/post1/
Первая строка указывает, что наши намерения скрыть страницу распространяются на все поисковые системы. Во второй строке мы собственно и сообщаем, адрес какой конкретно страницы/записи необходимо скрыть. Заметим, что тут не указывается адрес сайта, так как для robots.txt он уже известен. Единственным недостатком такого метода является то, что не все поисковые системы следуют заданным в нем правилам.
Способ 3. Установка пароля
Еще одним способом запрета индексации страницы или поста является установка на них пароля. Это означает, что для просмотра контента нужно ввести заданный заранее пароль. Этот метод рассматривать не будем, как он детально был описан в одной из наших статьях.
Нажмите, пожалуйста, на одну из кнопок, чтобы узнать понравилась статья или нет.
Источник: wpschool.ru
Как закрыть сайт на Битрикс от индексации поисковиками. ТОП 4 способа
Бывает требуется закрыть сайт от индексации, чтобы в поиске гугл или яндекс ссылок на ваш сайт не было. Рассмотрим несколько способов.
Способ от сеошников, через robots.txt
Самый распространённый и простой способ. В корне сайт надо найти файл robots.txt и добавить туда строки
User-agent: * Disallow: /
Редактировать файл можно через FTP или через админку Битрикс. Если работаете по второму способу, открывайте файл как PHP, потому что только в этом случае не будет лишнего форматирования файла.
Файл robots.txt в панели Битрикс
Но этот способ не надежный. Google всё равно может выводить сайт в поиске, только будет указано «Информация об этой странице недоступна.» Пояснение гугл по этому поводу
Так же, если вы закрываете от индексации тестовый сайт и используете систему контроля версий, например гит, то файл может перенестись на продакшн сайт.
Чтобы проверить, откройте файл в браузере по адресу http://ваш_сайт/robots.txt. Там должны быть строки, которые мы добавили выше.
Способ от программистов. Через тег meta robots
Если вы закрываете от индексации тестовый сайт, то определить его можно через настройку главного модуля «Установка для разработки». Этот параметр должен быть установлен на всех сайтах для разработки, по правилам Битрикс.
В файл /local/php_interface/init.php, либо в /bitrix/php_interface/init.php, в зависимости от того, какой файл у вас есть, добавляем строки
if (BitrixMainConfigOption::get(‘main’, ‘update_devsrv’) === ‘Y’) < $APPLICATION->SetPageProperty(‘robots’, ‘noindex’); >
Если вы хотите закрыть продакш сайт, то уберите условие, чтобы свойство устанавливалось всегда.
На всём сайте должна появиться такая строчка в исходном коде
Вот что нам говорит гугл по поводу тега.
Что важно понять — если вы заблокируете индексацию через robots.txt, дополнительно через тег meta, а на сайт есть ссылки из вне — сайт попадет в поиск. Уберите запрет из robots.txt.
От сисадмина. Запрет по Useragent через .htaccess
В корне сайт в файл .htaccess требуется добавить стоки
SetEnvIfNoCase User-Agent Googlebot search_bot SetEnvIfNoCase User-Agent YandexBot search_bot SetEnvIfNoCase User-Agent yandex.com/bots search_bot SetEnvIfNoCase User-Agent Slurp search_bot SetEnvIfNoCase User-Agent dotbot search_bot SetEnvIfNoCase User-Agent BLEXbot search_bot SetEnvIfNoCase User-Agent MJ12bot search_bot SetEnvIfNoCase User-Agent Ahrefsbot search_bot SetEnvIfNoCase User-Agent Semrush search_bot Order Allow,Deny Allow from all Deny from env=search_bot
Так мы запрещает доступ к серверу пользователям, чье имя браузера содержит Googlebot, YandexBot. Так помечают себя поисковики.
Строка «yandex.com/bots» добавлена, так как имя браузера бота яндекса не всегда содержит YandexBot. Может быть «Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots)». Список всех вариантов роботов от Яндекс.
Так поисковики не смогут попасть на сайт, соответственно не смогут его и проиндексировать. Но работать с . htaccess следует аккуратно, так как можно «положить» весь сайт.
Чтобы проверить способ, в браузер потребуется установить расширение для смены useragent. В маркетплейсе расширений ищите «User agent switcher», устанавливайте любое, в котором можно ставить свое значение, а не только выбирать из списка.. В расширении ставите useragent из списка роботов яндекс, ссылка выше.
Определить ваш текущий браузер можно по ссылке. Когда вы установите useragent яндекс бота, в определении браузера должен появиться текст, что вы яндекс бот.
Проверка сайта прикинувшись поисковиком
От сисадмина 2. Добавление HTTP авторизации на сайт
В файл .htaccess следует добавить строки
AuthType Basic AuthName «Authorization» AuthUserFile /путь_до_директории/.htpasswd Require valid-user
Чтобы получить файл .htpasswd, загуглите «.htpasswd генератор онлайн».
После при первом заходе на сайт, браузер запросит у вас логин и пароль. Поисковики ничего вводить не будут и на сайт не попадут.
Частные случаи закрытия от индексации
Закрыть от индексации страницы пагинации в Битрикс
Чтобы закрыть от индексации страницы пагинации, добавьте следующую запись в robots.txt. Внимание: добавлять строки надо после строки User-Agent: *
Disallow: ?PAGEN_* Disallow: https://r-morozov.ru/bitrix/kak-zakryt-sajt-na-bitriks-ot-indeksacii-poiskovikami-top-4-sposoba/» target=»_blank»]r-morozov.ru[/mask_link]