понедельник, 12 февраля 2018 г.

Закрывать ли страницы от индексации?

мужчина сидит за компьютером
Я говорю именно о страницах, переход по которым осуществляется через панель навигации по страницам, а не о самих постах. Так стоит ли закрывать их от индексации?
Как видно из скриншота к посту, эти страницы так же спокойно индексируются, однако по сути это простые дубли. Сама страница не содержит никакого уникального текста, только лишь выборку из постов вашего блога.

Соответственно и толку от их индексации никакого нет. Однако вот в большинстве советов по составлению правильных robots.txt для ваших блогов, нет ничего о том, что стоит закрывать страницы от индексации. Вполне возможно, что такая ситуация сложилась из-за того, что начинающие SEOшники, уж очень любят писать о том же, о чем пишут их братья по оружию.

Поэтому многие просто не обращают внимание на этот факт и оставляют все как есть, то есть страницы не закрыты и входят в индекс. Дубли – это зло, конечно. Однако ведь и тэги тоже зло. Это тоже дубли, но многие оставляют их открытыми для индексации. Что как бы и логично, ведь туда можно запихнуть лишний ключ, чего не скажешь о страницах.

Я совсем недавно закрыл страницы от индексации, все это время, а это почти год страницы индексировались и проблем никаких в связи с этим не наблюдалось, но это только год, что было бы дальше? Можно посмотреть robots у каких-нибудь авторитетных блогов, существующих не один год. Я смотрел и у многих страницы закрыты, но далеко не всех.

Как закрыть страницы от индексации?

Да собственно очень просто. Достаточно внести в файл robots.txt следующую строчку:
Disallow: /page/*

Решать уже вам, конечно. Но мне кажется, что лучше странички закрыть и не париться. Если толку никакого, то зачем рисковать, да и выдача красивее будет.