Почему у сайта сетевого журнала Хакер такой пустой robots.txt?
Всем привет!
Есть такой сайт xakep.ru и он вроде использует CMS WordPress, для сайтов на этой системе есть полно вариантов как сделать самый правильный robots.txt в 2020 году, но у них он какой-то пустой.
Неужели их не волнует вопрос с так называемыми дублями страниц? Обычно там блокируют лишние страницы, теги, архивы, авторов, поиск и т.п., а у них как будто все открыто и им все ровно.
Можно ли так делать для обычного смертного?
П.С.
Всем заранее спасибо за ответы!
Есть такой сайт xakep.ru и он вроде использует CMS WordPress, для сайтов на этой системе есть полно вариантов как сделать самый правильный robots.txt в 2020 году, но у них он какой-то пустой.
Неужели их не волнует вопрос с так называемыми дублями страниц? Обычно там блокируют лишние страницы, теги, архивы, авторов, поиск и т.п., а у них как будто все открыто и им все ровно.
Можно ли так делать для обычного смертного?
П.С.
Всем заранее спасибо за ответы!