Что такое robots. txt? Это файл который указывает поисковым системам правила индексирования сайта. С его помощью можно указать какие страницы должны присутствовать в индексе, а каких там не должно быть, так же можно создать правила для отдельных пауков ПС (роботов Поисковой Системы). Файл robots. txt создается в обычном блокноте и имеет обычный формат txt. Находится […]
Запись Правильный robots.txt и пример интересного robots-a впервые появилась Dramtezi.ru.
