Google: мы можем индексировать контент даже без его сканирования
Закрытые для индексации в robots.txt страницы все равно могут появиться в результатах поиска Google.
Закрытые для индексации в robots.txt страницы все равно могут появиться в результатах поиска Google.