Как заставить бота прийти на сайт и ...

Последняя активность

Файлы топика

1.54K

Windler

26 мая 2011 г., 9:21

Я тожы этим интерисовался буквально вчера..
Но нечё адыкватного в голову не пришло..гг

Windler

26 мая 2011 г., 9:24

HaTTaKe (25.05.2011/21:29)
У меня уже побывали mail, yahoo, rambler, yandex, google

Трололо..меня гугл ваще ддосит каждый день

Штук 15-30 заходит одновременно..гг и так каждый час..

rulezz91

26 мая 2011 г., 10:05

А што за бот "гогомото" ? как-то так

Pillott

27 мая 2011 г., 1:32

Enter нажат, к чему теперь рыданья…

А как правильно сделать запрет полностью всем поисковикам индексировать сайт?

Slalex77

27 мая 2011 г., 4:53

Pillott (26.05.2011/22:32)
А как правильно сделать запрет полностью всем поисковикам индексировать сайт?

Запрет индексации всего сайта

Чтобы удалить сайт из поисковых систем и запретить всем роботам в дальнейшем его сканировать, разместите в корневом каталоге сервера файл robots.txt следующего содержания:
User-agent: *
Disallow: /

Pillott

27 мая 2011 г., 5:07

Enter нажат, к чему теперь рыданья…

Slalex77, спасибо. Это на всех ботов так? Я почему то думал что гугл только в карте сайта sitemap.xml пасется, а на robots.txt не обращает внимания. Дело в том что у меня на сайте была одна папка под запретом индексации, а потом смотрю в эту папку из гугла переход есть, набрал в гугле inurl:название_папки, гугл подлец очень даже хорошо её проиндексировал и ложил он на мой запрет