Странный бот

372
.
RAZDOR

На сайте живет бот с какого то забугорного сео сайта http://ahrefs.com .собственно сабж:WTF!?

.

То же самое

.

Пузомеры нулевые, не занимался

.

Причем, как только создал сайт, так сразу же и появился.

.

DaRkWe1L, Че то там с поиском ключевых слов судя по тексту на главной.это хорошо но как работать с ним

.

это домовой

.

Тоже в кате этот бот сидит.Так то он вроде безвредный.Пусть сидит.

.

Он у меня тоже живет. Отслеживает какие то неизвестные параметры. Изменения на сайте, типа что появилось, что изменилось, суть его ослеживать изменения на сайтах конкурентов

.
Толи Ангел Ада, толи Бес в Раю

И у меня живет

.
Enter нажат, к чему теперь рыданья…

Его можно послать дальше гулять

Ahrefs.com - англоязычный веб-сервис для комплексного анализа "любого" сайта с точки зрения поисковой оптимизации. По сравнении с вышеперечисленными экземплярами этот "белый и пушистый", но потенциально нежелательный визитер. Отлично понимает следующую инструкцию в "robots.txt":
user-agent: AhrefsBot
disallow: /
Всего: 10