Просмотр поста #14552: Используете ли Вы robots.txt в своих проектах?