Просмотр поста #14563: Используете ли Вы robots.txt в своих проектах?