Используете ли Вы robots.txt в своих проектах?

Используете ли Вы robots.txt в своих проектах?
Да, грамотно заполненный (19)
36%
Да, содержит не только директи (9)
17%
Да, но пустой (3)
6%
Нет, мне он не нужен (16)
30%
А что это такое? (6)
11%
Всего голосов: 53
519
.

Вот такой вот опрос. Можете похвастаться своими robots.txt в данной теме, а если отвечаете пунктом «Да, содержит не только директивы для роботов, но и кое-что ещё», то сделать Вы это просто обязаны!

.

Чёрт, плохо, что максимальная длина ответа 50 символов, вопрос не до конца помещается. Второй вариант ответа имеет вид «Да, содержит не только директивы для роботов, но и кое-что ещё»

.

Нет, мне он не нужен

.
В стельку трезвый

Просто стоит с закрытым доступом к некоторым папкам которые раньше были, но теперь не нужны. А так на сайте сменную рекламу в <noindex> пихаю.

.
ПеревозЧЕГ
Лопух Паутинистый

на одном сайте был, закрывал доступ в загрузки, на текущем нет.

.
This Planet... Bleeds To The DarkSide!

Вообще пользуюсь, Т.к. есть пара файлов/папок, которые роботы видеть не должны Только вот грамотно настроить не могу его. Может (если уж тема об этом файле) - кто-нибудь может выложить пример заполнения файла и какие возможные функции можно сделать в нем?

.

Сам использую на всех своих проектах, и не важно что от глаз поисковых систем скрывать порой нечего, просто это один из обязательных пунктов моего списка перед запуском сайта.

.

Пикс,а все пункты описать слабо?

.
ПеревозЧЕГ
Лопух Паутинистый

DeSTrucTioN, вот статейка http://wapmastera.ru/library/i ... d=490

.

Николай, Пункты моего чек-листа перед запуском сайта? Без проблем, жди в ближайшее время статью в моем блоге.

Всего: 24