robots.txt каким должен быть?

Люди, читал статьи разные на эту тему но не вьехал. Пожалуйста, дайте мне готовый файл без запрета на что либо. И кто может обьяснить, как сайтмап.хмл делать.

KaNapizZ, в джонеесть файл тм что написанно то рарешено для индексации

Fublin (21.10.2012 / 13:15)
KaNapizZ, в джонеесть файл тм что написанно то рарешено для индексации

KaNapizZ, Вот стандартный robots.txt джона

Есть специальный сервис, он сам сам все делает, ты только адрес свой пишешь...

"Очень важно запомнить
главное - файл robots .txt ничего не разрешает , а только запрещает!!!" т.е. получается что строка "Allow: /" лишняя

OtherWorld (21.10.2012 / 15:28)
"Очень важно запомнить
главное - файл robots .txt ничего не разрешает , а только запрещает!!!" т.е. получается что строка "Allow: /" лишняя

Fublin, Т.е. если не написать "Allow: /" сайт не будет индексироватся? Так получается?

Fublin (21.10.2012 / 15:35)
нужна..птому что например мы разремаем читать директорию, но запрещаем читаь в ней что то, например ид=54?до=5