# Koenig (22.08.2016 / 20:31)я тоже следил. у меня 260+к ссылок было, и скорость обнаружения не превышала 2х часов, я противник сайтмап (у меня его нет на сайте соответственно)
ramzes, но они с радостью добавляют в очередь ссылки, сам добавлял около 200к ссылок и следил за процессом
как же гугл находил?
все просто.
2 рсс файла, на 2 отдельных источника информации (ну файлы и книги, не суть)
в каждом по 100 наименований, естественно последних.
бот просто забирал свежак, а старье на которое в рсс не было линков и так у него в базе с прошлых захватов
(рсс приравнен ботами к сайтмап, если что)
любой валидный хмл с линками внутри сайта расценивается как сайтмап если нет обратных указаний