Аксфи

Я бы не поставил на то, что что-то получится без набивания шишек. Больших таких шишек

ReFeRy
если не возражаете, то я мог бы сделать игнор robots.txt . Хоть и не очень красиво это.

Раз нет претензий, то сделаю новый робот пожалуй. Но не сегодня.

днище_ыыыы
потому, что с /download.php идёт редирект на /archives/fics/txt/ . А блок без фиков можно и закэшировать, и не перепроверять.

Вы OPDS случаем не планируете делать?

Робот специально делал, который бы качал с http://www.fanfics.me/archives/fics/txt/ . Сегодня только заметил, что он уже 2 месяца как не работает. Можно конечно и по другому сделать его, но так казалось надёжней. Парсить html как-то не очень хочется. Там всё может меняться слишком внезапно.

Три рубля , фанфикс индексировался, пока в /robots.txt не было "Disallow: /archives/" .

И тормозов больше там нет.

Это я :)

Жаль видеть что один из немногих фиков, которые действительно хочется почитать - оказался заморожен.