Три рубля , фанфикс индексировался, пока в /robots.txt не было "Disallow: /archives/" .

Аксфи
Что вы используете, почему для вас стал препятствием robots.txt? Тем более, что указанная директива там числится уже... Кто бы помнил сколько. Давно.

Робот специально делал, который бы качал с http://www.fanfics.me/archives/fics/txt/ . Сегодня только заметил, что он уже 2 месяца как не работает. Можно конечно и по другому сделать его, но так казалось надёжней. Парсить html как-то не очень хочется. Там всё может меняться слишком внезапно.

Вы OPDS случаем не планируете делать?

Аксфи
А почему бы не перебирать ficID по www.fanfics.me/ download.php?fic=ficID&format=txt ?

Там, правда, есть какой-то большой блок без фиков, но это фигня

днище_ыыыы
потому, что с /download.php идёт редирект на /archives/fics/txt/ . А блок без фиков можно и закэшировать, и не перепроверять.

Раз нет претензий, то сделаю новый робот пожалуй. Но не сегодня.

Аксфи
Я в отпуске. Не могу ничего пока на сайте изменить.

ReFeRy
если не возражаете, то я мог бы сделать игнор robots.txt . Хоть и не очень красиво это.