↓
 ↑
Регистрация
Имя/email

Пароль

 
Войти при помощи
Временно не работает,
как войти читайте здесь!
София Риддл
13 июня 2016
Aa Aa
#скачка_архива
#педоистерия

Парсинг Фанфикс.ми делать неохота. Поэтому разбила задачи на две. Первая - через DM перебираю все ссылки вида http://www.fanfics.me/download.php?fic=%id%&format=fb2. Те, что ошибочны - удаляю. Те, что выдает страницу с предупреждением "от 18" - сохраняю в отдельный файл list.txt и закидываю в wget. Отдельно сохраняю и успешно скачанные файлы "для всех"
Вторая - Wget авторизовывается на сайте и по списку из list.txt с интервалом в 5 секунд качает мне фики "от 18".

Что думаю сделать потом: сохраню оба файла-списка - "от 18" и "для всех", затем буду пробегаться по ним и смотреть обновления.

Возможно, пробегусь по ФвФ.

В планах так же стащить Фикбук.

В мечтах - самиздат.

ЗЫ. Господа, удалившие свои фики! Пожалуйста, в рамках сбора архива, пришлите мне удаленное!!! Очень прошу!
13 июня 2016
1 комментариев из 9
София Риддл
А толку? Там стоит самопальная эвристика, сигнализирующая о не-характерном (ботоподобном) поведении пользователя с определённого IP. Даже распарсенный список только текстов, при слишком частом, регулярном и упорядоченном скачивании вызовет тот или иной уровень бана, с тем или иным запаздыванием (несколько минут, час, ближайшая полночь по Москве + час-полтора).
СамИздат, в отличии от многих других сайтов, вынужден экономить исходящий траффик. Цена принципиального отказа от рекламы...
ПОИСК
ФАНФИКОВ







Закрыть
Закрыть
Закрыть