↓
 ↑
Регистрация
Имя/email

Пароль

 
Войти при помощи
София Риддл
13 июня 2016
Aa Aa
#скачка_архива
#педоистерия

Парсинг Фанфикс.ми делать неохота. Поэтому разбила задачи на две. Первая - через DM перебираю все ссылки вида http://www.fanfics.me/download.php?fic=%id%&format=fb2. Те, что ошибочны - удаляю. Те, что выдает страницу с предупреждением "от 18" - сохраняю в отдельный файл list.txt и закидываю в wget. Отдельно сохраняю и успешно скачанные файлы "для всех"
Вторая - Wget авторизовывается на сайте и по списку из list.txt с интервалом в 5 секунд качает мне фики "от 18".

Что думаю сделать потом: сохраню оба файла-списка - "от 18" и "для всех", затем буду пробегаться по ним и смотреть обновления.

Возможно, пробегусь по ФвФ.

В планах так же стащить Фикбук.

В мечтах - самиздат.

ЗЫ. Господа, удалившие свои фики! Пожалуйста, в рамках сбора архива, пришлите мне удаленное!!! Очень прошу!
13 июня 2016
9 комментариев
Матемаг Онлайн
Ого ведь не влом!
Матемаг

Афтоматизация наше фсё))))))
Матемаг Онлайн
Ебаться с автоматизацией не влом.
та тут ебли-то... на полчаса. А дальше он все сам делает.
Самиздат не выйдет.
Там таких умных качальщиков ещё десятилетие назад банили, увы. Лично пробовал, хе. Если делать автоматические запросы по шаблонам - придётся очень сильно и хитро ограничивать количество запросов. На второй час интенсивной бомбардировки с одного IP - не более 4 запросов в минуту, картинки отрубаются в принципе, и т. д., если тотальный бан удалось обойти.
Фикбук тоже не прост, там будут капчу показывать. От CloudFlare.
Marlagram

А если спарсить?
София Риддл
Что парсить то?..
Marlagram
Самиздат)))) вроде как если не тупым перебором, то можно всех авторов выявить... как делают для поиска обновлений.
София Риддл
А толку? Там стоит самопальная эвристика, сигнализирующая о не-характерном (ботоподобном) поведении пользователя с определённого IP. Даже распарсенный список только текстов, при слишком частом, регулярном и упорядоченном скачивании вызовет тот или иной уровень бана, с тем или иным запаздыванием (несколько минут, час, ближайшая полночь по Москве + час-полтора).
СамИздат, в отличии от многих других сайтов, вынужден экономить исходящий траффик. Цена принципиального отказа от рекламы...
ПОИСК
ФАНФИКОВ











Закрыть
Закрыть
Закрыть