Коллекции загружаются
#скачка_архива
#педоистерия Парсинг Фанфикс.ми делать неохота. Поэтому разбила задачи на две. Первая - через DM перебираю все ссылки вида http://www.fanfics.me/download.php?fic=%id%&format=fb2. Те, что ошибочны - удаляю. Те, что выдает страницу с предупреждением "от 18" - сохраняю в отдельный файл list.txt и закидываю в wget. Отдельно сохраняю и успешно скачанные файлы "для всех" Вторая - Wget авторизовывается на сайте и по списку из list.txt с интервалом в 5 секунд качает мне фики "от 18". Что думаю сделать потом: сохраню оба файла-списка - "от 18" и "для всех", затем буду пробегаться по ним и смотреть обновления. Возможно, пробегусь по ФвФ. В планах так же стащить Фикбук. В мечтах - самиздат. ЗЫ. Господа, удалившие свои фики! Пожалуйста, в рамках сбора архива, пришлите мне удаленное!!! Очень прошу! 13 июня 2016
5 |
Матемаг Онлайн
|
|
Ого ведь не влом!
3 |
Матемаг Онлайн
|
|
Ебаться с автоматизацией не влом.
|
та тут ебли-то... на полчаса. А дальше он все сам делает.
1 |
София Риддл
Что парсить то?.. |
Marlagram
Самиздат)))) вроде как если не тупым перебором, то можно всех авторов выявить... как делают для поиска обновлений. |
София Риддл
А толку? Там стоит самопальная эвристика, сигнализирующая о не-характерном (ботоподобном) поведении пользователя с определённого IP. Даже распарсенный список только текстов, при слишком частом, регулярном и упорядоченном скачивании вызовет тот или иной уровень бана, с тем или иным запаздыванием (несколько минут, час, ближайшая полночь по Москве + час-полтора). СамИздат, в отличии от многих других сайтов, вынужден экономить исходящий траффик. Цена принципиального отказа от рекламы... |