11 лет на сайте
11 июня 2024 |
|
40 000 читателей
1 июня 2024 |
|
10 лет на сайте
11 июня 2023 |
|
9 лет на сайте
11 июня 2022 |
|
8 лет на сайте
11 июня 2021 |
София Риддл
13 июня 2016
Коллекции загружаются
#скачка_архива
#педоистерия Парсинг Фанфикс.ми делать неохота. Поэтому разбила задачи на две. Первая - через DM перебираю все ссылки вида http://www.fanfics.me/download.php?fic=%id%&format=fb2. Те, что ошибочны - удаляю. Те, что выдает страницу с предупреждением "от 18" - сохраняю в отдельный файл list.txt и закидываю в wget. Отдельно сохраняю и успешно скачанные файлы "для всех" Вторая - Wget авторизовывается на сайте и по списку из list.txt с интервалом в 5 секунд качает мне фики "от 18". Что думаю сделать потом: сохраню оба файла-списка - "от 18" и "для всех", затем буду пробегаться по ним и смотреть обновления. Возможно, пробегусь по ФвФ. В планах так же стащить Фикбук. В мечтах - самиздат. ЗЫ. Господа, удалившие свои фики! Пожалуйста, в рамках сбора архива, пришлите мне удаленное!!! Очень прошу! 5 Показать 9 комментариев |
София Риддл
12 июня 2016
Коллекции загружаются
#скачка_архива
#педоистерия Заметила одну вещь - Download Master не хочет заходить на сайт с логином и паролем. Других подходящих менеджеров закачек не нашла. Плюнула на все, качаю кликером. Будет долго, но все же. UPD. Wget проходит авторизацию, но слишком быстро качать не может - Фанфикс выдает предупреждение "не так часто!" Реф, ты жесток. UPD2. Парсинг сайта делать неохота. Поэтому разбила задачи на две. Первая - через DM перебираю все ссылки вида http://www.fanfics.me/download.php?fic=%id%&format=fb2. Те, что ошибочны - удаляю. Те, что выдает страницу с предупреждением "от 18" - сохраняю в отдельный файл list.txt и закидываю в wget. Отдельно сохраняю и успешно скачанные файлы "для всех" Вторая - Wget авторизовывается на сайте и по списку из list.txt с интервалом в 5 секунд качает мне фики "от 18". Что думаю сделать потом: сохраню оба файла-списка - "от 18" и "для всех", затем буду пробегаться по ним и смотреть обновления. Возможно, пробегусь по ФвФ. В планах так же стащить Фикбук. В мечтах - самиздат. Свернуть сообщение - Показать полностью
Показать 1 комментарий |