 #фанфик_в_файл #СамИздат
Начал тестировать функцию "слежения за продами", то есть автоматической проверки наличия обновлений на СамИздате. Пока что нет никаких оповещений. Просто скрипт каждую минуту запрашивает следующий по определенному порядку текст, проверяет наличие обновлений, если текст обновился, скачивает его и обновляет. Посмотрю на работу скрипта некоторое время. Если все будет хорошо, допилю уведомления/новости. Проверяются обновления только тех произведений, на которые подписан хотя бы один пользователь. Штатная задержка между проверками - сутки. Делать максимально оперативное информирование об обновлении я не собираюсь, кого возможная задержка в сутки не устраивает, тот имеет полное право пользоваться другими средствами. Но это все пока примерно, ибо на данный момент в базе всего около 600 произведений с СИ, у которых есть подписчики. P.S. Тест был остановлен в связи с тем, что у СИ наконец-то появился лог-файл, а я и не знал. 25 сентября 2015
7 |
 |
Ластро
|
|
Не самый удачный алгоритм... честно, главная проблема в том, что чем больше произведений, тем сильнее нагрузка на СИ.
Слежение за "бородой" в этом смысле куда оптимальнее. Хотя эвристика ещё та. |
|
 |
|
|
о, за эту фишку реальное спасибо
|
|
|
Ластро
|
|
Достаточно дёргать её раз в двадцать - двадцать пять минут, иногда реже.
Показать полностью
Список прод найденный за последний час таким методом. Четыре запроса в час... Ск5 -- Иллюстрации =] 1 [= 2015-09-25 21:05:13.295826 http://samlib.ru/s/sk5/illus.shtml Рыськова С. -- Тайна особняка Темпер (Любимая душа) =] 2 [= 2015-09-25 21:05:13.756377 http://samlib.ru/s/starodubcewa_s_s/dusha.shtml Ёжик Ф. -- Ст-2015: Лишь человек =] 7 [= 2015-09-25 21:05:13.890856 http://samlib.ru/e/ezhik_f/umej_proschat.shtml Горелик Е. -- Стальная роза. Общий файл. =] 9 [= 2015-09-25 21:05:14.085567 http://samlib.ru/g/gorelik_elena_waleriewna/1steelrose1.shtml Загорская Н. -- Эльмарис =] 4 [= 2015-09-25 21:05:14.383091 http://samlib.ru/n/natasha_z/01elxmaris.shtml Иланэль -- Второй шанс? =] 12 [= 2015-09-25 21:05:14.573391 http://samlib.ru/i/ilanoilenelx/ddd3.shtml Чернованова В. -- Пепел погасшей звезды =] 6 [= 2015-09-25 21:05:14.654848 http://samlib.ru/c/chernowanowa_w_m/pepel.shtml Домосканова О.Г. -- Тайны Черных Островов =] 4 [= 2015-09-25 21:05:14.759179 http://samlib.ru/d/domoskanowa_o_g/tajnychernyhostrowow.shtml Косьянов В. -- Dc Comics. Человек Без Лица. Общий файл =] 1 [= 2015-09-25 21:05:14.94288 http://samlib.ru/k/kosxjanow_w/dckomikswithoutaface.shtml Лешева М. -- Обрести крылья. Ч.3 =] 14 [= 2015-09-25 21:05:14.970147 http://samlib.ru/l/leshewa_m/l04.shtml Daneal -- Пепелац Сидония =] 3 [= 2015-09-25 21:22:40.980789 http://samlib.ru/d/daneal/pepelaz.shtml Плотников С.А. -- Пропавшая. Бороться и искать (авторская сборка для Си). [в процессе выкладки...]=] 5 [= 2015-09-25 21:22:41.624812 http://samlib.ru/p/plotnikow_sergej_aleksandrowich/propavshaya.shtml Ахметова Е. -- Свеча мертвеца =] 21 [= 2015-09-25 21:22:41.651198 http://samlib.ru/a/ahmetowa_e_i/thecanwyllcorph1.shtml Кариса -- Сказочка-завлекалочка на тему "Плачут ли эльфы?" =] 2 [= 2015-09-25 21:22:41.956957 http://samlib.ru/k/karisa/elor.shtml Сезин С.Ю. -- Юность мага.Продолжение. =] 6 [= 2015-09-25 21:22:42.133096 http://samlib.ru/s/sezin_s_j/rekasnov-4prodoljenie.shtml Василенко Ф. -- Новая сила(основной файл) =] 19 [= 2015-09-25 21:22:42.579854 http://samlib.ru/f/fedor_wasilenko/nowajasila.shtml Лазорева К. -- Сильмистриум 3 - Гимны Сансиона =] 6 [= 2015-09-25 21:22:42.681792 http://samlib.ru/l/lazoreva_k/silxmistrium3-gimnysansiona.shtml Алесан Э. -- Химера =] 6 [= 2015-09-25 21:22:42.858727 http://samlib.ru/a/alesan_e/himera.shtml Богатырева Т., Соловьева Е. -- Высшая школа им. Пятницы, 13. Чувство ежа =] 5 [= 2015-09-25 21:22:42.979377 http://samlib.ru/r/rsho/ezh.shtml Самайн Д. -- Игры метаморфов, или не рой другому яму! =] 6 [= 2015-09-25 21:40:58.441097 http://samlib.ru/s/samajn_d/ne-igraite-s-metamorfom.shtml Артыкова К. -- Подписка на окончание первой книги про Алеану =] 2 [= 2015-09-25 21:40:59.156661 http://samlib.ru/a/artykowa_k/podpiska_aleana.shtml Актер Т.М. -- Хорошо замаскированный подручный =] 28 [= 2015-09-25 21:40:59.239798 http://samlib.ru/a/akter_t_m/ggamer.shtml Чернояр Д. -- Ролевик: Сталкер (Общий файл) =] 57 [= 2015-09-25 21:40:59.386315 http://samlib.ru/p/purik_d_w/rolewik_stalker1.shtml Василика С. -- Игра началась =] 10 [= 2015-09-25 21:40:59.73494 http://samlib.ru/w/wasilika_s/qwww.shtml Бездна М. -- Лгунья =] 7 [= 2015-09-25 21:40:59.895786 http://samlib.ru/m/marija_bezdna/liar.shtml Завгородняя А.А. -- Дочери Торхельма (Северяне) =] -1 [= 2015-09-25 21:41:00.178279 http://samlib.ru/z/zawgorodnjaja_a_a/docheritorhelma.shtml Несносная Р. -- Потеряшка или Домой с осложнениями =] 1 [= 2015-09-25 21:57:04.608251 http://samlib.ru/n/nesnosnaja_r/poteryashka_domoysoslozhneniyami.shtml Артемова М.В. -- Ген совместимости =] -30 [= 2015-09-25 21:57:04.89931 http://samlib.ru/a/artemowa_m_w/gen.shtml Борисова А.А. -- Опекун для юной девы =] 7 [= 2015-09-25 21:57:05.811989 http://samlib.ru/b/borisowa_n/odd.shtml Ёжик -- Факультет любовной магии =] 5 [= 2015-09-25 21:57:05.920791 http://samlib.ru/e/ezhikdrakon/lovefaculty.shtml Каури Л. -- Ласурская бригада - 25.09.2015 =] 7 [= 2015-09-25 21:57:05.934384 http://samlib.ru/k/kauri_l/zolushkisnashegodvora16-2.shtml Зволинская И. -- Поймать мечту, или Охота на дракона =] 5 [= 2015-09-25 21:57:06.199609 http://samlib.ru/i/irina_smitt/dream.shtml Вадим -- прода =] 30 [= 2015-09-25 21:57:06.213781 http://samlib.ru/p/pleshkow_w/prodolzhenie.shtml Архангельская А. -- Шалость удалась или цель: свеcти с ума =] 2 [= 2015-09-25 21:57:06.313365 http://samlib.ru/s/shura/shalostxudalasxilicelxswetisuma.shtml |
|
|
|
|
Так ведь там список по дате последнего комментария.
|
|
|
Ластро
|
|
Да, но эвристика вполне рабочая. :)
|
|
|
|
|
Но новый кусок текста, на который никто не оставил ни единого комментария, останется на 100% не найденным?
|
|
|
Ластро
|
|
Можете проанализировать статистику на своём сайте, основные вспышки комментариев происходят когда обновляется текст. Я не говорю что это единственная причина, но достаточно значимая.
|
|
|
Ластро
|
|
ReFeRy, да такие тексты так не найти, кроме того так нельзя увидеть текст отключённый от бороды.
|
|
|
Ластро
|
|
А как можно проверить обновление текста не скачивая сам текст?
|
|
|
|
|
Al Lastor
Это вопрос по СИ или по ФвФ? |
|
|
Ластро
|
|
По, СИ. Вы сказали, что проверяется обновление обновление, если оно происходит, скачиваете текст. Я пытаюсь понять, как можно узнать о изменении тексты не скачивая его.
|
|
|
|
|
Текст скачивается в любом случае. Если текст изменялся, тогда только он парсится весь и обновляется в БД и архивах Фанфикса.
|
|
|
Ластро
|
|
А всё понял. Я надеялся, что СИ разрешает не скачивать текст :(
|
|
|
|
|
Я видел предложения скачивать страницу всех работ автора и смотреть на объем текста в килобайтах. Эта страница обычно меньше по размеру, чем любое произведение, и нагрузка на СИ получается меньше. Плюс, можно за раз проверять все тексты автора, если их в базе несколько. Но там же приводились и недостатки такого способа, но что-то не могу их вспомнить.
|
|
|
Ластро
|
|
ReFeRy, не пробовал так, не знаю, честно.
|
|
|
Ластро
|
|
О чём знаю, о том говорю. Своим методом с 08.16 перелопатил 16k произведений, это есть. Не очень много, но и не так уж мало.
|
|
 |
|
|
Ох, забанят.
Нельзя так интенсивно с одного IP к СамИздату обращаться. Для Мошкова это уже вопрос принципа. Надо копировать механизм работы Базатарановского сервиса, а не в лоб файлы или странички авторов качать. И, на мой взгляд, куда актуальнее система оповещений. Когда кто-то вручную удачно обновил подписанный ФвФ текст - сервис обязан этим поделиться... |
|
|
|
|
Где-то есть описание механизма этого самого Базатарановского сервиса?
|
|
|
|
|
|
|
Вообще, парсить надо в первую очередь вот это - логи специально созданы для автоматических систем.
Есть правда нюанс - тот IP, который регулярно запрашивает логи, не должен лазить по остальному СамИздату. 1 |
|
|
|
|
Опа. Лог это было бы чудесно! Но ограничение на данный момент хреновое.
А ссылочку на описание лога или упоминание этого ограничение для IP не найдете? |
|
|
|
|
Ага, нашел описание. Про ограничение, правда, там не сказано. Лог появился в июне этого года, ясно почему я про него не слышал еще.
|
|
|
|
|
Это здесь, включая обсуждения.
Запущено API для обнаружения новинок. С раскладкой по дням http://samlib.ru/logs/2015/06-30.log имя файла|тег oперации|таймштамп-MySQL|title|author |type|janr|annot|date|img_cnt|update-unixtime|size kb Тег операции: EDT - редактирование атрибутов TXT - textedit DEL NEW RPL - поверх старого REN - переименование файла, в скобках новое имя REN(444-2) UNK - операция не определилась Ограничение для IP - это из ленты техкомментов. Впрочем, оно пока заявлено как "ручное" - т. е. Мошков лично следит за активностью по фильтрам. И в техкомментах оповещает о претензиях... PS Каждое слово должно быть не длиннее 50 символов - крайне раздражает. Тег [code] необходим. Хотя бы специальным флагом для определённых тредов подключаемый... 1 |
|
|
|
|
Так. Ясно. Отключу я пока скрипт, переделаю на парсер логов.
|
|
|
|
|
Сделал обновление через логфайл. Потестирую такой вариант.
1 |
|
Включить тёмную тему
Популярное
VKontakte
WhatsApp
Telegram
Отключить рекламу
