ReFeRy: #фанфик_в_файл #СамИздат Начал тестировать функцию "слежения за продами", то есть автоматической пр

#фанфик_в_файл #СамИздат

Начал тестировать функцию "слежения за продами", то есть автоматической проверки наличия обновлений на СамИздате. Пока что нет никаких оповещений. Просто скрипт каждую минуту запрашивает следующий по определенному порядку текст, проверяет наличие обновлений, если текст обновился, скачивает его и обновляет. Посмотрю на работу скрипта некоторое время. Если все будет хорошо, допилю уведомления/новости.

Проверяются обновления только тех произведений, на которые подписан хотя бы один пользователь. Штатная задержка между проверками - сутки. Делать максимально оперативное информирование об обновлении я не собираюсь, кого возможная задержка в сутки не устраивает, тот имеет полное право пользоваться другими средствами. Но это все пока примерно, ибо на данный момент в базе всего около 600 произведений с СИ, у которых есть подписчики.

P.S. Тест был остановлен в связи с тем, что у СИ наконец-то появился лог-файл, а я и не знал.

25 сентября 2015

Отключить рекламу

13 комментариев из 26

Показать ещё 13 комментариев

	Ластро 25 сентября 2015
А всё понял. Я надеялся, что СИ разрешает не скачивать текст :(

ReFeRy Онлайн

25 сентября 2015

Я видел предложения скачивать страницу всех работ автора и смотреть на объем текста в килобайтах. Эта страница обычно меньше по размеру, чем любое произведение, и нагрузка на СИ получается меньше. Плюс, можно за раз проверять все тексты автора, если их в базе несколько. Но там же приводились и недостатки такого способа, но что-то не могу их вспомнить.

	Ластро 25 сентября 2015
ReFeRy, не пробовал так, не знаю, честно.

	Ластро 25 сентября 2015
О чём знаю, о том говорю. Своим методом с 08.16 перелопатил 16k произведений, это есть. Не очень много, но и не так уж мало.

Marlagram Онлайн

25 сентября 2015

Ох, забанят.
Нельзя так интенсивно с одного IP к СамИздату обращаться. Для Мошкова это уже вопрос принципа.
Надо копировать механизм работы Базатарановского сервиса, а не в лоб файлы или странички авторов качать.

И, на мой взгляд, куда актуальнее система оповещений. Когда кто-то вручную удачно обновил подписанный ФвФ текст - сервис обязан этим поделиться...

	ReFeRy Онлайн 25 сентября 2015
Где-то есть описание механизма этого самого Базатарановского сервиса?

	Marlagram Онлайн 25 сентября 2015
Можно спросить.

	Marlagram Онлайн 26 сентября 2015
Вообще, парсить надо в первую очередь вот это - логи специально созданы для автоматических систем. Есть правда нюанс - тот IP, который регулярно запрашивает логи, не должен лазить по остальному СамИздату. 1

	ReFeRy Онлайн 26 сентября 2015
Опа. Лог это было бы чудесно! Но ограничение на данный момент хреновое. А ссылочку на описание лога или упоминание этого ограничение для IP не найдете?

	ReFeRy Онлайн 26 сентября 2015
Ага, нашел описание. Про ограничение, правда, там не сказано. Лог появился в июне этого года, ясно почему я про него не слышал еще.

Marlagram Онлайн

26 сентября 2015

Это здесь, включая обсуждения.

Ограничение для IP - это из ленты техкомментов. Впрочем, оно пока заявлено как "ручное" - т. е. Мошков лично следит за активностью по фильтрам. И в техкомментах оповещает о претензиях...

PS
Каждое слово должно быть не длиннее 50 символов - крайне раздражает. Тег [code] необходим. Хотя бы специальным флагом для определённых тредов подключаемый...

	ReFeRy Онлайн 26 сентября 2015
Так. Ясно. Отключу я пока скрипт, переделаю на парсер логов.

	ReFeRy Онлайн 26 сентября 2015
Сделал обновление через логфайл. Потестирую такой вариант. 1