 #фанфик_в_файл #СамИздат
Началось тестирование второй версии чекера обновлений СИ. Теперь скрипт один раз в час парсит логфайл обновлений СИ, ищет совпадения с БД фанфикса, ставит задачи на обновление. Другой скрипт запускается каждые пять минут, ищет в БД задачу на обновление (одну), скачивает текст, проверяет, что он действительно изменился, обновляет архивы и текст в БД, пишет новость. Таким образом обеспечивается обновление любого произведения в течение часа после изменения текста автором, при условии, что происходит не больше 12 обновлений в час. Но это стартовые условия, как раз их и надо проверить тестированием. Ибо за текущие сутки нашлось уже более 60 произведений, которые есть в БД ФвФ и которые обновились, но только у 5 из них есть хотя бы один подписчик. Новости пока никуда не выводятся, но в БД уже пишутся. В будущем новости об обновлении произведений с СИ будут выводится в разделе "Мои новости" наравне с новостями Фанфикса. Только еще не решил куда их пихать относительно групп гет/слэш/джен/фемслэш, возможно, сделаю отдельную группу "СамИздат". 26 сентября 2015
9 |
|
|
|
Altra Realta
Ну, кто не пользуется ФвФ или хотя бы не подписывается там на фики, тот вообще никаких изменений не заметит. 1 |
|
 |
|
|
Хм. Теперь бы прикрутить к ФвФ какую-нибудь автоматизированную загрузку - а то моя подписка в более чем одиннадцать сотен авторов...
|
|
 |
Ластро
|
|
А подписаться на автора можно? Или только на конкретные произведения?
|
|
|
Ластро
|
|
Marlagram, ты монстр, у меня всего три сотни.
|
|
|
|
|
Marlagram
Я слышал о функционале следилок который позволяет импортировать/экспортировать списки для слежения за продами. В принципе, это реализуемо, но не прямо сейчас. Я вот уже начал пользоваться новым функционалом. Подписался на Технические вопросы самиздата - теперь буду в курсе изменений на сайте. Ну, когда новости/оповещения доделаю :) |
|
|
|
|
А подписаться на автора можно? Или только на конкретные произведения? Только на произведение. Вот этот момент в поведении сервиса я менять пока не намерен. |
|
|
Ластро
|
|
Жаль... Когда авторов за три сотни, подписываться на каждое новое произведение... скажем так, малость проблематично.
|
|
|
|
|
Я вот уже начал пользоваться новым функционалом. Подписался на Технические вопросы самиздата - теперь буду в курсе изменений на сайте. Ну, когда новости/оповещения доделаю :) Блин. Вот, что за люди. Одно дело вообще использовать pre для форматирования публичного текстового документа, так они еще и закрывающий тэг забыли :( 1 |
|
 |
|
|
действительно. Что за люди.(
|
|
|
Ластро
|
|
СИ, такой СИ :(
|
|
 |
|
|
А самиздат не забанит? У Мошкова уже была претензия к информеру Ясинского и его форкам, что они создают огромную нагрузку на его сервера. В результате информеры переделывались с тем, что проверка обновлений с паузами перед каждым автором проходит.
|
|
|
Ластро
|
|
Информатор -- программа созданная в множестве экземплярах. В этом и проблема.
|
|
|
|
|
ФвФ создает нагрузку на СИ, как один единственный экземпляр информера у одного пользователя. Разе что, со временем база ФвФ может разрастись и превысить базу любого самого активного пользователя информера, но максимум с несколько раз, а не на порядки.
|
|
|
|
|
Ну так в том и дело, что Мошков банил по ip тех, кто активней всего нагружал сервер, а это как раз те пользователи, у которых в информерах сотни авторов.
|
|
|
|
|
Во-первых, время покажет.
Во-вторых, раньше не было логфайла, и информеры вынуждены были запрашивать СИ очень часто. Например, моя вчерашняя версия чекера делала бы минимум 720 запросов за сутки, а со временем начала бы делать гораздо больше. Современная версия делает 24 запроса логфайла и по одному запросу на каждое обновившееся произведение. Никаких холостых запросов. 1 |
|
|
|
|
http://samlib.ru/comment/w/wasilow_s_p/sii?PAGE=8
Показать полностью
77. Василов Сергей Петрович (sergei.vasilov@yandex.ru) 2013/02/19 18:44 [ответить] Уважаемые дамы и господа, пользователи моей программы. БОЛЬШАЯ ПРОСЬБА. Увеличьте интервал обновления часов до 5. Это находится в настройках, раздел "Действия" - "Периодичность обновления". Максим Мошков изволит гневаться :) А так как он главный на Самиздате, то может много чего сделать. Подробности в его теме http://samlib.ru/comment/r/redaktor/forum_block Оказывается на пару с Ясинским наши программы генерируют лишние 3 миллиона запросов. Возможности сервера самиздата ограничены и он (сервер) в эти ограничения уже уперся. В ближайшие выходные я сделаю обновление, которое принудительно увеличит интервал обновления и более равномерно в этом интервале будет обновлять страницы. Плюс сам Мошков обещает кое-что в движке сайта подправить для пользователей таких программ. Спасибо. Ну и дальше по комментам чуууть-чуть это обсуждается и кое-что по release notes есть 105. Василов Сергей Петрович (sergei.vasilov@yandex.ru) 2013/03/17 09:34 [ответить] Обновление программы 1) ДОБАВЛЕН АЛГОРИТМ АДАПТИВНОГО ОБНОВЛЕНИЯ в принципе соответствует тому алгоритму, что я описал в 102 сообщении, только добавил рандом для редкообновлющихся авторов, чтобы они не шли обновляться толпой в конце суток, а растягивались равномерно по этим суткам. В любом случае проверка не реже 24 часов. Довольно простенький алгоритм получился. Я изначально пробовал более сложные, но работало хуже. Чтобы включить - в настройках в разделе "Действия" - "Периодичность обновления" - "Адаптивно". 2) предупреждения при попытке ручного обновления о высокой нагрузке и возможном бане со стороны сервера. В комментариях у информатора Ясинского уже жалуются на неработоспособность программы из-за бана. 3) задержка в ручном обновлении в 1 секунду если всё-таки проигнорировали предупреждение, то небольшая задержка всё-равно будет. 4) резервные копии списка авторов в ./Data/Backup создается при запуске не чаще раза в неделю и перед обновлением программы. Не более 7 файлов. 5) исправлены ошибки |
|
|
Ластро
|
|
Ну вот, ты сравнил, два миллиона и не более 300-500 в сутки, почувствовал разницу?
|
|
|
|
|
Вот видите, 3 000 000 запросов, а ФвФ теперь будет их создавать от силы пару сотен в сутки. Я очень надеюсь, что Мошков не решит, что это много :)
|
|
|
|
|
Три миллиона — это на всех пользователей обоих информеров, а банил самиздат конкретных пользователей. К сожалению, не указано, за какую нагрузку.
Но вообще окей, если пара сотен в сутки, тогда ладно. Хотя в пару сотен не очень верится, я какой фик ни пытаюсь в ФвФ загрузить, каждый раз оказывается, что «такой фанфик уже есть». |
|
|
|
|
В ФвФ сейчас по 100-200 новых фанфиков в сутки, это по всем сайтам, включая фикбук.
1 |
|
Включить тёмную тему
Популярное
VKontakte
WhatsApp
Telegram
Отключить рекламу
