ReFeRy точно знает )))

Это каталог фанфиков, где вы можете разместить ссылку на любую свою работу и перейти на сайт - где она опубликована.

Raido Akkerman, я знаю. Только почему-то если я хочу получить шапку фика самостоятельно (Python/requests), то меня на сайт не пускают.

может это поможет, но прошлогоднее
https://www.npmjs.com/package/ficbook-parser

https://github.com/Anorov/cloudflare-scrape

тоже не работает, я сейчас проверил

Чeрт
Это js же? А вообще, идея была в том, чтобы кучу комментов спарсить и сохранить (там больше 40к).

Verity Mage
кстати тож не работает, я проверил. cloudflare это безнадежно, у них хер что спарсишь, может у рефа действительно есть апи

думаю в принципе это возможно через selenium но придется повозиться

под селениумом с профилем реального (твоего) пользователя, а то он отрывает пустой по дефолту вроде

Там используется специальный прокси, который крутится на отдельном сервере.

Чeрт, я думал в сторону использования самого браузера (не считая селениума и разбора ответа клауда), что-то вроде расширений.

ReFeRy
А как именно, если не секрет, обходится защита?

Verity Mage
Понятия не имею, это готовое решение под cloud flare. Сейчас не найду ссылку, ибо нахожусь на даче.