Cheery Cherry
>вычистить хтмл-верстку, скормить содержимое автоматическим определялкам языка
так на большей части сайтов есть указание на язык
или речь идет далеко не об сайтах фиков, а просто дневниках ?

Лиса Ересь

бери пайтон

edzidbear
хм... я про него давно думаю, надо будет как-нибудь сесть нормально

Ну, в принципе, любой язык подойдет, и выцепить поле ссылки на оригинал должно быть достаточно просто даже в очень корявых языках.
И ничего не скажу - я то, что делала, не довела до ума, моя программа закачивания фанфиков с конкурсов разбросана на два языка, часть в R, часть в Python, и ещё потом надо запускать WinHTTrack. Но всё равно какой-то опыт) Я считаю, что даже фигня, которой занимаешься, должна что-то тебе давать.

Cheery Cherry
ур
ты прямо сейчас на пару с edzidbear исполняешь мой гороскоп на 17.12)

edzidbear
Да там ссылка может быть на что угодно, мне было бы лень смотреть, где в куче разных сайтов указание на язык - это то же самое "вручную"...

Лиса Ересь
сейчас отманулируем

Cheery Cherry
>скормить содержимое автоматическим определялкам языка, с какими подружишься
https://github.com/detectlanguage/detectlanguage-python
мвахаха