Wave
Да, да, конечно, надо делать интеллектуальную систему анализа страницы, выделения большого объема не служебного текста, потом уже подтягивать заголовки и так далее. А вот чем шапку разбирать, ссылку там на профиль автора искать или на следующую главу... загвоздка. Совсем интеллектуально надо подходить.

У меня для фф.нет изначально использовалась внешняя библиотека, которая строила дом-дерево и позволяла осуществлять навигацию по css-селекторам. Этот код приходилось править куда чаще, чем мои самописные решения на регулярках и explode для остальных сайтов. В итоге переписал без библиотеки и оно отлично работало, пока сайт не поднял параноидальный режим CF.

P.S. На ао3 не название класса сменили или форматирование кода поправили, там полностью убрали разметку тела страницы html-комментариями, которые раньше были очень удобно и однозначно включены в код.