Styx
С учётом того, что тексты на разных сайтах иногда разительно отличаются - как по актуальному объёму, так и по редактуре - то ничего с дублями, тем более автоматически, сделать не выйдет.