финикийский_торговец, да, давно уже. Даже без специального указания в хэдере. Они смотрят все ссылки на сканируемой странице, а по одной из них — такой же текст. Помечают текущую как "дубликат" или "копия". Это если сильно утрировать.