Слово означает "упадок", так что это не обязательно связано с концом века. Просто однажды так совпало, что на конец века пришелся расцвет культуры с признаками декаданса (Серебряный век).
А так - декадентом считается и Бодлер, который жил и умер в середине 19 века.