Потому что зачастую людей в рамках каких-то неординарных увлечение удерживает не только собственный искренний интерес, а что-то ещё, например, ненависть к чему-то противоположному. Не всегда, но тут аналог естественного отбора: те, кого не удерживает, частенько просто переключаются на другой интерес, потом ещё какой-то. А те, кого удерживает, остаются.