Они не элита - уже потому, что начали борьбу за власть. Элите убийства, теракты, империусы на министре магии и его подчиненных не нужны - они УЖЕ во власти, при деньгах, должностях в министерстве и местах в Визенгамоте.

Волдеморта, на мой взгляд, поддерживали
а) личности, у которых "денег нет, а счастья хочется", зато полно амбиций.
б) молодежь с романтичным настроем - тайное общество, борьба за достойное место магов в мире и т.п. (Регулус из таких, скорее всего)
в) нувориши - деньги есть (откуда деньги - другой вопрос), а вот для Визенгамота чистокровностью не вышли.
г) местный люмпен-пролетариат, то есть оборотни, вампиры, великаны.