Вот именно, Гонты дошли до обнищания, жили в лачуге, а Поттеры оставили сейф полный денег (не несветные богатства, конечно, но Гарри считается довольно обеспеченным ребёнком) и коттедж. Вполне возможно, что дом в Годриковой впадине не единственное имущество Поттеров, а если и единственный, то там вполне мог быть и один-два эльфа, целая армия действительно не нужна.