Блэки очень даже могли. Ньюанс - сам Сириус Блэк свалил из семьи исключительно из нежелания подчиняться этим всяким правилам и становиться достойным наследником рода Блэк, хе-хе. Так что в теории мог, а на практике ему до семейного наследия было глубого по барабану и он фактически не возражал, когда его дом невозбранно разграбляли, хе-хе.
Правда, живет он не в мэноре и замке, а в особняке на маггловской улице. Что какбэ намекает.
С Поттерами сложнее. Вроде бы Джеймс Поттер пережил отца, но живет отнюдь не в замке, а в умеренном домишке. То ись можно предположить, что его папаша Чарльз - не крутой лорд, а что-то вроде Уизли, только разве чуть побогаче. То ись - крепкий такой обыватель магмира без особых связей и чинов с титулами.