Сириус ненавидил семью, а не дом. Просто в жоме все наплминает о семье, но если бы Сириус ненавидел бы этот дом, то он бы в завещании попросил бы Гарри уничтожить этот дом или типу того