Все таки Петунья скорей всего взяла Гарри домой, плтому что ее "уговорил" Дамб, а вот как уговорил? Помните в пятой книге он ей громовещатель прислал "ты поклялась!" или что-то вроде того. Дурсли может и избавились бы от подкидыша, но того могли просто вернуть назад к Дурслям. И после энного раза тем пришлось смириться с племянникам. Это конечно бредовая идея, но факт в том что нам ничего не известно о действиях Дурслей, когда те обнаружили племянника на крыльце своего дома.
Как жил Гарри у тетки с дядей особо не ясно, показаны лишь отрывки и те с точки зрения Гарри, нет точки зрения независимого наблюдателя.