Дурсли его просто не любили. Кормили, поили, следили, чтобы не умер и не покалечился, и только.
По меркам Дамблдора(который вырос в конце 19 века) с Гарри нормально обходились.
Дурслькабан - это фанон. Как и дамбигад(ваше предположение тоже дамбигадство).