А с чего вы думаете что он именно Дамблдора боится? По текту не особо. Он просто изгнания боится, потому и Дурслей не трогал