Ну, учитывая что он вез Гарри целые сутки... Мадам Ро, кстати так и не объяснила, что все это время делали Хагрид и Поттер. Думаю, вполне вероятно, что в это время Дамби таки обследовал мальчика, стерев затем память Хагриду. Причем не из гадских соображений, а по вполне понятной причине - лесник просто физически не способен сохранить в тайне хоть что-нибудь.