Гарри отдали магглам. Добби этого не знал, да даже если бы знал - в маггловском мире эльф жить не может.
А как он попал к Малфоям - может, оголодал совсем и пришел к ним, попросился на службу. А может быть, в магомире есть те, кто отлавливает беглых или бесхозных эльфов - и продает... Может, Добби попался таким торговцам, и его продали Малфоям.
Но за время бродяжничества Добби успел почувствовать вкус свободы, и ему понравилось ))