На мой взгляд, так как Добби работает в Хогвартсе, очевидно, что он слышит "зов" обитателей замка. А вне замка, я думаю, он уже не сможет услышать. В любом случае, это только моя теория, так что не буду спорить, вполне возможно, что Вы правы.