То есть условный бродяга, просивший еды и которого прогнали - он может быть погорельцем, беженцем от войны/чумы/голода/закона.
Прогоняют слуги - почему? Приказано гонять? Боятся чумы или вшей? Видят в бродягах проходимцев (он же не работу спросил, а халяву)? Просто привыкли или даже любят гонять кого могут?
Разные ситуации, разные люди, разные слова)