Ninoчka
Да, демонстративно надевать назад и двигать подальше. Он же время спросил? Время. Ответ получил. Все нормы вежливости соблюдены, больше вы ему ничего не должны из своего временного ресурса. Нах же вы не слали с полпинка за безобидный вопрос. А на все остальное, в т.ч. и на поддержание нейтрального разговора, вы не подписывались в своих планах на прогулку парком. Почему ваша потребность должна быть ниже его?
Тоже пользуюсь наушниками, но в настораживающих ситуациях, надевая обратно, стараюсь тут же прикрутить звук, чтобы слышать происходящее вокруг. Как вариант можно достать мобильный и сымитировать разговор, давая человеку понять, что продолжения не будет.