Собственно, хоть "собеседник 1" и раздражающе навязчив, твёрдого "нет" от "собеседника 2" он действительно не услышал. "Не знаю", "надо подумать", "как-то не очень хочется"...
Если бы было сказано "Нет. Я точно не поеду. Точка" - тогда претензии имели бы гораздо больше смысла.
Впрочем, это не значит, что "собеседник 1" прав.