Дело не в хоре восторженных поклонников, а в моём мнении. На мой взгляд, так говорят - и мне это встречалось в общепризнанной достойной литературе. "Глядя" лучше, конечно - но "смотря" тоже вполне допустимо.
Это действительно вкусовщина, и ваш вкус ничем не хуже моего - но и не лучше. ) Просто два разных мнения столкнулись - и я по праву автора оставляю свой вариант. Вот и всё. Не обижайтесь, пожалуйста. Ваше мнение интересно - я вот даже не думала никогда, что кого-то это может царапать.
А вообще эти два слова имеют немного разный оттенок. ) На мой субъективный взгляд.