Он не на вас смотрел, а на сестру - вернее, на её действия. Но поскольку они совершались с вашей головой, вам казалось, что дело в вас.
Поверьте, если бы вы его интересовали, он бы вам это дал понять совершенно однозначно.