А почему он должен ассоциировать оленя и Джеймса?
Он же не знал что они анимаги.
Иначе бы Блэка иначе ловил.
А там где Джеймс его спас нигде не говорится что он его на рогах вынес.

А например патронус-лань могла быть и у Лили и у них были одинаковые патронусы и он эту связь через патронуса ощущал.

Или еще миллион вариантов, начиная со мультика про Бэмби вышедшего еще в 1942 :-)))