>То есть, думаете, в каждом есть частица некоего зверя

Анимагическая форма не меняется на протяжении всей жизни — так что да. Может быть это даже врождённое.

>Вот в том же Джеймсе Поттере что было от оленя? И от кошки - в МакГонагалл?

Ярче всего это видно в Сириусе и Питере — но они и провели в зверином облике больше всех.