Вообще-то Джеймс был именно ловцом, притом лучшим, охотником был Сириус. В каноне постоянно Гарри сравнивают с отцом. Помните, Гермиона показывала кубок Джеймса Поттера? Потом Гермиона заметила, что этот талант Гарри унаследовал от отца. Кубком Джеймса наградили как лучшего ловца.