А что вас смущает? Испокон веков всевозможные шаманы, жрецы, чародеи, священники и прочие шарлатаны норовили схватиться за украшенную палку, солидности ради.
К тому же, в оригинале "wand", что означает жезл вообще. Так что кто-то из предков Олливандера вполне мог строгать какие-то священные лингамы при храме Приапа Восемнадцать Воробьев.