Так ведь было бы очень наивно считать, что магглы любезно оставят колдуну его палочку, а не сломают и не сожгут отдельно. Магглы в курсе, что волшебная палочка является непременным атрибутом мага.
И поскольку колдовать без палочки мало кто может, то и получается, что если волшебник не владел беспалочковой (как та Венделина), то он был обречен.