Буддисты колдунов точно не боятся, как и даосы. Там такого нет.
Для колдуна нужна питательная среда - наличие божеств-помощников и дуализм. Вот кто злым божествам служит, неурожай или нестоячку или болезни насылает при помощи этих божеств, вот тот и колдун.