В первую очередь - мешает уровень знаний. "Огнеструйное оружие - это такие железные дудки, из которых магглы убивают друг друга". Цитата из канона по памяти, но где-то так оно там и есть.
Т.е. изначально одинокий человек с мушкетом мага не превосходил, поэтому заимствовать эту тяжелую хреновину смысла не было - волшебникам, в отличие от магглов, большие дисциплинированные толпы собрать тяжелее. А потом миры разошлись просто, от магглов отгородились, да и довольно.
Вообще выдумывать можно долго, но придумывать другую логичную и исторически достоверную причину, что же такого в 17-м веке поменялось, что маги в норку забились - еще труднее.