>>> Они могли загнать гоблинов в шахты, засадить в мастерские и заставить работать

Между прочим именно этим в каноне гоблины и занимаются. Лишённые магии они целыми днями безвылазно сидя в шахтах под Гринготтсом, пашут в мастерских изготавливая галлеоны и вообще обслуживают магов.
А в остальном маги достаточно милосердны к этим неандертальским недотёпами и поэтому особо их не угнетают.