Ну, в моём хэдканоне колдовать без палочки можно, но если использовать как концентратор/указатель собственную руку, есть немалый риск, например, сжечь себе пальцы напрочь банальным инсендио. Или шарахнуть обливиэйтом самому себе в мозг, как Локхарт.
Поэтому только очень крутой колдун, умеющий в концентрацию (как Дамблдор или Волдеморт) может такое делать. И то без особых причин не станет. А эльфы и гоблины делают так вынужденно, а не потому что они здесь самые умные.