Перед маппингом C-a можно сначала сделать unmap. Ну или vnoremap <C-a> добавь ещё.

С горем пополам докопался, что проблемы с бэкспейсом у меня начинаются с Vim8.2. 8.1 и более ранние этой проблемы не имеют, но 8.2, только её ставишь и вносишь одну-единственную строчку в конфиг: set term=xterm — всё, отсюда начинается такое выделывание, что я уже заколебался искать корень.
В принципе, можно будет ещё, ну, не знаю, пошерстить стандартные \vim82\keymap\*.vim и тому подобное дерьмо, но, блин, я и так потратил на это дофигищу времени, и не сказать чтобы это были полезные траты.