И доступ к микрофону можно запретить браузеру (или конкретной вкладке).
Если доступ уже выдан, то на вкладке обычно достаточно заблокировать в адресной строке слева
https://help.nsu.ru/download/attachments/51021411/worddav0e243be609ef24bb98c2a78f465a58cf.png?version=1&modificationDate=1621413285020&api=v2

UPD: но если вы пользуетесь голосовым вводом и он только иногда мешает - то дело ваше, конечно. Я лично просто не люблю голосовые инструменты.