А какой смысл? Просто не голосуйте. Не будет вашего кирпичика в этой стене.
Или вы хотите отнять по одному голосу от числа проголосовавших за каждый фик? Всё равно то на то и выходит: что нет голоса, что против