Я бы сделала следующим образом.

Ввести опцию "автор против критики". То есть ещё на этапе публикации дать возможность автору выбрать для каждого конкретного текста, хочет он видеть под ним критические комментарии или нет. Для тех, кто выбрал опцию "автор против", открывать возможность тереть любой коммент, вообще любой. И навешивать на такой текст красненькую надпись: "Автор против критики". Потому что молча вычищать неугодные комментарии - это некрасиво и трусливо. Вычищаешь - читатель должен быть предупреждён. Предупредил - и вычищай на здоровье, тусуйся в своём уютном огороженном пространстве в компании преданных читателей.

Для всех остальных доработать функционал жалоб. Уточнить, какие именно комментарии недопустимы, поставить пару-тройку модераторов на решение вопросов по жалобам, в случае несогласия с модераторами пусть авторы пишут админу.