Далеко не легко - его почти отстранили от работы.
И о каком вреде речь? Все живы-здоровы.

Каких эльфов? Школьные им неподвластны, а личные в Хог не так-то просто могут попасть. Ведь помним же, что к Драко в Больничное крыло Люциус сам приводил эльфа, т.е. директор был в курсе, а Гарри своему давал пропуск от Сева. Но не думаете же вы, что чужой эльф сможет бродить по Хогу где ему вздумается, раз существуют такие ограничения на посещение территории школы посторонними эльфами? Да и Дамблдор их терпеть не может, считаете, в его кабинет так и зайдет хоть один без директорского ведома?
А портрет Найджелуса Блэка - давно и прочно законсервирован! Все портреты в директорском кабинете не имеют возможности отлучиться со своих полотен, они лишены голоса, поэтому никому ничего не могут сказать, даже если кому-то взбредет в голову их расспросить.