Чудесная Клю

Да, после первых кавычек надо убрать запятую, там же воскл. знак. Если у фразы в кавычках воскл. или вопросительный, то запятая после кавычек прямой речи не нужна, вы совершенно правы.
Если ж там должна была быть точка, она не ставится, а ставится запятая после кавычек. Например:
Невнятно пробормотав: «Я пришел»,— он подошел поближе.

После вторых кавычек точка нужна, так как там конец фразы.

Спасибо :)