Если есть тире перед прямой речью, то кавычки вроде вообще не ставятся.

— И я должен пообещать тебе не возвращаться туда, да? — эльф согласно закивал, Гарри же только вздохнул. — И я смогу получить свои письма, если не вернусь в Хогвартс?