Если есть тире перед прямой речью, то кавычки вроде вообще не ставятся.

— И я должен пообещать тебе не возвращаться туда, да? — эльф согласно закивал, Гарри же только вздохнул. — И я смогу получить свои письма, если не вернусь в Хогвартс?

Так либо тире, либо кавычки, не?
- П, - а.
"П", - а.

"П, - а. - П".