Ах, какая это многозначительная оговорка - "не так..."
И что-то подсказывает, что Драко скорее расстроился от отказа Гарри. Хотя, конечно, тоже хотел бы "не так".