Не, не обязательно. В Англии в принципе взрослых женщин иногда мадамами тоже называют, не только во Франции. Причем, к женщине могут обратится и полным словом Madam, и сокращенной версией Ma'am (это именно то слово, которое на русский переводят как "мэм"). Ma'am более формальное, официальное (как и Sir - сэр). Мadam - просто уважительное. Разница с французским в том, что там это обращение к замужней, а в Англии - просто уважительное ко взрослой женщине.

В каноне и другие мадамы есть - Малкин, Помфри - кого вспомнила.