Не, математику, скорее, учат на уроках астрономии. Там у нас, в основном, геометрия (всевозможные эллипсы, Пифагоровы тройки). На старших курсах, возможно, немного мат.анализа, где то в районе Ньютона-Лейбница. Все это развивалось из-за астрономии, так что вполне может изучаться в Хогвартсе.
Но не больше. Дальше был принят Статут, миры разъединились, волшебники зависли в 17 веке и больше времени посвящали магии, чем математики.

И если это так, то волшебники выходят из Хогвартса на том же самом уровне знания математики, на котором находятся маглы после школы.