У Гарри, помнится, даже несколько выбросов было, и ничего там не происходило. Он как не знал о магии, так и не знал до самого одиннадцатилетия.
Даже если на Дурслей возлагались какие-то надежды, что они объяснят мальчику, что с ним происходит, то научить это контролировать они бы его точно не смогли.

Так что, скорее всего, мелкие случаи колдовства остаются незамеченными, а для крупных происшествий существует отдел стирателей памяти и ликвидации магических последствий. Типа тех спецов, кто тетушку Мардж вернул в нормальное состояние. В её случае у Гарри это тоже был, скорее, магический выброс, а не сознательное колдовство.