То есть то, что Гарри-девочку считали мальчиком - это побочный эффект чар, наложенных на Дурслей.
Но при этом на Дурслей чары не действовали, а на Гарри действовали, но он не считал себя мальчиком

Ну да, так это обычно и работает!