Его мнение изменялось тогда, когда Гарри говорил то, что не нравится Фаджу: что Блэк не виновен, что Волдеморт воскрес и т.д. В нейтральной ситуации, когда слова Гарри не задевают интересов министра, Фадж вполне способен их не оспаривать и даже поддержать (как поддержал версию "я нечаянно надул тетушку"), и это не будет ООС.