Не понравился не из-за приюта, а из-за своего поведения.

Цитата подтверждает только то, что Альбус Тому не доверял, и как показала история — был в этом абсолютно прав.