31 октября 1981 был субботой, а день, когда Вернон наблюдал Макгоннагал в виде кошки и то тут, то там веселящихся магов, согласно канону (ГПиФК, гл. 1) был вторником.
То есть, предположительно, Гарри подбросили Дурслям в ночь с 3 на 4 ноября (если подразумевался ближайший вторник) - спустя трое суток после убийства четы Поттеров.
Ну или Роулинг, как это у нее нередко случалось, указывая в тексте день недели, накосячила, не сверившись с календарем. Примеров этому масса - уже во 2-й или 3-й главе неясность с тем, что Хагрид явился в ночь на день рождения Гарри. То есть, по логике - в ночь на 31 июля, а согласно тексту - в ночь на 30 июля. То ли автор на тот момент сама еще не решила, когда у Поттера день рождения - 30-го или 31-го, то ли там был таймскип длиною в сутки, на который даже намека не прозвучало, то ли опять поленилась свериться с календарем.

Кстати, во все той же первой главе ФК упоминаются какие-то приближающиеся праздники. Кто-нибудь вкурсе, какие? А то мне на ум приходит только 7 ноября :D