Если сайт пилится в свободное время и в хорошее настроение, то рефакторинг - хороший такой способ убить и время и настроение.

Просто для сведения - рефакторинг не добавляет плюшек, не избавляет от багов, дико жрёт время и вынуждает поддерживать легаси (нельзя просто написать заново и красиво, всё старое должно жить).
А ещё в довесок, рефакторинг требует тестов почти категорически. И писать их прямо по ходу - тратить время в геометрической прогрессии.

Лучший вариант - писать тесты в фоне, а когда нибудь потом - порефакторить места, где явно всё плохо и непонятно.