После 4 курса змеелицему светится было не с руки - нужно было восстановить свою армию. А подобные выходки сильно привлекают внимание. Кроме того, где гарантия что Дамблдор, после события с дементорами, не присматривает за Поттером круглосуточно(вспоминаем часы Уизли) и при необходимости трангресирует на место ЧП. Плюс в погоне за Поттером бойцы Риддла вполне могут покрошить детишек что под руку попались - а от такого хрен отмажешься.
Главной целью для Риддла становится Дамблдор - нет Бороды и Поттера некому защищать.