Есть охранные чары замка которым хозяин дамблдор, они вполне могли показывать настоящую личность Квирелла или опасность. Если угрозу чувствовал гарри, не мог ее не почувствовать и Дамблдор и по-крайней мере попытаться выяснить ее причины. Все остальные могли полагаться на аторитет дамблдора и охранные чары.
При первой же встрече с гарри дамблдор неоднозначно намекает ему на запретный коридор. Зачем гарри философский камень сам по себе если в это не замешан волдеморт? Зачем переносить камень за которым охитится враг в самую гущу замка со студентами в год поступления туда Гарри поттера как не ловля на живца.
Волдеморт вполне крошил на лево и на право (по крайней мере маглов), но крошение учеников его бы к камню видимо не привело и потратило лишние силы.