Есть известная теория, что душа при создании крестража делится пополам. Дневник был первым и в нем тогда 1/2 души. Гарри предпоследний, шестой и в нем души 1/32. Естественно, что у такого крестража и силенок поменьше и восстанавливаться из него сложнее. Не зря же тетрадку Риддл счёл достаточным просто отдать Малфою, а кольцо с медальоном пришлось хорошо прятать.
К тому же, сравните красавца Тома-из-дневника и уродливого младенца которым предстает огрызок Волдеморта в глюках Гарри после второй Авады (тех, что с вокзалом и Дамблдором).