А как он мог его забрать? Когда Гарри Поттер из 1996 года становится Раймондом Певереллом, хоркрукс по-прежнему остается в нем, как и был до этого. Только плюс к этому кровная магия и воспоминания магов из будущего. Но на часть души Волдеморта это никак повлиять не может.
Другое дело, что Раймонд делает вид, будто к нему хоркрукс перешел непосредственно из кольца, - хотя в перстне-то его как раз давно нет.