>подразумевается, что отколотый кусочек души... где-то висит типа?

Либо он в теле мага, как и вся остальная душа, либо он заключён в предмет. Но то, что память Тома-из-дневника отделялась от основной в момент создания хоркрукса — факт. Неизвестно, была ли вообще какая-либо память у других хоркруксов.