Дело далеко не только в привязке номера телефона, хотя и это конечно играет.
Вообще почитайте (или перечитайте) подборку статей по тегу приватность - формирование лент делается на достаточно сложных алгоритмах, которые стабильные социальные связи выявляют по общим друзьям, общим фото, структуре лайков и т. д. вполне удовлетворительно.