Не совсем верно. Эти отношения очень часто были наследственными. Если дед и папа были вассалами какого-нить барона А, то и сыновья их становятся в те же отношения. "Отъезд от господина" для средних и мелких был очень непрост. Там связка: земля = деньги = войско = сила.
Да и крайне сомнительно, чтобы на основании "он идиот" кого-то лишили вассалитета.