Отец Всеволода, Владимир Александрович Владимиров, «профессор права Петербургского университета, уволенный за свободомыслие и близость к кругам социал-демократии». Привлечён в революционное движение Георгием Плехановым. В России существовал старинный дворянский род Владимировых (Володимеровых), в XVI—XVIII веках — патриарших детей боярских.