Для начала надо бы узнать, не являются ли эти стены несущими в принципе.
А разве соседи должны давать согласие? Первый раз о таком слышу.

Вы имеет право никого не пускать в квартиру, иначе не было бы столько проблем, что при незаконных перепланировках и уполномоченные сотрудники в квартиру нарушителя попасть не могут. По крайней мере об это периодически твердят по ТВ.