Есть. Сама комната с таким названием в доме на Гриммо упоминается в К-5, потом Молли выбрасывает "горы фолиантов по тёмной магии"... Где-то ж она их взяла?
Ну и вообще, домик семейства Блэк описывается как типичный лондонский городской особняк небедной семьи - а там библиотека есть по умолчанию.
Чем она заполнена - вопрос номер два, но есть она обязательно.