Но Гермиона где-то держала свой отряд в невидимости, значит это возможно.

Можно предположить, что 1 хаос и драконы не смотрели особо по сторонам, а сосредоточились друг на друге и 2 они всё же в камуфляже + можно и ползком не спеша подобраться...