Да! Собственно, "оливковые" будет правильно, я думаю.
Но для Скабиора они зелёные. Да и для многих волшебников тоже. В конце концов, у нас часто кавказцев называют "чёрные", хотя, казалось бы, они коричневые. )