Аксфи
Что вы используете, почему для вас стал препятствием robots.txt? Тем более, что указанная директива там числится уже... Кто бы помнил сколько. Давно.