Правильный Robots.txt для WordPress или что такое robots.txt | GETDOHOD