Яндекс уже давно ввел директиву clean-param, которая нужна для избежания дублей с GET-параметрами. Эта проблема часто возникает на форумах, когда добавляются параметры сортировки, id сессии и другой мусор, который мешает нормальному индексированию. Вот кусок robots.txt из одного моего форума.
User-agent: Yandex Disallow: Clean-param: sid /forum/viewforum.php Clean-param: sid&p&sk&st&sd /forum/viewtopic.php Disallow: /forum/memberlist.php Disallow: /forum/faq.php Disallow: /forum/ucp.php Disallow: /forum/posting.php Disallow: /forum/search.php User-agent: * Disallow: /forum/memberlist.php Disallow: /forum/faq.php Disallow: /forum/ucp.php Disallow: /forum/posting.php Disallow: /forum/search.php
Так как данная директива работает только для Яндекса, то мы должны дублировать все правила для других поисковиков.
7.08.2011
А разве
Disallow: /forum/memberlist.php
Disallow: /forum/faq.php
Disallow: /forum/ucp.php
Disallow: /forum/posting.php
Disallow: /forum/search.php
надо дублировать в Use-agent: Yandex? Он не схватит правила из User-agent: * ?
я тоже так думал.
но анализатор Яндекса думает иначе
http://webmaster.yandex.ru/robots.xml
действительно. спасибо
а с googlebot тоже самое?
про дублирование?
для Гугла аналогично.