Clean-param для robots.txt

Яндекс уже давно ввел директиву clean-param, которая нужна для избежания дублей с GET-параметрами. Эта проблема часто возникает на форумах, когда добавляются параметры сортировки, id сессии и другой мусор, который мешает нормальному индексированию. Вот кусок robots.txt из одного моего форума.

User-agent: Yandex
Disallow:
Clean-param: sid /forum/viewforum.php
Clean-param: sid&p&sk&st&sd /forum/viewtopic.php
Disallow: /forum/memberlist.php
Disallow: /forum/faq.php
Disallow: /forum/ucp.php
Disallow: /forum/posting.php
Disallow: /forum/search.php

User-agent: *
Disallow: /forum/memberlist.php
Disallow: /forum/faq.php
Disallow: /forum/ucp.php
Disallow: /forum/posting.php
Disallow: /forum/search.php

Так как данная директива работает только для Яндекса, то мы должны дублировать все правила для других поисковиков.

#1

А разве

Disallow: /forum/memberlist.php
Disallow: /forum/faq.php
Disallow: /forum/ucp.php
Disallow: /forum/posting.php
Disallow: /forum/search.php

надо дублировать в Use-agent: Yandex? Он не схватит правила из User-agent: * ?

s3ncha, 7.08.2011 - 16:12
#2

я тоже так думал.
но анализатор Яндекса думает иначе
http://webmaster.yandex.ru/robots.xml

admin, 7.08.2011 - 16:18
#3

действительно. спасибо

s3ncha, 7.08.2011 - 16:23
#4

а с googlebot тоже самое?

s3ncha, 7.08.2011 - 16:24
#5

про дублирование?
для Гугла аналогично.

admin, 8.08.2011 - 12:33
Оставить комментарий