Шаг шестой – внутренняя оптимизация
Пример файла robots.txt:
|
User-agent: Yandex Disallow:/docs/ Disallow:/index.shtml Host: www.site.ru |
|
User-agent: * Disallow:/docs/ Disallow: /? |
В данном примере от поисковиков закрыты все файлы и страницы, находящиеся в папке /docs/, определено главное зеркало для яндекса www.site.ru, закрыт от индексации файл /index shtml и все страницы, начинающиеся с «?».
Для поисковой машины адрес www.site.ru и www.site.ru/index.html - это две разные страницы, которые в итоге склеиваются, но одна из них считается главной. Закрывая от индексации страницу / index . shtml мы тем самым говорим поисковику, что у нас только одна главная страница.
Зачем закрыты все страницы, начинающиеся с вопросительного знака?
Это защита от недоброжелателей 
Как она работает и зачем нужна такая защита – предлагаю поискать самостоятельно.
Также надо иметь в виду, что объем и состав работ по внутренней оптимизации, должен выбираться исходя из стратегии продвижения.
Update от 11.2010 г.
Много чего тут было забыто. Об этом отдельная страничка 6.5
Итог шестого шага:
- Проведение работ по внутренней оптимизации выбранных для продвижения страниц