Шаг шестой – внутренняя оптимизация
Пример файла robots.txt:
User-agent: Yandex
Disallow:/docs/
Disallow:/index.shtml
Host: www.site.ru
User-agent: *
Disallow:/docs/
Disallow: /?
В данном примере от поисковиков закрыты все файлы и страницы, находящиеся в папке /docs/, определено главное зеркало для яндекса www.site.ru, закрыт от индексации файл /index shtml и все страницы, начинающиеся с «?».
Для поисковой машины адрес www.site.ru и www.site.ru/index.html - это две разные страницы, которые в итоге склеиваются, но одна из них считается главной. Закрывая от индексации страницу / index . shtml мы тем самым говорим поисковику, что у нас только одна главная страница.
Зачем закрыты все страницы, начинающиеся с вопросительного знака?
Это защита от недоброжелателей ;) Как она работает и зачем нужна такая защита – предлагаю поискать самостоятельно.
Также надо иметь в виду, что объем и состав работ по внутренней оптимизации, должен выбираться исходя из стратегии продвижения.
Итог шестого шага:
- Проведение работ по внутренней оптимизации выбранных для продвижения страниц