Как я уже писал, у меня долго не получалось раскрутить этот сайт. Был конечно еще не грамотным в плане SEO, но всегда искал информацию и учился на ходу всяким штучкам.
Так вот, не гонитесь сразу наращивать ссылочную массу сайта, его ТИЦ и PR. Я набрал PR-4 и ТИЦ-60 но посетителей получал не более 50 в сутки.
Гонитесь за максимальной оптимизированностью как по скорости загрузки, качеством контента, исполнением кода, удобностью навигации и т.п. Постоянно учитесь и пробуйте.
А теперь по сути о проблемах при запрете индексации страниц в robots.txt
Запрет индексации и ошибка поисковиков?
В прошлом году я озвучивал эту тему на форуме zxhost. Суть в следующем:
Имел на сайте несколько страниц подобных pupkin.html. С этих страниц стояли ссылки на страницы pupkin.htm (обратите внимание на расширение). На последних исполнялся скрипт редиректа на партнерские программы.
Поскольку я был уже наслышан, что поисковики не очень то любят редиректы, закрыл эти страницы pupkin.htm от индексации в файле robots.txt
Через несколько дней обнаружил, что не только страницы pupkin.htm но и pupkin.html вылетели из индекса.
Почему? Что такое?
Подумав, что поисковики не видят разницы между htm и html (в чем я сильно сомневаюсь), я удалил страницы с редиректом вообще, поставив простые ссылки на партнерки и закрыв их от индексации тегами noindex, nofollow.
Запись в файле robots.txt, запрещающую индексацию pupkin.htm, то же удалил. Через неделю все страницы вернулись в индекс поисковиков.
Совет: если делаете что то подобное, то имена файлов должны отличаться хотя бы на один знак, ну так… от греха подальше, ведь я даже не понял почему так произошло. Возможно страницы со ссылками на страницы с редиректом попали под фильтр, но мне кажется что проблемой стали одинковые имена файлов независимо от их расширения. Таким образом запрет индексации одних роботы посчитали как запрет индексации всех страниц с такими же именами.