запрет индексации

Как я уже писал, у меня долго не получалось раскрутить этот сайт. Был конечно еще не грамотным в плане SEO, но всегда искал информацию и учился на ходу всяким штучкам.

Так вот, не гонитесь сразу наращивать ссылочную массу сайта, его ТИЦ и PR. Я набрал PR-4 и ТИЦ-60 но посетителей получал не более 50 в сутки.

Гонитесь за максимальной оптимизированностью как по скорости загрузки, качеством контента, исполнением кода, удобностью навигации и т.п. Постоянно учитесь и пробуйте.

А теперь по сути о проблемах при запрете индексации страниц в robots.txt

Запрет индексации и ошибка поисковиков?

В прошлом году я озвучивал эту тему на форуме zxhost. Суть в следующем:

Имел на сайте несколько страниц подобных pupkin.html. С этих страниц стояли ссылки на страницы pupkin.htm (обратите внимание на расширение). На последних исполнялся скрипт редиректа на партнерские программы.

Поскольку я был уже наслышан, что поисковики не очень то любят редиректы, закрыл эти страницы pupkin.htm от индексации в файле robots.txt

Через несколько дней обнаружил, что не только страницы pupkin.htm но и pupkin.html вылетели из индекса.

Почему? Что такое?

Подумав, что поисковики не видят разницы между htm и html (в чем я сильно сомневаюсь), я удалил страницы с редиректом вообще, поставив простые ссылки на партнерки и закрыв их от индексации тегами noindex, nofollow.

Запись в файле robots.txt, запрещающую индексацию pupkin.htm, то же удалил. Через неделю все страницы вернулись в индекс поисковиков.

Совет: если делаете что то подобное, то имена файлов должны отличаться хобя бы на один знак, ну так… от греха подальше, ведь я даже не понял почему так произошло. Возможно страницы со ссылками на страницы с редиректом попали под фильтр, но мне кажется что проблемой стали одинкаовые имена файлов независимо от их расширения. Таким образом запрет индексации одних роботы посчитали как запрет индексации всех страниц с такими же именаим.