Видимо так "обустроены" блоги на платформе blogspot, что как бы ни старались их авторы, как бы его ни оптимизировали под поисковики, файл robot.txt часто будет блокировать часть опубликованных сообщений и запрещать их индексацию.
О том, почему и как это происходит, предлагаю прочесть на странице этого блога, я же в этом небольшом посте расскажу о том, как удалять страницы, которые не проиндексированы поисковиками.
В Google это делается так.
Заходим в профиль своего аккаунта, кликаем "Инструменты веб-мастеров", выбираем нужный добавленный вами блог, после чего откроется "Панель инструментов". Слева кликаем "Конфигурация сайта", в открывшемся списке нажимаем на "Доступ для сканера".
В открывшемся окне нажимаем "Удалить URL". Оставляем эту страницу открытой. А теперь снова вышеуказанным способом ( я это делаю из панели закладок браузера), заходим на "Панель инструментов" и под строкой "Ошибки сканирования", нажимаем на "Заблокирован файлом robot.txt". После чего вам откроется страница
со страницами(URL), которые нужно удалить. Выделяем их поочередно, копируем.
Скопированные страницы добавляем в первой странице, предварительно нажав "Создать запрос на удаление" в открывшееся окно.
Далее нажимаем "Продолжить", устанавливаем "галочку" выше окна
"Страница возвращает код 404/410 либо заблокирована в файле robots.txt или с помощью метатега noindex" и нажимаем кнопку "Отправить запрос".
Аналогично поступаем с остальными URL которые нужно удалить.
Желаю успеха!
О том, почему и как это происходит, предлагаю прочесть на странице этого блога, я же в этом небольшом посте расскажу о том, как удалять страницы, которые не проиндексированы поисковиками.
В Google это делается так.
Заходим в профиль своего аккаунта, кликаем "Инструменты веб-мастеров", выбираем нужный добавленный вами блог, после чего откроется "Панель инструментов". Слева кликаем "Конфигурация сайта", в открывшемся списке нажимаем на "Доступ для сканера".
В открывшемся окне нажимаем "Удалить URL". Оставляем эту страницу открытой. А теперь снова вышеуказанным способом ( я это делаю из панели закладок браузера), заходим на "Панель инструментов" и под строкой "Ошибки сканирования", нажимаем на "Заблокирован файлом robot.txt". После чего вам откроется страница
со страницами(URL), которые нужно удалить. Выделяем их поочередно, копируем.
"Страница возвращает код 404/410 либо заблокирована в файле robots.txt или с помощью метатега noindex" и нажимаем кнопку "Отправить запрос".
Аналогично поступаем с остальными URL которые нужно удалить.
Желаю успеха!
Геннадий, простите, но вы совершенно все поняли не правильно, и все, что тут написано, все это не так, и делать так не то что нельзя, а эти манипуляции ни к чему не приведут. Я даже не знаю, как вам объяснить. Почитайте в википедии или в других блогах о том, что вообще такое файл robots.txt.
ОтветитьУдалитьВот это:
файл robot.txt часто будет блокировать часть опубликованных сообщений и запрещать их индексацию. - в корне неверно. Ничего не блокируется. Авторы блогов самостоятельно должны блокировать некоторые страницы своих блогов, сами, вручную, чтобы поисковые системы не индексировали некоторые страницы блога. Но, т.к. у нас нет доступа к этому файлу, разработчики платформы (тот, кто ее создал и усовершенствует ее), делают это за нас.
"При этом все, которые попадаются в поиске, я удаляю вручную в инструментах веб-мастера на вкладке Конфигурация сайта – Доступ для сканера – Удалить URL." это твоя фраза из комментариев . Что же удаляю я , и нужно ли это делать?
ОтветитьУдалитьДело в том, что эти самые запрещенные роботом страницы, действительно не значатся в поиске Гугла. Я писал, для чего их удалять, для очистки совести(кстати, удалил только часть, потом надоело), но ты удверждала, что это улучшает работу блога. Запутался я что-то(((
Одно понял - робот блокирует дублированный контент, и это хорошо. Но если дублированный накапливается, то пусть себе накапливается?