Почему в индексе только главная страница сайта? Неужели АГС?

Здравствуйте, друзья! Сегодня хочу рассказать, почему у некоторых блогов только главная страница в индексе Яндекса. И это после нескольких месяцев ведения блога. Вы наверно подумали – очередная страшилка про АГС? А вот и нет. Фильтры Яндекса тут совершенно не причем, но, допуская подобную ошибку, ваш сайт никогда полноценно не будет проиндексирован.

Если у вас нормальный блог, но есть подобная проблема, тогда читайте этот пост дальше. Особенно, если вы учитесь в школе StartUp.

Почему проиндексирована только главная страница в Яндексе?

Однажды обратился ко мне через почту автор одного блога с вопросом: почему Яндекс не индексирует мой сайт? Посмотрел, действительно в индексе только морда. Первая мысль – фильтр Яндекса. Ведь выпадение всех страниц сайта из индекса, кроме главной, это верный признак АГС. Но надо понять, что не понравилось поисковику.

Смотрю и толком ничего не пойму. Почему Яндекс проиндексировал только главную страницу? Контент на 100% уникальный. Ссылки не продаются и не покупаются. Аккуратный дизайн с минимумом рекламы, можно сказать, что ее вообще нет. Единственное, что мне не понравилось – все внешние ссылки были открытыми, причем несколько из них были сквозными и шли как “бесплатный бонус” к шаблону WordPress.

Надеюсь, то, что все левые ссылки, вшитые изначально в шаблоны Вордпресс, надо удалять, никому объяснять не надо? Когда-то я уже писал, как найти скрытые внешние ссылки в теме WordPress. Советую проверить свои шаблоны, если вы до сих пор этого не сделали.

Продолжаю. Посоветовал удалить все лишние внешние ссылки, а остальные закрыть от индексации с помощью rel=”nofollow” и посмотреть, будут ли изменения. Признаюсь, что тут я не доработал, надо было копнуть глубже.

Через время ничего не изменилось, по-прежнему в индексе была только главная страница блога. Конечно, Яндекс иногда сложно понять, но все же должна быть какая-то причина. Тем более что блог то хороший.

В очередном письме, блоггер мне сообщает, что ему посоветовали сделать анализ robots.txt, возможно, там что-то не в порядке. Честно сказать, я ранее глянул на этот файл и не заметил ничего особенного. Такой файл советовали устанавливать всем ученикам школы StartUp (кстати, сейчас рекомендуют устанавливать несколько измененный вариант). У меня тоже стоял точно такой же файл и проблем с индексацией не было, поэтому сначала я и упустил одну важную деталь.

При повторном просмотре я увидел ошибку – запрещающая директива Disallow: /*?*. Можно сказать, что это никакая не ошибка, так как такая директива прописана на большинстве блогов и не вызывает никаких проблем. Да, но только в том случае, если в адресах страниц не встречается знак “?”.

Дело в том, что у этого блога не были настроены ЧПУ (человеко-понятные UPL) и все адреса постов, страниц и рубрик выглядели примерно так ваш сайт.ru/?p=123. То есть Яндекс тут совершенно не причем, ему просто запретили индексировать все страницы. Давайте проверим правильность моих слов.

Как сделать анализ robots.txt в панели Яндекс.Вебмастер

Заходим в панель Яндекс.Вебмастер на вкладку “Анализ robots.txt” или просто по этой ссылке. Вводим в строку “Имя хоста” свой домен и нажимаем кнопку “Загрузить robots.txt с сайта“. Потом жмем “Добавить“.

Открывается поле для добавления адресов проверяемых страниц. Вводим нужные нам адреса, нажимаем “Проверить” и смотрим результат.

Как видите, что и требовалось доказать. Адрес запрещен директивой Disallow: /*?*. Как теперь это исправить?

Возможны два пути решения проблемы:

  • сделать анализ файла robots.txt и удалить строчку Disallow: /*?* или другие, которые будут ставить запрет на индексацию нужных страниц;
  • настроить постоянные ссылки (ЧПУ) на блоге.

Второй вариант предпочтительнее, но если ваш блог имеет очень много страниц проиндексированных в Google, то возможно их выпадение до переиндексации и потеря PR. Точно не скажу, так как не сталкивался с подобной проблемой. Если кто-то менял вид постоянных ссылок в Вордпресс, спустя некоторое время после создания блога, то расскажите о последствиях в комментариях к этой статье.

В заключении, хочу дать совет – сразу после установки движка WordPress, сделайте настройку ЧПУ и установите WP-плагин Cyr-To-Lat, который меняет все русские буквы на латинские при формировании постоянных ссылок. Это лучше сделать до публикации первых статей. Кроме приятного внешнего вида, такие ссылки будут выше ранжироваться в результатах поисковой выдачи, если в них будут встречаться поисковые запросы. Поисковики находят ключевые слова в URL и выделяют их.

Как настроить постоянные ссылки в WordPress и установить плагин Cyr-To-Lat я писал здесь.

После описанного выше случая, ко мне обратился еще один человек с подобной проблемой. После анализа его robots.txt была найдена такая же ошибка. Поэтому я решил написать эту статью, надеясь, что она будет полезна тем, у кого Яндексом проиндексирована только главная страница сайта.

В планах опубликовать пост о создании robots.txt, поэтому подписывайтесь на обновление блога blogibiznes.ru. Хотя об этом много везде написано, тем не менее, никто не знает, как выглядит идеальный файл. Многие не уделяют ему достаточного внимания и тогда возможны проблемы с индексацией сайта, которые, на первый взгляд, могут быть похожи на попадание сайта под АГС. Поэтому сделайте анализ robots.txt.

А сейчас предлагаю посмотреть видеоролик о фильтрах Яндекса и до скорых встреч на страницах моего блога!


Понравилась статья? Нажимай на кнопки:
Твитнуть
SEO
SEO
Как создать карту сайта XML – плагин Google XML Sitemaps для WordPress

Хостинг от Макхост

Ответов 75 на “Почему в индексе только главная страница сайта? Неужели АГС?”

  1. Тю, обнадежил. Окрыленный надеждой, проверил три сайта, у которых одна страница в выдаче… Нет, роботтекст не причем :( Жаль…

    • Тогда действительно жаль :( .

      • Опааа мой сайт тоже у Яндекса 1-2 страницы
        нашла у себя тот самый Disallow
        В общем убрала. Теперь в ожидании и с надеждой на результат Ждем…
        А так я уже месяц пыталась понять в чем причина :))))

        • На прошлой неделе зашла на свой уже немного подзаброшенный блог и с удивлением и радостью обнаружила, что страницы яндексом индексируются. УРА! Дело времени…

  2. Галина Исаева Ответить 01 Март, 2012 в 7:15

    Прокатилась волна статей по инету про файл robots.txt. Но я не могу найти никак ответ про файл Sitemap. Почему-то при проверке пишет яндекс: не правильный url. Уже третий раз меняю, и с www и без… И чужие прописки посмотрела. Как правильно? По ссылке при переходе всё открывается, всё индексируется.

    • Возможно это глюк Яши. Смотрел как-то урок Андрея Камбулова по robots.txt. Так там у него тоже при проверке выдавало ошибку, хотя он несколько раз все проверял. А в Гугле было все нормально.
      Но обратите внимание на свой robots.txt. Вот эта строчка случаем не лишняя:
      Allow:/http://www.stopmig.ru/sitemap.xml

      • Галина Исаева Ответить 01 Март, 2012 в 17:44

        Allow:/http://www.stopmig.ru/sitemap.xml. Вот такое решение нашла самостоятельно. Не знаю правильно или нет, но ошибка исчезла… пусть пока так и будет, понаблюдаю.

        • Странно, а я подумал, что наоборот, ошибка в этом. Это кто-то посоветовал или Вы сами придумали?
          Эта строка говорит поисковику – индексировать эту страницу. Но по правилам после Allow: должен быть пробел, все адреса в robots.txt должны начинаться с третьего слеша, т.е. без http:// и имени домена. Ну и основной домен у Вас вроде без www.

          • Галина Исаева 01 Март, 2012 в 18:14

            Да я всё перепробовала…без www? без http. Без / как ошибку записи выдал… А так съел. Где-то в правилах самого Яши вычитала, что www всё ещё ставить надо. Вообщем посмотрю, проверю ещё. Я до всего сама докапываюсь, если ответ в инете не нахожу. Иногда делаю противоречивое распространённым советам, а работает.
            Какая у вас форма комментов странная, никак не сохраняет данные.

  3. Добрый день, Олег!
    У меня были эти вопросы. После того, как установила рекомендуемый плагин Cyr-To-Lat вместо RusToLat, ситуация исправилась и все страницы присутствуют в выдаче. И даже все статьи разрешены к индексации. Но Яша все-равно не хочет полюбить мой блог. Ну хоть с Гуглом отношения складываются помаленьку:)

  4. А у меня сайт в Яндексе то одна главная страница, то 4, то 2, то снова 4. Больше 4 никак пока не идет. Тему недавно сменил, посмотрю, может что изменится. И ЧПУ настроены, как надо и файл роботс от Стартапа поменял уже с первого варианта на второй.

    • Тут совсем не понятно. Сайт хороший и полезный, Гугл это оценил.
      Возможно просто у домена ранее были проблемы с Яндексом. Судя по всему на нем был варезный сайт на DLE. Почему домен был освобожден? Может в этом и причина. Вы не обращались в поддержку Яндекса?
      Просто у меня похожая история, только намного серьезнее. Сайту больше года, а в индексе никогда не было даже одной страницы. Тоже домен имел ранее владельца. Буду со временем переносить на другой домен.
      На Вашем месте я бы пока отключил Popup Domination. Яндекс не очень любит подобные штучки. И не использовал в статьях столько выделений тегом strong. Это тег акцентирования, ним лучше выделять только ключевые слова и то не часто. Остальные фразы лучше выделять по другому, например, цветом.
      Попробуйте написать статью вообще без выделений и посмотрите, попадет ли она в индекс.

  5. Домен я новый регистрировал. А как Вы определили, что он уже существовал (что-то не задавался этим вопросом)?. В Яндекс писал еще в августе, прислали ответ на полстраницы, и суть в том, что дали пару ссылок: http: //help.yandex.ru/webmaster/?id=995342
    http: //webmaster.ya.ru/replies.xml?item_no=325&ncrnd=2022
    и сказали, чтобы ориентировался на эти советы и цитирую: “Со временем, если сайт по совокупности факторов станет достаточно качественным, количество страниц в поиске может увеличиться”.

    Popup Domination поставил только неделю-полторы назад. Но, за совет спасибо, скорее всего отключу, так как не вижу, чтобы он сильно лучше собирал подписчиков.

    На счет тегов, даже не думал, спасибо, обязательно попробую без них.

    Менять домен очень не хочется -:)

    • Домен менять и не надо. Это я буду делать, так как у сайта вообще 0 страниц в индексе, а ему более года.
      Я тоже новый регистрировал, но раньше он уже принадлежал кому-то и, видимо, попал под бан. Оттого и освободился. Всегда подозрительно, когда бывшие в употреблении домены освобождаются. Причины могут быть разными. Проверить это просто. Или на сервисах по анализу сайтов или в расширениях к браузеру. Конкретно Ваш домен засветился в апреле 2009 года.

  6. Олег, я послала Вам письмо на почту, но видимо не получили. Скажите по моему сайту, пожалуйста. 5 страниц – и дальше стоит. Около 3 месяцев назад все страницы выпали из индекса. Это случилось за несколько дней до установки робокса, и все внешние ссылки на тот момент были закрыты. И ЧПУ ссылок были с самого начала ведения блога правильные. Гугл индексирует отлично. Что может быть?

  7. Пока полет нормальный. Все проверила.

  8. Вот и у меня на новом сайте все страницы в ноябре выпали из индекса. Сейчас в индексе Яндекса только 5 страниц. Все делала точно так же, как на первом сайте, где нет никаких проблем с индексацией.
    Подозреваю, что дело еще и в том, что писала я на сайт лишь от случая к случаю, бывали очень большие перерывы. Видимо из-за такой нерегулярности и появилась проблема.
    Сейчас сменила шаблон, начала писать ежедневно, надеюсь все наладится со временем.

    • Это тоже не правильно. Ведь есть же сайты на которых информация практически не обновляется и с индексацией нет проблем.
      Действительно странно, сайты похожие, а отношение к ним разное.

  9. Олег, у меня появился вопрос по новому robots.txt, который предлагают сейчас в нашей школе. Меня смутили две строчки: Disallow: */comments
    Disallow: /category/*/*
    Означает ли это, что теперь комментарии и страницы рубрик не будут индексироваться?
    На моем первом сайте несколько статей оказались в ТОПе как раз благодаря комментариям (по некоторым фразам из комментариев).
    Поэтому я пока и не спешу менять мой robots.txt. Или я не правильно поняла?

    • Я немного подредактировал старый файл, но эти строчки удалил. Сегодня написал статью по этому поводу, завтра опубликую. У меня категории всегда были открыты, а комменты тоже полезны.

  10. Александр Бобрин Ответить 07 Март, 2012 в 4:54

    Я менял ЧПУ уже после индексации блога, ничего страшного не случилось. Блогу на тот момент был примерно месяц. Случайно запретил индексацию целой категории вместе со статьями в ней, после исправления ошибки все статьи вернулись в индекс и заняли нормальные позиции. Есть блоги, которые почему то не индексируются, вот пример: http: //odinochestvunet.ru/. Олег, не подскажешь что там может быть?
    Про Disallow: */comments
    и
    Disallow: /category/*/*
    немного не понятно, чем же они полезны? У меня закрыты и категории и комменты!

    • Категории изначально не закрывал, послушал КтоНаНовенького. У меня по некоторым запросам в выдаче страницы категорий выше ранжируются. Я пишу короткие анонсы, а некоторые вообще оформляю с помощью поля “Цитата”. Так что дублей быть не может.
      По поводу комментариев, тоже иногда по запросам попадают в выдачу страницы со сниппетом из релевантного текса комментария. Самих страниц комментариев (дублей) в выдаче нет, поэтому решил пока не трогать. Тем более, что комментарии, это постоянное обновление страницы.

  11. Александр Бобрин Ответить 07 Март, 2012 в 22:32

    Disallow: */comments не закрывает комментарии на странице, они отлично индексируются.

  12. Ольга Шантина Ответить 08 Март, 2012 в 4:28

    В общем-то директива правильная, она запрещает индексировать дубли при настройке ЧПУ. В друпале эта ситуация иногда боком выходит.

  13. Александр Ризун Ответить 09 Март, 2012 в 13:31

    Спасибо! Очень интересная статья. Узнал про фильтры Яндекса, очень актуальная тема для любого вебмастера. Заинтересовала аббревиатура, неужели она действительно взята из названия гранатомета? Словом, то, что АГС – это почти бан, понятно, одна главная страница видна. Чтобы не было АГС, нужно делать СДЛ, сайты для людей – это работа на перспективу.

  14. Такая же проблема была. Полгода только морда висела. Что только не делал. В конце концов, написал Платону, мол люди, имейте совесть. Пришел ответ – уже все в порядке, в течении пары дней будет проиндексирован. И действительно – прошла пара дней и весь сайт влетел в индекс.
    Если Вы считаете, что у Вас все нормально, не бойтесь писать в техподдержку.

  15. Олег, я тоже учусь на курсе “500-100″.
    Помогите мне, пожалуйста, разобраться с проблемой. Моему сайту месяц, все время в Яндексе только главная страница. Проблема не в robots, проверила – страницы все разрешены.
    Что это может быть? Текст уникальный на 90-100%, только картинки не уникальные, но с другими названиями. Что делать? Руки опускаются ((

    • Наталья, сайту всего месяц, это нормально. На сайт очень мало ссылок. Отправляйте сами в Твиттер, в Вконтакте, в Фейсбук. Зарегистрируйтесь в нескольких соц.закладках, например, Бобрдобр и т.д. Отправляйте анонсы туда и обязательно в Закладки Яндекса.
      Также добавьте сайт в Яндекс Вебмастер.

  16. У меня тоже подобная проблема с индексацией Яндексом. Не знаю, в чем дело. Наверное, попала под фильтр. Хотя до 126 страницы индексация шла хорошо, но потом резко упала до 2-х страниц.

  17. А вот что делать, когда в индексе 0 страниц?! У меня у знакомой сайт никак индексироваться не хочет… И сама пишет статьи, и никакой особо рекламы, и шаблон премиум… Правда, в файле роботс.тхт были небольшие проблемы… Там почему-то всего 4 строчки было прописано. Может, и это повлияло, сейчас исправили, ждём…

    • Сложно сказать. Может и в robots.txt были причины, а может и в чем-то другом. Тут, по-моему, даже сам Яндекс четкого ответа не даст. Бывает, что регистрируют новый домен, а он уже был в употреблении и мог иметь плохую историю.

  18. У меня тоже сайт в выдаче Яндекса то одна главная страница, то 4, то 2, то 3 И ЧПУ настроены, как надо и файл роботс от Стартапа поменял уже с первого варианта на второй.
    Глянь, Олег, на мой сайт. Что посоветуешь? Я уже не знаю что делать.

  19. Если сайт новый, то может сначала появится главная страница в выдаче, а потом до 2-х недель без изменения (при том что бот будет индексировать все это время Ваш ресурс)

  20. Какой у Вас сайт полезный!
    Всегда что-нибудь интересное находишь!

  21. Причин “нелюбви” Яши к сайту может быть много, от:
    – Яндекс начал индексировать сайт, когда он был УЖЕ размещен но ЕЩЕ не доделан (пустые ссылки, пустой контент… ветер в поле)
    – Сайт гавно. АГС в помощь.
    Решение:
    – Работайте над сайтом. Уникальность контента. Оптимизация содержимого и кода. Никаких говноссылок на ваш сайт. Сами старайтесь обходиться без рекламы на своем сайте. В принципе все как обычно.

    Хм… Микростатья получилась.

    • Спасибо за микростатью. Тут я основное внимание заострил на невнимательности начинающих вебмастеров, когда сами запрещают индексацию страниц. Но, в целом, все Ваши советы актуальны.

  22. Вы в одном комменте упомянули использование поля “Цитата”. А можно поподробнее?

    • В редакторе WordPress есть возможность написать уникальный текст в поле “Цитата”, который будет выводиться в виде анонса статьи на главной. Таким образом анонс не будет повторять начало статьи и не будет дубля.

  23. Ах ты ж, вот оно как! То есть, это вместо того, чтобы вставлять тег “more”?

  24. Поставила Robot.txt от старт апа. При проверке в яндексВеб мастер выдается только 4 строки:
    User-agent: *
    Disallow: /wp-admin/
    Disallow: /wp-includes/

    Sitemap: http:// dela-v-dome.ru/sitemap.xml.gz

    Существующие УРЛ проверяются хорошо.
    Вбила в поиск яндекса слова из статьи, в выдаче на первом месте ссылка на мой сайт, но не на запись, а так: dela-v-dome.ru>?author=1
    Открываю – там главная страница.

    Кто что скажет?

    • Видимо были какие-то глюки. Я проверил, robots.txt нормальный и в поиске выдает нормальные адреса.

  25. Спасибо вам большое. Действительно помогли.

  26. Олег, здравствуйте!
    У меня такая проблема.. Больше месяца назад сайт пропал из выдачи Яндекса. Осталось всего 3 страницы (главная и 2 статьи). Около недели назад в выдачу добавились еще рубрики – теперь всего 9 страниц.
    Причин для АГС нет (я так думаю).
    Проверила robots.txt, и у меня там всего 4 строки…. выше уже писали о такой проблеме…

    Куда же делись остальные? И может причина в этом?
    Спасибо заранее!

    • У вас с самого начала такой robots? В принципе из-за него ничего быть не может. Я бывает тоже использую такой вариант. Вы лучше займитесь наращиванием ссылочной массы (ссылки с соц.сетей, комментариев, закладок, профилей трастовых сайтов и т.д.). Всего несколько обратных ссылок с комментариев – это оченьhttps://blogibiznes.ru/wp-admin/edit-comments.php?comment_status=moderated#comments-form мало.

  27. Олег, снова здравствуйте!
    Прошло уже более двух месяцев с того момента, как я попала под АГС.
    И, похоже, я разобралась в чем дело…
    В файловой директории вместо robots.txt, файл был назван robot.txt… Моя большая ошибка. Оттуда дубли страниц и прочий мусор в выдаче.
    Наверное, это и стало причиной бана Яндексом. Но тогда получается, что для Гугла это не имеет значения?
    И еще вопрос.. Ошибку я исправила. Как скоро новый robots.txt вступит в силу, из выдачи уйдут рубрики с дублями страниц и Яндекс снова начнет меня индексировать?
    Заранее спасибо!

    • Ошибка в названии не обязательно могла быть причиной АГС. У меня, например, недавно сайт попал под АГС, где все правильно сделано. Многие сайты прекрасно себя чувствуют вообще без этого файла. А вот дубли вполне могли повлиять. Гугл индексирует даже то, что запрещено, просто помещает это в дополнительный индекс. Полная переиндексация может длиться несколько месяцев. Сейчас смотрю у Вас 3 страницы в индексе, если до этого была одна, то можно предположить, что дело пошло.

  28. Юрий Антоневич Ответить 22 Апр, 2013 в 9:09

    Сайт существует полтора года, в первые полгода Яша проиндексировал главную и все. Менял шаблоны, менял robots, Веб-мастер показывает, что все к индексации разрешено, но воз и ныне там. Google все обрабатывает вовремя, даже недавно PR 1 присвоил, а Яндекс – ни в какую. Даже руки опускаются.

    • С 2009 по 2010 год на Вашем домене находился другой сайт, где пользователи могли бесплатно размещать объявления и рекламу. Вполне вероятно, что сайт попал под фильтр, а Вы пожинаете плоды старого владельца. У меня тоже есть похожий сайт, ему уже больше 2 лет, но я ним давно не занимаюсь и планирую перенести на новый домен. Могу посоветовать Вам тоже самое, но для начала советую написать в тех.поддержку Яндекса и спросить, почему сайт не индексируется. Скажите, что Вы новый владелец и, если санкции были применены к домену в прошлом, то Вы тут ни при чем.

  29. Была такая же ошибка с ссылками чпу, яндекс проиндексировал только 1 страницу моего сайта. Я изменил ссылки чпу на английские слова с помощью плагина, в проверке пишет типа разрешено, а вот страниц в поиске я не вижу, все равно он их не проиндексировал. Что делать или еще нужно ждать?

  30. Извините, если обращаюсь к вам не по теме, но я столкнулась с такой проблемой, мой сайт не хочет индексировать Гугл. Я добавляла страницы сайта в аддурилку Гугла и Яндеса. Гугл сначала индексирует, а на следующий день их выбрасывает полностью. Что касается Яндекса, то техподдержка сказала, ждать 2 недели. А что с Гуглом не так, не пойму?
    Может быть вы мне подскажите? Может поможете мне советом? Спасибо.

    • А какой возраст сайта? Google проиндексировал 19 страниц (2 в основном индексе), Яндекс 0.
      Если Вы всерьез планируете заниматься сайтом, то советую перейти на платный хостинг и сменить движок. По uCoz я Вам ничего не подскажу, там свои заморочки. Насколько знаю для новых сайтов был карантин на индексацию.

  31. Вот у меня в данный момент похожая история. Роботом загружены все страницы, а в индексе только главная. Домен был зарегистрирован ранее. Значит ли это, что с прежним хозяином он попал под АГС? Попробую написать в поддержку Яндекса, может поможет. Отпишусь обязательно о результатах.

    • Вполне вероятно, что могут быть “старые” проблемы. Вообще подозрительно, что такой звучный домен освободился. Ранее на нем был сайт такой же тематики, что и не удивительно. Надо в любом случае писать Платонам и объяснить, что Вы новый владелец домена и создаете сайт с нуля, поэтому, если были проблемы ранее, то Вы не имеете к ним отношения. Должны снять фильтр, если в остальном им все понравится.

  32. Все Ваши советы проверил, все в порядке, а сайт _http://fetisher.ru только одна страничка в индексе. Подскажите, что делать.

    • Ну, если честно, то я с Яндексом согласен. Сайт никак не тянет на СДЛ, без обид. Ошибок море. Так, навскидку:
      robots.txt написан в одну строку;
      нет ни одной карты сайта;
      нет страниц “О сайте”, “Контакты” и т.п.;
      непонятные соц.кнопки, ведущие на иностранные сервисы;
      мета-теги не прописаны;
      статьи однообразные, не отформатированы (подзаголовки, списки, цитаты, таблицы, теги акцентирования) и не оптимизированы;
      мало картинок и нет видео;
      перелинковкой и не пахнет;
      внешних ссылок, в том числе с соц.сетей, тоже нет;
      шаблон не привлекательный и неинформативный.

      Уникальность текстов не проверял, надеюсь там все в порядке? В общем, первое впечатление – в лучшем случае, сайт сделан для продажи ссылок в Блогуне. Яндекс сейчас мегапушистые и оптимизированные сайты с трафиком под тысячу человек в сутки может легко под фильтр кинуть, а тут молодой сайт. Яша скажет, делайте сайт для людей, развивайте его и тогда он начнет индексироваться.

  33. Здравствуйте. Как я понял Disallow запрещающея директива. Тогда подскажите, если после анализа robots.txt у меня выдает вот это

    1-14 User-agent: Yandex
    Disallow: /cgi-bin

    Host: www. health-encyclopedia.ru

    30-30 Sitemap: http: //health-encyclopedia.ru/sitemap.xml

    то получается, что у меня все страницы закрыты?

    • Это значит, что Яндекс видит все 14 строк директив и 30 строку с Sitemap, хотя самой xml карты я что-то не наблюдаю. Все страницы у Вас открыты. Это можно узнать, прописав нужные адреса и нажав кнопку “Проверить”. Я бы, наоборот, кое-что еще закрыл, например, страницы архивов.

      • Тогда я не понимаю, почему в поиске яндекса только главная страница? Может быть что в карте xml дело?

        • Карта, конечно, помогает в индексации, но не в такой степени. У Вас с самого начала была 1 страница или они потом выпали? Тут надо поинтересоваться у Платонов, почему сайт не индексируется. И самому ответить на вопрос, достоин ли сайт присутствовать в поиске, несет ли он пользу людям? Возможно это АГС 40, сейчас многие сайты попали под раздачу, даже внешне вполне хорошие.

          • Да, выпали они потом. По поводу сайта, то он будет дорабатыватся. АГС 40? Тогда за что? Ссылок ведь я не продаю! И вообще странно, гугл ПР 1 дал, а Яндекс с поиска выкинул. Этот Яндекс не понять, что ему от меня надо?! Как выйти из под фильтров даже не знаю.

          • Сейчас мало не продавать ссылки и писать уникальный с технической стороны контент. Контент должен быть уникальным по сути, а сайт должен нести добавочную ценность. Вот почитай _http://optimizatorsha.ru/yandex/ags-40, станет понятнее.

  34. Спасибо! Действительно спасибо. За разъяснение и ссылку оптимизаторши.

    • Фильтры Яндекса – это не всегда поддается логике вебмастера. У меня был сайт под АГС, через 2 месяца вышел, при том, что я никаких изменений не делал. А бывает, что вебмастера прилагают супер усилия – переписывают контент, удаляют ссылки, меняют дизайн и т.д. – а толку ноль. Но в любом случае, сайт, как минимум, должен нравиться себе самому. Поставьте себя на место посетителя и спросите: хочу ли я здесь задержаться, есть ли тут что-то полезное для меня?

  35. Спасибо, помогло.

  36. День добрый! У меня сейчас на новом сайте, такая же ситуация. Гугл индексирует без вопросов. В Яндексе только главная, сайту месяц и может это нормально. Но терзают меня два момента, история домена и txt. Его я сам составлял, подозреваю накосячил )
    P.S. Спасибо за статью !

    • Для молодого сайта это нормально. Если речь о том ресурсе, что в подписи, то там уже 3 страницы в индексе Яндекса. Оставляя комментарии на блогах, пишите адрес своего сайта без www, как указано основное зеркало. В robots.txt оставьте только одну директиву Sitemap. Директивы для каждого робота отделяйте пробелом.
      Советую убрать из футера открытые ссылки на хостинг, Вордпресс и автора шаблона.

Добавить комментарий