Как избавиться от дублей replytocom и прочего мусора в WordPress
30 Июнь, 2014 
Комментариев 56
Здравствуйте, дорогие друзья и читатели blogibiznes.ru! Сегодня на блоге Александра Борисова опубликована статья, обязательная к прочтению всеми, кто ведет блог на WordPress. Особенно, если у вас трафик с Google значительно ниже, чем с Яндекс. Речь идет о борьбе с дублями, в частности, со ссылками, имеющими параметр replytocom. Напомню, что это настоящий бич всех, у кого на блоге есть древовидные комментарии. Ну, может не всех, но процентов 95 точно.
Конечно, статья там написана не просто так, а как прелюдия к релизу нового курса “Как стать блоггером тысячником 3.0″. Но там и так уже достаточно ценной информации, даже без самого курса. Советую почитать, не пожалеете. Ссылку дам в конце поста, а пока расскажу о своих впечатлениях, курс я уже посмотрел.
Поражаюсь, насколько несколько ошибок могут подкосить развитие блога. Причем, их и за ошибки то никто не считает, а, наоборот, везде пишут, что именно так и надо делать. И 90% именно так и делают.
Ну вот скажите, у вас в robots.txt для WordPress есть такие строчки Disallow: /*?* и Disallow: /*?, что в общем-то одно и то же? И у меня были. А оказывается их там быть не должно. Кто-то один, еще до того, как я пришел в блоггинг, написал, что это закон и все повторяют, не усомнившись в правильности. И я такой же, каюсь. Ну а что, вроде бы все логично и верно, но ПС реагируют на это неадекватно. Ты вроде бы что-то роботу запрещаешь, говоришь “сюда не ходи”, а он делает все наоборот. Ну, как ребенок.
Повезло тем, кто только начинает создавать блог. У них есть шанс все сразу сделать правильно и не получить санкций, прежде всего, от Google. Для этого надо просто внимательно посмотреть курс и выполнить все, как там показано. Сам я ранее уже начал подобные исправления, правда пока не на этом блоге, и могу сказать, что это работает. Медленно идут изменения, но они есть и в лучшую сторону.
Ранее предполагал, что проблемы с Гуглом связаны именно с технической стороной, а не с оптимизацией под поисковые запросы. Я даже точно знал в чем эти проблемы, но не догадывался, что их так просто можно устранить, а потому все откладывал решение вопроса. Будь я повнимательнее, вовремя заметив одну строчку кода, никакой бы проблемы с replytocom у меня вообще бы не было. А так все борются с replytocom, проводят эксперименты — запреты, коды, редиректы, плагины, отключают вообще древовидные комментарии, а надо всего лишь было удалить две запрещающих директивы из “стандартного” robots.txt.
Еще очень ценная информация, как закрыть ссылки комментаторов, не удаляя их и не используя редирект. То же самое с микроразметкой. Несколько раз пытался изучить эту тему, но так толком ничего и не понял. А тут настроил за несколько минут.
Раздел про ссылочный профиль меня интересовал в меньшей степени, но и там есть много полезной информации. В заключении дан чек-лист, что надо сделать, чтобы навести порядок на блоге и контролировать его продвижение в поисковиках.
У меня есть все три курса “Как стать блоггером тысячником”, но третью часть я считаю самой полезной и обязательной к изучению, как новичками, так и опытными блоггерами.
Не агитирую покупать, но советую. В любом случае прочитайте на блоге Александра Борисова эту статью. Там уже дано правильное решение проблемы replytocom. Исправьте ошибки, если они есть, и Google точно вознаградит за это.
Кто захочет приобрести новый курс Борисова, поторопитесь, пока действуют скидки. Подробное описание курса в этой статье http://isif-life.ru/news/kak-stat-bloggerom-tysyachnikom-3-0-start.html.
Понравилась статья? Нажимай на кнопки:
Тааак, спасибо за науку – пойдем читать!
У вас такой проблемы нет, но почитать все равно можно.
Да, вот и у меня неприятность с блогом была… вот так – стараешься, и все в дым.
Ну ты обзоры отлично чеплыжишь. Однако, что все беды в гугле от replytocom я сильно сомневаюсь. Хотя для поклонников А.Борисова инфа, видимо, в самый раз)
Надеюсь, ты не будешь спорить, что replytocom – это зло. Не зря же ты отключил древовидные комментарии
. У меня их куча, а оказывается могло вообще не быть и делов то, надо было просто убрать запрет в robots.txt. Теперь надо удалять те, что наплодились и в курсе хорошая инфа по этой теме. Да и ссылки комментаторов полезно закрыть, оставив их активными. Думаю, инфа для многих полезная.
Я древовидные никогда и не включал. Проблема то известная. На счёт роботса, Гугл не всегда на него внимание обращает. Ссылки с комментариев вообще лучше удалять, мне кажется, как и все остальные ссылки на блоге.
Можно и так, но все-таки древовидные комменты удобнее и многие их удаляют только из-за дублей. А ссылки, да, лучше удалять на сайтах, но на блогах все же часто интересна личность комментатора и хочется перейти посмотреть, кто это такой.
Ну может быть. Ты человек прошаренный, тебе виднее)
Да ладно
.
По мне, главное стараться удалять все эти дубли на самом блоге, а не в роботсе. Тогда уже на 100 % можно быть уверенным, что ПС не доберутся до ненужных страниц блога.
В курсе есть способ, как предотвратить создание дублей. Тогда robots можно и не трогать. Но даже, если ничего не делать, то удаление запретов тоже решает эту проблему.
Я вчера прочла статью Борисова. Написано вроде очень понятно, но не мой уровень подготовишки – я так и не сумела выяснить, есть ли у меня эти проблемы. И исправлять Роботс тоже не ясно как.
У Вас дублей нет, так как нет древовидных комментариев. Можно ничего не менять.
Однако, в роботс как раз два загадочных вопросительных знака присутствуют (мне роботс настраивал фрилансер), а Сеолиб говорит, что похоже контент неуникальный и дублированный – видать где-то происходит это дублирование и без древовидности.
Это могут просто статьи воровать, отсюда не уникальность.
Олег, подскажите, в файле robots.txt достаточно лишь удалить строчки Disallow: /*?* и Disallow: /*?. Больше никаких изменений вносить не надо?
Да, в файле больше изменений не надо. Потом только надо удалить дубли из индекса. У Вас их всего около 30, так что можно особо не волноваться.
Да, интересный вопрос поднят Александром! Вчера я был у него и прочел эту статью. Кстати, у меня дублей было почти 60000! Представляете?! Ну да ладно, у меня другой вопрос. Олег, скажи пожалуйста, а обязательно надо установить тот плагин о котором говорится в статья Александра на сайт, если все остальные советы уже выполнены? И второй вопрос, как ты относишься к плагину CommentLuv? Чтот мне кажется пора его убрать со своего сайта. Что подскажешь, а? Заранее благодарю за ответ!
Если ты сделал вывод кнопки “Ответить” скриптом, то плагин не нужен и наоборот.
CommentLuv я бы убрал, это те же внешние ссылки, которых чем меньше, тем лучше.
Уже второй день перечитываю статью и смотрю видео Борисова. Над дублями задумалась давно. Непонятно, как их удалить из индекса? И обязательно вносить в файл htaccess эти 2 строчки? О дублях знаю давно, предпринимала меры и раньше. У меня древовидные комментарии отключены вроде бы были всегда, но дубли все-таки есть.
Удалить можно или сделав 301 редирект, или вывести 404 ошибку. Вернее, в этом случае Гугл постепенно будет их переиндексировать и исключать из индекса.
Если древовидные комментарии отключены, то, видимо, они стояли раньше и успели наплодить страниц с replytocom. Но дубли могут быть не только из-за комментариев.
А у меня есть проблемы на блоге?
Тебе виднее.
Привет. Поддерживаю Антона, что проблемы с Гуглом кроются далеко не в дублях реплитоком.
Я их еще год назад удалил не удаляя две строчки в файле роботс, достаточно сделать 301 редирект. Но трафик, так ко мне и не вернулся.
Так причин может быть много. Вряд ли это только дубли, но они в том числе. А так еще ссылочный профиль и копии на других ресурсах могут сильно повлиять. Про переоптимизацию я уже молчу, сейчас уже реже встречаются переспам и строги
.
Да, знаю, что у многих большие проблемы с репликонами. Но меня эти проблемы как-то обошли стороной. Уж не помню что же я такого сделал, но нет этих дублей в индексе.
А вот по поводу Дисэлоу *? и *?* мне не ясно, почему это они лишние?
А вообще, учение свет – а неученье тьма! Это да )
Лишние, так как запрещают в robots индексацию страниц с replytocom. А этого делать нельзя, иначе поисковый бот не будет выполнять строгий запрет, прописанный в самом коде страницы-дубля (meta name=’robots’ content=’noindex,follow’). Если эти запреты сильно нужны, то тогда надо для replytocom отдельно прописать Allow: *?replytocom.
Дубли опасная вещь! К сожалению, не всегда новички о них знают и уделяют достаточное внимание.
Олег, я смотрю, ты еще древовидные комментарии не отключил. Чем собираешься пользоваться? Плагином или скриптом?
Подскажи, что лучше сделать редирект или ошибку 404 для страниц с дублями? И если этого не сделать, а только изменить роботс.тхт и не делать в дальнейшем дублей, старые все равно с выдачи уйдут?
Кнопку “Ответить” выведу скриптом, хотя, по идее, новые дубли не будут образовываться при правильном robots.txt. Чтобы удалить старые, лучше ставить редирект. Может и без него уйдут, но это займет больше времени.
Олег, а если по ссылке site:ваш_сайт.ру replytocom не показывает дубли,тогда где их посмотреть?
Нигде, значит их нет.
Сделал все по курсу! Жду увеличения посещаемости!
Олег, я что-то не совсем понял, как связаны дубли репликом и Disallow: /*?* и Disallow: /*? в роботсе?
У меня в роботсе блога этих правил нет. Хочешь сказать, что если сейчас врублю древовидные никакого дубляжа из-за этого не будет?
Не будет, но лучше перестраховаться и вывести дополнительно кнопки “Ответить” скриптом.
Не знаю, почему раньше не замечал, может этого пару лет назад в движке не было, но сейчас в коде страницы с replytocom выводится строгий запрет на индексацию в мета роботс. В таком случае, строчки в robots.txt мешают ботам зайти на страницу и увидеть реальный запрет.
Теперь понятно. Однако я не буду включать. Чем меньше комментариев, тем лучше. Наблюдаю за несколькими блогами, комменты открыты, но никто не комментирует, а трафика получают в разы больше, чем остальные.
Слушай, Олег, тебе не пора своего тысячника бадяжить? Сам знаешь доход совсем другой попрёт, как у Саши б. Вложиться немного придётся, но куда без этого. Ты человек башковитый у тебя получится.
Не получится, не умею я в микрофон красиво говорить, а писать 100500 страниц текста, типа мануала, мне лень.
Всё получится. Я тебе помогу) всё лучше, чем на сайтах копейки петрушить xD =)
Чем поможешь?
Ну может в микрофон квакнуть, да и вообще)
Так а я зачем? Можешь тогда свой курс наквакать
Например, открываешь мануал Камчеса и диктуешь на микрофон – на выходе аудиокурс. Добавил пару скриншотов – видеокурс. Можно так с любой книгой сделать, потом хороший продажник состряпать и на Глопарт. А там глядишь – ты уже инфобизнесмен и фотки с островов…
Думаю не получится. Сам знаешь я существо ленивое. Хотел вот спросить ещё, какой сайт ты фидсайтом под агску подвёл? Что за сайт то прогнял?
Вот и у меня поэтому не получится.
Сайт все тот же, марафонский. В самом начале это было, прошлой весной. Тогда целыми пачками сайты под фильтр попадали. Не факт, что виноват прогон, хотя других видимых причин не было, но у Яши свое видение качественных сайтов.
А если старый сайт петушнуть думаешь не будет фильтров?
Тут все зависит от ссылочного профиля. Если там полно ссылок и они регулярно появляются, то один прогон вряд как-то изменит картину. Другое дело, какое там качество ссылок в профилях. Если Гугл сейчас и нормальные ссылки со статей считает за продажные, то гарантий от Пингвина нет никаких. Яндекс думаю схавает.
Не знаю, как насчёт честности отзыва, но кроме ссылочного профиля там нет ничего особо ценного.
По внедрению разметки schema.org я вообще долго смеялась. “Эм..ц..Ну вообщем вставляем это тут, но… эм…ц… комментарии я фиг знает как вставлять, поэтому обратитесь к фрилансеру, вот его контакты.”
А вообще убивает то, что он лепечет что-то типа: “Моя цель не научить вас делать это, а показать, что нужно делать”. Так и хочется сказать: “Я заплатила за этот курс почти 3,5 куска, какого ты не можешь меня научить! Мне твоя мотивация на фиг не нужна! Мне результат нужен!!!”.
Короче цена завышена раза, этак, в 4.
Единственное на что он не жалеет сил и денег, дак это на оформление своих курсов и лендингов. Ведь главное привлечь покупателя-лоха.
А большинство смотрят ему в рот и говорят: “О Александр, наш учитель! Спасибо за превосходнейший курс! Это было великолепно! “Нагрей” меня ещё на 4 куска!”.
Противно читать его рекламные тексты! “Это будет просто вынос мозга!!!”. Какой на фиг вынос мозга? Мозги выносит его постоянное “цоканье” в видеозаписях и повадки настоящего “еврея”, т.к. цены за такую фигню он запрашивает нереальные.
Лучше покупайте люди книгу Михаила Шакина “SEO-винчестер”! Этот человек настоящий профи! В этой книге описано всё!!! ВСЁЁЁЁЁЁ! И даже больше. Без всяких голимых обещаний и завышенной самооценки. Профессионал, есть профессионал. Без всякой воды. Всё по делу. Эту книгу можно и в переплёте продавать! Она реально просто клад!
И не надо будет отдавать 3 тысячи 
Кстати скачать её можно бесплатно, для тех, кто понимает о чём я
Короче, друзья, призываю к вашему благоразумию! Этот курс не стоит того! Я купила и пожалела 1000 раз! Отдала деньги самовлюблённому эгоисту, которому по большому счёту плевать на своих подписчиков. Он просто делает деньги на лохах.
А меня как раз больше борьба с дублями и скрытие ссылок интересовали, чем ссылочный профиль. И информация для меня оказалась полезной. Все, что было заявлено, в курсе есть. Уважаю Шакина, но и о его книге читал не лестные отзывы. Сколько людей столько и мнений. А покупать насильно никто не заставляет, тем более в интернете, для тех, кто понимает о чём я
Проблема действительно есть. Я ее раньше не замечал, пока не просканировал сайт с помощью NetSpeak Spider, а сейчас удачно попал на эту статью и статью А.Борисова (в закладки).
Доброй ночи! У меня маленький вопросик, вижу что вы ссылку replytocom из “Ответить” убрали, какая была мотивация? У меня дубли ушли и без этого, но где-то прочитал, что на эти replytocom уходит вес страницы, так ли это и если да, то тогда действительно лучше скриптом сделать “Ответить”? Спасибо.
Вес страницы делится на все исходящие ссылки. Следовательно, чем их больше, тем меньше веса отдается по нужным ссылкам. Поэтому и убрал. Да и ведут они на мусорные страницы. Луччше чтобы таких ссылок вообще не было.
Подскажите, пожалуйста. А с помощью чего сейчас у вас реализованы комментарии без replytocom? Какой-то плагин?
Нет, все реализовано с помощью кода из курса Борисова.
А никто не пробовал в robots.txt к самому Борисову заглянуть?
User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /feed/
Disallow: */feed
Disallow: */trackback
Disallow: */comments
Disallow: /*?
Disallow: /*?*
Disallow: /tag
УДАЛЯЙТЕ К ЧЕРТОВОЙ БАБУШКЕ! – пишет он про Disallow: /*?
Disallow: /*?*
И у него только для Яндекса правила, для Гугла вообще ничего нет. Похоже или мы все дураки, или он один…
А у самого стоит все это. Мутный он какой-то, такое ощущение, что сам мало понимает, о чем пишет.
Времена меняются, сейчас он, видимо, в Школе блоггеров по другому учит.
Для Яндекса это можно не удалять, он реплитокомы не плодит. Это для Гугла нельзя ставить запрет на *?*. А раз для других роботов никаких запретов нет, то и удалять нечего.
Гугл, кстати, сейчас за то, чтобы открыть все, что мешает отображению контента. У Борисова для него все открыто, так что может в этом и есть смысл. Хотя я бы запретил страницы, которые не предназначены для просмотра пользователями.
Все может, но посмотрел топовые блоги с десятками тысяч в день, у них все по старинке и все пыхтит!
Если в выдаче мусора нет, то все нормально и можно в robots ничего не трогать. К тому же запреты можно не только через файл, но и через мета прописывать.