Предположим у вас есть сайт, забитый уникальным контентом, на котором проведена SEO оптимизация и сидите вы, потирая ладошки в ожидании, когда же ваше детище начнет посещаться поисковым роботом, индексироваться и приносить заветный трафик. Идет время, а результат ваших стараний не особо-то и виден. В чем же дело? Возможно, что-то все же было упущено из виду, что-то да забылось в погоне за ништяками. Предположим, что сайт по-прежнему уникальный и оптимизаторы из вас хоть куда. Тогда нужно разбираться, почему поисковик так неохотно вас посещает и по какой причине все происходит так медленно.
Каждый web-проект должен иметь два важных, а может и основных файла: это роботс (robots.txt) и карта сайта (). Если какой-то из них отсутствует или неверно заполнен, велика вероятность, что ресурс не даст того результата, на который вы рассчитывали. Ведь у поисковых ботов есть заданные ограничения как по времени нахождения на ресурсе, так и по количеству документов, которые они могут проверить и занести в базу. А это все к тому, что если вами не были заданы пути перемещения для поискового робота, то он может добраться до контента очень нескоро, перед этим побродив в файлах движка.
Чтобы избежать подобной неразберихи, в файле роботс мы говорим, на что ботам не стоит тратить время, а с помощью карты сайта, наоборот, подсказываем куда следует заглянуть и где побродить.
Предположим, что у нас все срослось и поисковики начали индексировать наш проект, а вот отсутствие второго может затянуть достижение поставленных целей. А теперь подробнее про создание sitemap.
Sitemap.html выступает в роли навигации для гостей нашего ресурса, которая помогает понять структуру сайта и найти интересующий их раздел.
Sitemap.xml подсказывает и помогает поисковым ботам обнаружить и начать индексировать страницы нашего проекта. Если мы имеем большой уровень вложенности и многочисленное количество веб-страниц на сайте, XML гарантирует, что боты не упустят из вида, то что нужно проиндексировать. Как приятный бонус мы получаем плюсик к карме в виде увеличения доверия к ресурсу со стороны поисковиков.
Важно!
Берем любой текстовый редактор, например Notepad++, и начинаем творить.
Первым блоком идет стандартная часть, в которой мы указываем:
Значения тегов:
Сохраняем получившийся файлик в формате XML и помещаем его в . Далее указываем путь к нему в robots. txt прописывая данную строчку:
http://Наш сайт/sitemap.xml
Либо мы можем использовать один из онлайн-генераторов. Например, , который рассчитан на создание не больше чем 500 страниц. Но зачастую больше и не надо, поэтому работаем с ним.
В первую строку вписываем полный URL нашего сайта с http://Наш сайт.
Вторая строка, которая называется « Change frequency», показывает поисковым роботам, как часто будут обновляться веб-страницы. Можем выбрать: never, weekly, daily, hourly, monthly, yearly.
Третья строка « Last modification » показывает, когда последний раз обновлялась страница, можем выбрать либо дату когда мы решили создать карту сайта, либо выбрать « Use server’s response » - тогда генератор автоматически внесет дату последнего изменения.
И четвертая строка « Priority», как мы уже ранее обсуждали позволяет выбрать приоритет к индексации, выбираем « Automatically Calculated Priority ».
Нажимаем кнопку «Start» и ждем когда сгенерируется карта сайта в формате XML , после опять проделываем манипуляции с помещением в корень и указания пути в robots.txt.
Заходим в Вебмастер и действуем следующим образом.
Выбираем проверку карты сайта:
И задаем путь к нашему файлу sitemap.
Проверяем что получилось:
Убеждаемся, что все в порядке и отправляемся на поклон к Google.
Для того чтобы попасть в Search Console Гугл, в которой, собственно, и можно сообщить о нашей карте, переходим
Обновляем страницу - перед нами результат проверки и если в колонке «Проблемы» стоит прочерк, значит, мы все сделали правильно.
Создать и разместить файл sitemap. xml на ресурсе по факту минутное дело, для этого можно использовать любой текстовый редактор или онлайн-генератор. Если у вас есть карта сайта на своем ресурсе вы ускоряете и упрощаете жизнь поисковому роботу, который следует по указанному пути и индексирует нужные страницы. Это значит, что результат вашей работы по оптимизации имеет шанс быстрее стать заметным. Но важно не забывать про карту сайта и периодически ее обновлять, т.к. страница может перестать участвовать в продвижении, а боты будут продолжать ее посещать, что отразится на позициях. Также наш XML-проводник может служить помощником не только роботам, но и воришкам контента, ведь в sitemap мы указываем нужные нам документы, что значительно упрощает жизнь копипастерам. Поэтому рекомендуем периодически проверять контент вашего ресурса на уникальность. Соблюдая эти правила вы повышаете доверие поисковых систем Google и Яндекс к своему ресурсу.
Для создания карты сайта необходимо зарегистрироваться
Существует два типа карт сайта: sitemap.xml и sitemap.html .
Xml карта сайта создается для поисковых роботов. С помощью xml карты Вы можете указать, как часто следует индексировать ту или иную станицу, как часто она обновляется, насколько она важна в рамках Вашего сайта. С помощью карты сайта фиксируются все ссылки, которые есть на сайте.
Иными словами, структура сайта становится прозрачной для поисковых роботов. Для «живых» пользователей xml карта бесполезна.
Если Вам нужна только xml карта, то ее можно без труда сгенерировать автоматически, используя один из многих интернет-ресурсов. На большинстве из них создание карты для сайта до 100 страниц бесплатно. Процесс генерации занимает определенное время: чем больше страниц у сайта, для которого Вы генерируете сайт-мэп, тем длительнее этот процесс. Он может занять от нескольких минут (для небольших сайтов) до часа и более (для сайтов с сотнями страниц и многочисленными перекрестными ссылками).
Необходимо помнить , что при любых изменениях, которые затрагивают структуру сайта или приоритет страниц, необходимо заново генерировать sitemap.
Для того, чтобы поисковый робот нашел Вашу sitemap.xml, в файле robots.txt необходимо указать путь к ней.
Html карта сайта создается для посетителей Вашего сайта, она аналог оглавления в книге. Часто бывает, что при сложной или не очень прозрачной структуре посетитель теряется в навигации по сайту и не доходит до страниц (он их просто не находит), которые ему были бы нужны и уходит с сайта неудовлетворенный. Конверсия сайта при этом снижается.
Если html карта есть и сделана качественно, правильно и емко озаглавлены разделы, то любой раздел, любая страница сайта нужной тематики легко отыщется посетителем Вашего сайта.
Используя предлагаемый модуль Вы сможете одновременно создать sitemap.xml и sitemap.html.
При этом Вы создаете только html карту сайта, а xml карта создается автоматически.
Изменения, которые вносятся в структуру сайта после создания карты сайта, не требуют новой генерации sitemap.xml, xml карта корректируется автоматически после корректировки html карты. Таким образом, у Вас на сайте всегда будет корректная карта для поисковых машин (sitemap.xml) и корректное оглавление (sitemap.html).
Sitemap - это файл со ссылками на страницы сайта, который сообщает поисковым системам об актуальной структуре сайта. Яндекс поддерживает форматы XML и TXT. Формат XML позволяет передавать дополнительную информацию .
Примечание. Яндекс не гарантирует, что все указанные в файле URL попадут в результаты поиска.
Яндекс разрабатывает специальные алгоритмы, по которым индексирующий робот узнает о сайте. Например, с помощью Ссылка, которая связывает страницы одного сайта. Страницы могут\n находиться в разных каталогах одного домена или на поддоменах.
"}}">внутренних и Ссылка, которая расположена на другом сайте."}}">внешних ссылок - переходя с одной страницы на другую. Иногда робот может пропустить страницы. Используйте Sitemap , если на сайте:большое количество страниц;
отдельные страницы без навигационных ссылок;
глубокая вложенность.
Ограничение. Поиск Яндекса не поддерживает передачу RSS и Atom-фидов с помощью файла Sitemap .
Максимальный размер файла в несжатом виде - 50 МБ.
Разместите файл на том же домене, что и сайт, для которого он составлен.
При обращении к файлу сервер должен возвращать HTTP-код 200.
При необходимости вы можете удалить информацию о Sitemap .
Sitemap отображается в сервисе как исключенная страница со статусом «Неверный формат документа»
Отображение файла Sitemap (как и других XML-файлов) как исключенных страниц имеет только информативный характер и никак не влияет на индексирование сайта или обработку Sitemap .
Файл Sitemap может отображаться в группе исключенных страниц, так как робот попытался проиндексировать его как обычную страницу, в то время как файлы формата XML не индексируются в поисковой системе Яндекса и в результатах поиска не участвуют.
При обработке Sitemap возникла ошибка «Неизвестный тег»
Файл Sitemap может содержать только определенные XML-элементы . Если Вебмастер обнаружит в файле другие элементы (например, указание на мобильную или мультиязычную версию, адреса картинок), в Вебмастере появится ошибка «Неизвестный тег». Неподдерживаемые элементы игнорируются роботом при обработке Sitemap , при этом данные из поддерживаемых элементов учитываются. Поэтому менять файл Sitemap необязательно.
Если содержимое файла будет изменено, потребуется до двух недель на обновление информации в Вебмастере.
Файл Sitemap находится в статусе «Не проиндексирован»
Файл Sitemap может быть не проиндексирован по нескольким причинам:
Робот обошел файл Sitemap недавно и еще не успел обработать его. Подождите две недели. Если вы используете файл индекса Sitemap с несколькими файлами, то их обработка может занять больше времени, чем одного файла Sitemap .
Сайт ранее был недоступен для индексирующего робота. Необходимо дождаться следующего посещения сайта роботом.
Как добавить карту сайта XML Sitemap в поисковые системы Google and Yandex? На самом деле добавление Sitemap в Google Webmaster и Yandex Вебмастер происходит элементарно. При этом например Яндекс автоматически определяет карту сайта, если она указана в файле Robots.txt.
В этом руководстве мы рассмотрим примеры добавления карты сайта в Google Webmaster и Yandex Вебмастер. Поговорим о методах проверки и анализа Sitemap, именно через Console Google и благодаря инструментам в Яндекс вебмастере. Затронем такой важный момент, как переобход страниц Mapsite.
Как я уже оговаривал выше, по умолчанию агент поисковой системы Yandex определяют карту указанную в Robots. Через некоторое время ее можно обнаружить в Яндекс Вебмастере. Но лучше всего дополнительно добавить ее, это может помочь если вдруг Robots будет недоступен. Добавление Mapsite, позволит Вам значительно ускорить обходы контента проекта ботом Яши.
Добавляем XML Sitemap в Вебмастере Яндекс :
По завершению всех действий, бот поисковой системы проанализирует этот адрес. Затем через определенное время она отобразиться именно на странице где Вы ее добавили. Также будут доступны: статус карты сайта, дату обхода и общее количество ссылок в mapsite. Раздел позволит Вам, правильно анализировать индексирование, загруженного контента Вашего проекта.
Добавление карты в Console Google также не займет у Вас много времени. Единственное отличие от Яши, Гена не отображает XMLMAPs указанную в Robots.txt. Но имеет достаточно большой перечень инструментов для работы с ней.
Добавляем XML Sitemap в Search Console :
Затем следует подождать некоторое время, чтобы поисковый Google Bot смог обойти этот Url. Map будет отображена на странице, где Вы ее добавляли. Нажав на нее можно будет увидеть все доступные статусы:
В прошлой статье, был подробно описан пример указания URL карты в Robots.txt. С ней можно ознакомиться ниже в рекомендациях по этой теме. Думаю те у кого уже создан Robots, не нуждаются в примере и могут пропустить эту часть статьи.
Добавление URL карты в Robots.txt :
В Search Console проверить загруженную карту очень просто. Достаточно следовать простым действиям:
В Яндекс Вебмастере немного больше способов протестировать Сайтмап. Следуем следующим действиям:
Теперь давайте рассмотрим способы ее обновления. В некоторых случаях это достаточно полезная функция, особенно при глобальных изменениях в контенте проекта. Обновление Site-map дает указание поисковым ботам на повторную индексацию всего ее содержимого. Благодаря этой функции можно обновить большую часть измененной информации, именно для поисковых машин.
Переобход map в Yandex Вебмастер :
Переобход map в Search Console
:
Я подробно рассказал Вам о всех тонкостях добавления, анализа и переобхода сайтмап. Таким образом можно значительно ускорить индексирование проекта поисковыми машинами. Сократить в некоторых случаях время на ожидание переобхода контента ботами, запросив принужденное сканирование.
По мимо всего прочего стоит отметить один момент. Будьте внимательны и обязательно проверяйте статусы вашей site-map. Это необходимость в целях быстрой реакции на возможные ошибки. Таким образом, можно быстро исправить возникшие неполадки и обновить сайтмап.
Я уверен эта информативная статья будет хороши пособием, как для начинающих вебмастеров и уверенных владельцев интернет проектов. Желаю Вам успехов, в начинаниях и хорошей технической оптимизации Вашим проектам.
Карта сайта (Sitemap.xml) – это специальный файл в формате.xml, хранящийся в корневой директории сервера. Это файл с информацией о страницах сайта, которые нужно индексировать. Обычно sitemap создают для Яндекса и Гугла, чтобы оповестить поисковых роботов о страницах, которые нужно внести в индекс. Ещё при помощи сайтмапа осуществляется проверка того, как часто происходят обновления, и индексация каких веб-документов является наиболее важной.
Видео из Вебмастерской Яндекса:
Sitemap.xml составляется с учетом специального синтаксиса, понятного поисковым машинам, где будут перечислены все страницы, подлежащие индексации с указанием степени их важности, даты последнего обновления и примерной частоты обновления.
Есть два основных файла, которые должны иметься у любого web-проекта - robots.txt и sitemap.xml . Если у вашего проекта их нет или они заполнены не правильно, то с большой долей вероятности вы сильно вредите своему ресурсу и не позволяете ему раскрыться на все сто процентов.
Если у вас отсутствует sitemap, это не означает, что поисковики не станут индексировать ресурс. Поисковые роботы зачастую и без этого неплохо сканируют сайты и включают их в поиск. Но иногда могут возникать сбои, из-за которых порой удается отыскать не все веб-документы. Основными причинами являются:
Создание sitemap.xml помогает решить эту проблему.
Sitemap.xml влияет на SEO косвенно: облегчая и ускоряя индексацию страниц.
Карты сайта делятся на 2 основных вида или формата: карта сайта html и карта сайта файл xml. HTML карта сайта - это страница сайта , на которой перечислены ссылки. Обычно это ссылки на самые важные разделы и страницы сайта. HTML карта сайта больше рассчитана на людей , нежели на роботов и помогает быстрее ориентироваться в основных разделах сайта. Для карты сайта в виде html-страницы существуют серьезные ограничения по количеству ссылок на одной странице. Если на странице будет слишком много ссылок, далеко не все ссылки могут быть проиндексированы или вовсе страница карты сайта может быть исключена из поиска за чрезмерное количество ссылок, пусть даже внутренних ссылок.
Для того, чтобы карта сайта html правильно индексировалась и адекватно воспринималась посетителями не стоит размещать на странице более 100 ссылок. Этого более чем достаточно, чтобы разместить на странице все разделы и подразделы, которые не влезли в основное меню.
Обычно, файл sitemap в формате HTML имеет древовидную структуру, где указаны развернутые разделы и подразделы. Излишне громоздкие HTML карты сайта, зачастую оформляются графическими элементами, CSS-стилями и дополняются Java-script. Однако, карта сайта html не имеет большого значения для поисковых систем.
HTML карта сайта - это не есть полноценный sitemap. Как же быть, если на сайте сотни, тысячи, десятки тысяч страниц? Для этого необходимо разместить ссылки на все страницы в карте сайта в формате xml.
Еще одним способом оформления карты сайт в виде файла может быть карта сайта в формате txt:
1. http://site.ru/ 2. http://site.ru/page/ 3. http://site.ru/page1/
Все просто. В файле sitemap.txt построчно перечисляются все необходимые ссылки. Карта сайта в формате txt - это «вариант для ленивых». Здесь работает аналогичное sitemap xml ограничение в 50.000 ссылок. Однако, TXT карта сайта лишена возможностей указания даты последнего изменения и приоритета страницы.
XML карта сайта - это файл формата xml, вида sitemap.xml , который обычно находится в корне сайта. У карты сайта в формате xml есть множество преимуществ перед html картой сайта:
Содержимое карты сайта – лишь рекомендация для поискового робота. Например, если установить для страницы сайта ежегодную частоту обновления, поисковые роботы все равно будут ходить чаще. А если установить частоту обновления страницы ежечасно, это не значит, что роботы будет индексировать страницу каждый час.
Рассмотрим, как сделать правильную xml-карту. Здесь должны быть соблюдены следующие требования:
Содержимое файла карты сайта sitemap.xml выглядит:
Где используются следующие обязательные теги:
Changefreq указывает на частоту изменений страницы:
Priority сообщает поисковикам о степени важности страницы, по сравнению с другими. Приоритет можно выставлять от 0,1 (низкий) до 1 (высокий).
Файл sitemap.xml должен содержать указание на пространство имен языка XML:
Xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
Если файл карты сайта включает более 50 тысяч ссылок или размер sitemap.xml превышает 10 мб, рекомендуется разделить карту сайта на несколько файлов. В таком случае, в карте сайта необходимо указать несколько ссылок на разные файлы карт.
Здесь используются уже знакомые нам теги
Создание карты сайта важный процесс, в котором необходимо четко указать, какие страницы сайта нужно индексировать и как лучше их индексировать. В зависимости от того о каком типе карты сайта идет речь, используются различные способы создания карты сайта . Как создать html карту сайта обсуждать отдельно смысла нет. Рассмотрим как сделать карту карта в формате xml файла. Существует несколько основных способов создания карты сайта, но все их объединяет то, где находится карта сайта и как файл sitemap определяется поисковыми системами.
Как уже было написано выше - файл карты сайта размещается в корне сайта . Поисковые системы способны самостоятельно обнаружить файл карты сайта. Но существует несколько способов указания прямой ссылки на файл(ы) карты сайта(ов) для более скорого обнаружения поисковыми системами. Самый простой способ указать место расположения файла карты сайта - это непосредственное указание ссылки или нескольких ссылок на файлы карт сайта в инструментах для вебмастеров от Yandex и Google. Там же можно проверить карту сайта , провести анализ карты сайта на корректность , соответствие того, какие страницы из карты сайта найдены поисковой системой и сколько из них находится в индексации.
Второй способ указать поисковым системам на расположение файла карты сайта - это директива Sitemap файла robots.txt .
Sitemap: http://site.ru/sitemap.xml
В robots.txt можно указать несколько файлов sitemap, после чего, он автоматически будут добавлены в инструменты для вебмастеров. Как найти карту сайта мы рассмотрели, теперь перейдем к тому, как создать карту сайта.
Создать карту сайта для WordPress можно будет с помощью плагина Google XML Sitemaps. Для нее вы сможете произвести множество настроек, которые позволят исключить часть материалов вашего сайта, а также можете задать предполагаемую частоту обновления. Кроме создания карты, плагин Google XML Sitemaps при публикации новых материалов на вашем блоге уведомляет об этом многие поисковые системы, приглашая их побыстрее провести индексацию.
Путь до файла сайтмап можете задать сами в настройках плагина и даже можете дать ему название отличное от классического sitemap.xml.
Создать карту сайта для Joomla можно с помощью компонента Xmap.
Чтобы не обманывать поискового робота sitemap.xml должна быть настроена без ошибок. Поэтому после каждого обновления файла нужно проверить sitemap на битые ссылки .
Зайдите в Яндекс Вебмастер – раздел «Инструменты» – «Анализ файлов Sitemap».
Выберите один из способов загрузки файла:
Если будут найдены ошибки (такое случается часто), то сервис подскажет, какие URL отдают некорректный ответ (удалены, лишние и так далее).
Карта сайта - один из важный инструмент SEO-продвижения сайта. Не важно, как будет создана карта сайта. Важно - какие ссылки будут перечислены в карте сайта и как часто она будет обновляться. Иногда, в карту сайта выгружается все подряд и даже те ссылки, которые запрещены в robots.txt или неканонические ссылки. А обновление карты сайта происходит раз в месяц или реже. Подобное отношение к карте сайта может не просто сделать ее бесполезной, но того хуже - запутать поискового робота, что негативно отразится на индексации и позициях сайта в поиске.
Создайте карту сайта для своего ресурса. Но будьте внимательны и хорошо подумайте, что выгружать в sitemap, а что нет.
