Как ускорить индексацию сайта с помощью карты?
Зачем нужна карта сайта и какой отдать предпочтение (XML или HTML)?
Карта сайта – что это такое?
Это файл или страница с перечислением всех страниц сайта, включая его категории и подкатегории. Это своеобразный каталог, в котором содержатся все web-документы интернет-ресурса со ссылками на них.
А вот если вы владелец масштабного информационного портала или магазина онлайн, где вложенность категорий не менее 4-5 уровней, вам необходимо помочь роботам поисковых систем, посещающим гипертекстовые ссылки, разобраться в том, как организован ресурс. Это облегчит и ускорит процесс добавления в базу данных информации о сайте.
Прежде такой документ в формате html предназначался для того, чтобы упростить посетителям поиски ответов на их запросы. Сегодня она особенно необходима для веб-краулеров, чтобы дать им возможность не запутаться в структуре ресурса и облегчить его индексацию, если создать автономную xml-карту не представляется возможным.
Если структура ресурса разработана грамотно, и она удобна для пользователя, такой указатель может и не понадобиться. Все документы, товары и тексты должны быть доступны либо через поиск, либо посредством меню. У пользователя должна иметься возможность найти все необходимое в несколько щелчков мыши самостоятельно.
Владелец сайта обязан позаботиться о том, чтобы у потенциального клиента не возникло необходимости использовать для этого специальную карту. Главные категории меню сайта следует вынести в футер в нижней части страницы. Для простых посетителей это упростит навигацию, а сайт скорее попадет в индекс.
Если вас терзают смутные сомнения на предмет удобства использования вашего сайта напишите нам. Посредством файла sitemap.xml роботы поисковой системы просканируют все внутренние гиперссылки и скорее проиндексирует сайт. Учитывается вложенность, определенные URLы документов и графики. Все это делает процесс попадания в поисковую базу проще.
Файл Sitemap позволяет донести до поисковых машин не только какие странички ресурса необходимо проиндексировать, но и как часто происходит обновление контента, а также какие из документов важнее для индекса. Начнем разбор с формата html, а чуть позже перейдем к xml.
КАРТА САЙТА В ВИДЕ HTML-СТРАНИЦЫ
Её нужно разместить на отдельной странице и поставить ссылку в нижнем меню сайта, чтобы она была доступна для индексации и на неё можно было перейти. Иерархия страничек ресурса должна отображаться в документе и ясно давать понять, где главные разделы, а где подкатегории.
Непременно проследите за тем, чтобы она всегда сохраняла актуальность. Отобразите в ней, если добавляете или, напротив, удаляете какие-либо страницы. По возможности сделайте ее обновляемой в автоматическом режиме. На одной страничке лучше располагать не более сотни ссылок, тогда роботу проще будет добавить её в индекс.
Прислушайтесь к этим советам, и карта сайта поможет и индексирующим краулерам, и людям на нем прекрасно ориентироваться.
КАРТА САЙТА В ВИДЕ ФАЙЛА SITEMAP.XML
В файле robots.txt прописаны инструкции, как нужно проиндексировать ваш сайт. Робот, заходя на ресурс, читает их в первую очередь. Если в файле указано, что у сайта есть карта xml, в которую внесены все внутренние ссылки, робот сразу перейдет на нее. Перед генерацией этого файла нужно решить, какие адреса можно передавать в индекс, а какие не нужно. Не размещайте в нем урлы служебных страниц – таких, как вход в админку сайта или на страницы, где пользователи регистрируются и авторизуются.
Страницы без опубликованных материалов тоже лучше не указывать в Sitemap.xml, пока на них не появится текстовый или графический контент. Допустимо размещать не более пятидесяти тысяч ссылок. Если число страниц превышает это количество, предпочтительно сделать несколько документов. Файл должен иметь Unicode Transformation Format, 8-bit. Как он выглядит, вы сможете увидеть на рисунке.
Чтобы передать данные веб-краулерам из поиска, используются нижеперечисленные теги:
- Элемент с адресом страницы.
- Lastmod — дата последней редакции документа. Сообщает данные роботу, когда страничка видоизменилась. Если это произошло после предыдущего визита, тогда робот обойдет ее снова.
- Changefreq — указание рекомендованной частоты модификации страницы.
- Priority — первенство загрузки документа (от 0.0 до 1.0), Показатель не дает предпочтений при сортировке вебдокументов в выдаче поисковика. Однако он указывает Яндексу и Google, какие документы, на ваш взгляд, важнее для попадания в индекс.
Так, если на домашней странице портала каждый день появляются новости и анонсы публикаций, рекомендуется поставить высшее значение приоритета. Содержимое карты сайта носит собой рекомендательный характер для поискового робота. Параметры индексации Яндекс и Google может не учитывать. Этот факт желательно иметь в виду.
Карта сайта всегда обязана оставаться актуальной. Этот момент необходимо контролировать. Если существует техническая возможность, лучше сделать так, чтобы она обновлялась сама. Если подобная манипуляция невозможна, обязательно добавляйте все «новорожденные» страницы сайта вручную. Или в таком документе вообще будет отсутствовать всякий смысл.
Поисковый робот не будет оповещен о появлении нового контента на сайте. Это сильно задержит индексирование вновь созданных страниц. Соответственно, и «посещалка» на такие веб-документы не будет увеличиваться.
Адрес карты следует сообщить поисковому роботу сразу после её создания. Он прописывается в файле robots.txt, директива sitemap. Карта упрощает задачу роботу и обеспечивается ресурсу попадание в индекс. Почти во всех существующих системах управления контентом xml-карта создается штатными средствами системы.
КАРТА САЙТА В ВИДЕ ФАЙЛА SITEMAP.XML
1. Копируем адрес сайта в соответствующее поле. После чего сервис сканирует ресурс.
2. После того, как этот процесс будет завершен, переходим в поле Sitemap Details.
3. Здесь скачиваем созданную карту сайта.
До того, как загрузить веб-документ на сервер, обязательно проверьте и удалите все страницы, которые не нужны для индексирования. Для редактирования такой карты можно использовать Блокнот. Для этого на скачанный файл достаточно нажать правой кнопкой мышки и выбрать «открыть с помощью Блокнота».
Как разместить карты в панелях инструментов для владельцев сайтов?
В аналогичном сервисе Google нужно будет проделать все тоже самое, только раздел будет называться Индекс — Файлы Sitemap. Роботу тоже понадобятся какие-то минуты на сканирование. После того, как документ будет обработан, появится статистика индексации по каждой странице. Это позволит отслеживать в поиске их число, а также количество выпавших из него веб-документов.