Поисковые роботы индексируют страницы обходя сайты по имеющимся на них ссылкам. Это значит, что если мы опубликуем новый материал и укажем на него ссылку со страницы, которую уже посещает робот, то новая страница тоже будет проиндексирована. Также робот может узнать о существовании новой страницы из установленных на сайте счетчиков. Однако не стоит забывать, что ресурсы поисковых систем не бесконечны, им нужно делать переобход старых страниц, появляется множество новых страниц на других сайтах. Поэтому очередь до индексации именно вашей страницы может подойти очень не скоро. А если у вас молодой сайт, то и времени ему роботы будут уделять меньше (так уж они запрограммированы).
Чтобы ускорить индексацию и прогнозировать время, когда будет проиндексирована страница, поисковые системы рекомендуют использовать файлы sitemap. В этом файле, в xml формате вы можете передать роботу информацию о том какие страницы вашего сайта необходимо проиндексировать и какие из них наиболее важные по вашему мнению.
Создание файла sitemap
Для создания файла sitemap нет необходимости углубленно изучать формат xml. Все достаточно просто и можно сделать по аналогии, по примерам, которых предоставлено в сети великое множество. Здесь же хотелось бы остановиться на несправедливо забываемой многими возможности создания нескольких файлов sitemap для одного сайта.
Несколько файлов sitemap
В одном файле sitemap можно передать информацию о 50000 страниц. И судя по всему для больших сайтов, чтобы они могли передать информацию о большем количестве страниц и была введена возможность указать еще один файл и т.д. Казалось бы если у меня небольшой сайт, то мне эта возможность пока не нужна. Но посмотрите, какую информацию мы можем получить в гугл-вебмастере, если разделим рубрики нашего сайта по отдельным файлам sitemap:
Мы детально можем видеть какие разделы сайта больше нравятся поисковику, какие меньше. Конечно, на первых порах, пока идет первичная индексация всего сайта, здесь будет информация об этапах обхода роботом. При первом проходе робот обойдет из каждого файла некоторый процент страниц, например, пусть это будет 25%, затем 50% и т.д. А вот на заключительном этапе, как видно из иллюстрации мы видим, что общий средний процент индексации более 90%, а вот страницы, указанные в файле sitemap_b.xml проиндексированы только на 60%. Это дает нам сигнал, что возможно что-то с этими страницами не так, и нужно с ними дополнительно поработать.
Работая с несколькими файлами сайтмап, кроме обычных плюшек (более быстрая индексация, гарантия обхода роботом, указание приоритета обхода) мы получаем еще и бонус в виде анализа рубрик сайта. Кроме того, работать с несколькими файлами удобнее. Ведь обновляя контент мы вносим изменения только в один соответствующий этой новости файл, а остальные не трогаем — т.е. меньше ошибок, меньше обновлений других файлов.
Как это делается на сайте
В вебмастере гугл в данном случае был добавлен только один общий файл sitemap.xml, в котором указаны ссылки на все остальные карты сайта:
<?xml version="1.0" encoding="UTF-8"?> <sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"> <sitemap> <loc>http://site.ru/sitemap_all.xml</loc> </sitemap> <sitemap> <loc>http://site.ru/sitemap_a.xml</loc> </sitemap> <sitemap> <loc>http://site.ru/sitemap_b.xml</loc> </sitemap> <sitemap> <loc>http://site.ru/sitemap_v.xml</loc> </sitemap> <sitemap> <loc>http://site.ru/sitemap_g.xml</loc> </sitemap> <sitemap> <loc>http://site.ru/sitemap_d.xml</loc> </sitemap> </sitemapindex>
И соответственно этому файлу создаем sitemap_a.xml, sitemap_b.xml