Настройка ускоренной индексации сайта

Первоначальным и главным аспектом для успешного продвижения сайта выступает настройка индексированных основ для его развития. Точное индексирование веб-сайта обеспечивает:

максимальную скоростную индексацию страниц ботами поиска;
полное отображение числа страниц в главном индексе;
выделение системами поиска сайта с несколькими страницами;
занятие лидирующего расположения ресурсом со своим наполнением;
мощный интернет-трафик.

Для ограждения страницы от проникновения в индекс систем поиска как не значащихся или мусор, для экономии временных затрат краулеров поиска на бессмысленные интернет-страницы, необходимо определить попавшие конкретные страницы сайта в индексе. Также это проделывается и с ресурсом в целом с помощью ввода запроса site:http://site.ru/ или запросы продажи site:http://site.ru/ «запрос».

Сайтам с активной структуризацией позиций и интернет-магазинам рекомендуется периодически проводить процедуру индексирования с первоначальным обновлением карты.

Необходимо проконтролировать, по какому числовому запросу система поиска показывает ваши страницы. Часто происходит так, что в индексе при вводе ключевого вопроса высвечивается огромное количество страниц, а не одна. Вследствие чего продвижение страницы по требуемому запросу отсутствует.

Некорректная настройка индекса для вашего проекта влечет за собой такие последствия:

страницы, имеющие большое значение не индексируются;
отображение в индексе различных веб-продуктов с идентичными URL;
в индексе отображаются страницы с похожим контентом и отличающимися URL;
разделы технического характера индексируются;
замусоренные выпадают при выдаче и индексируются;
административные страницы отображаются в индексе;
авторитет главных страниц снижается;
лишняя трата времени краулерами на индексацию разделов малой важности.

Для хорошей индексации необходимо обязательное использование таких мета-тегов:

Noindex, Follow применяется для скрывания страниц от индексирования, при этом бот поиска перемещается по необходимым ссылкам, заносится в тег. Негативным моментом будет потеря времени на индексацию, хотя краулеры легко перемещаются по ссылкам разных ранговых и текстовых назначений.
Nofollow, Noindex препятствует индексации страниц, перемещению по ссылкам, временных затрат краулером нет, степень внутреннего и внешнего веса ссылок отсутствует.
Index, Nofollow. Тег способствует индексу страниц, а ссылочное перемещение в боте поиска отсутствует. Рекомендуется его применять для обхода индекса страниц, посылающихся на внутренние ссылки.
Cannonical+Next/Prey. Значение Cannonical предназначен для указания повторяющихся и применяется на дублирующих страницах только комплексно с rel=«next» and rel=«prev» для связи с URL при нумерации страниц.
txt используется только в качестве рекомендуемого элемента и предназначен для регламентации в ПС индексе с учетом не обязательного обозначения в Robots.txt необходимых моментов для индексации. В Яндексе выделять отдельное место установки с правильным хостом без http:// или https://, для закрытия места установки указывайте Disallow: /dir/
Для ресурсов с множеством контента, интернет-магазинов рекомендуем применять Sitemap.xml. Для разработки карты сайта необходимо учесть файловый размер до 10 МБ, обозначение этого тега с файлом Robots.txt, создание не одного файла Sitemap.xml, а нескольких и объединение их в общий Sitemap, применение тегов priority и lastmod.
AJAX/JavaScrip предназначен для создания внутренней и внешней структуры. Уменьшает временные затраты на отклик при использовании JavaScrip при серверном обращении без перезагрузки страниц. Легкость просмотра и процессов контроля продуктов при производстве единичного URL. AJAX помогает создавать фильтры, кнопки, меню, сортировку, формы, серверный обмен сведений, структуру комментариев и т.д.

Применяя данный тег, можно столкнуться с такими сложностями, как трудоемкий процесс разработки, трудности с системами поиска при индексировании, не корректные ЧПУ страничные адреса, приблизительные данные статистики. Переход на AJAX осуществляется по этапам, чтобы сайт не утратил уровень значимости.

При хорошем организационном подходе с AJAX можно увеличить юзабилити и скорость. Если не учитывать правила поисковиков AJAX, можно получить снижение трафика и хорошее позиционное место.

Для разработки сайтов с AJAX с 2015 года Google предлагает придерживаться «Progressive Enhancement», помогающее роботам поиска изучать страницы с динамическими характеристиками. Google разъясняет .js и .css, распознавая на AJAX страницы в самостоятельном режиме и не требует вспомогательных настроек.

В реальности решение проблем на сайтах только одним методом еще не придумали. К каждому сайту приходится использовать разные способы для настройки индексации с учетом особенностей и требований.

При создании функциональной структуры различных ресурсов и процессов индексирования можно применять базовые правила, а для сайтов интернет- магазинов необходимо придерживаться таких основ:

Разрабатывается протокольный сайт https со склеенными «зеркалами». Дублированные URL закрываются от индексации с применением тега Noindex, Nofollow.
Основа URL заключается в создании статических и ЧПУ с короткими адресами страниц для продвижения. Ключи URL (посадочные элементы) для домена в целом невозможны.
Меню навигации структурируется по максимуму и располагается сверху.
Оформление цепочки навигации и «назад» осуществляется разметкой микроданных и просто в визуальном просмотре.
Перелинковка внутренняя обязательно (блочные части «похожая продукция», «с продукцией покупают», «рекомендуемая продукция», применяется модуль MegaIndex.com с целью легкого создания перелинковки).

Используются эффективные фильтры для продвижения интернет-страниц в комплексе с известными комбинациями фильтров с открытой для процессов индекса, но скрыты от ссылочного серфинга с применением тега Index, Nofollow. Другие фильтры с комбинационными элементами скрываются. Сортировка не должна подпадать под индексацию и закрывается при помощи тега Noindex, Nofollow.

Пагинация формируется на основе canonical и next/prev для связывания нескольких URL при нумерации страниц.