Какие боты сейчас сканируют ваш сайт и есть ли у вас стратегия для каждого типа ботов?

Обычно мы объединяем поисковых ботов и ботов с искусственным интеллектом в одну категорию. Однако разные боты сканируют веб-сайты по разным причинам. К каждому нужно подходить по-разному.

Несколько наиболее важных типов ботов, которые следует учитывать при оптимизации вашего сайта:

1. Поисковые боты (индексирование)

Поисковые боты, такие как Googlebot или Bingbot, следует рассматривать как индексирующие боты. Они сканируют веб, чтобы найти страницы, которые потенциально могут быть включены в их индекс. Страницы в индексе могут быть указаны в органических результатах поиска.

Как правило, существуют два отдельных действия:

• Обнаружение: боты сканируют, чтобы найти новые, ранее неизвестные страницы.
• Обновление: боты повторно сканируют известные ресурсы, чтобы проверить наличие обновлений или изменений.

Цель состоит в том, чтобы убедиться, что эти боты находят все страницы, которые должны быть включены в поисковый индекс, поэтому они достаточно часто посещают страницы, чтобы увидеть любые изменения.

2. Боты для обучения моделей ИИ

Боты для обучения (например, GPTBot или ClaudeBot) сканируют сайты, чтобы получить контент, который можно использовать в качестве обучающих данных для дальнейшего исх использования в нуждах конкретного ИИ.

Данные боты, как правило, ведут себя проще.
Обычно они не полностью скачивают страницу, не выполняют JavaScript и не принимают некорректный HTML-код.

Цель состоит в том, чтобы убедиться, что эти боты могут находить и успешно получать обучающие материалы. Более сложная задача – определить, какой контент НЕ следует включать в обучающие материалы, и ограничить к нему доступ.

3. Боты для взаимодействия с пользователем

Боты для взаимодействия, такие как ChatGPT-User или Perplexity-User, работающие в режиме реального времени, когда пользователь задает той или иной ИИ конкретный вопрос. Бот сканирует сайт, чтобы получить или обобщить информацию, необходимую для ответа на запрос.

Сканирование с помощью этих ботов может указывать на то, что ваш сайт включен в цитирование ИИ или, по крайней мере, имеет шанс быть включенным. Неудачное сканирование означает упущенную возможность для вашего сайта появиться в ответе ИИ.

Поскольку эти боты ближе к результатам в реальном времени, они заслуживают наибольшего внимания. Цель состоит в том, чтобы максимально упростить для них получение контента со страницы. Это начинается с уменьшения или снятия ограничений для этих ботов. Также здесь могут использоваться тесты Markdown и Schema (хотя доказательств пока недостаточно).

4. Получение ресурсов страницы

Поисковым ботам также необходимо загружать страницу, чтобы понять, как она функционирует и выглядит. Их цель – создать максимально глубокое понимание содержимого страницы, чтобы сформировать наилучший индекс сайтов, которые могут занимать высокие позиции в результатах поиска.

Например, Google проводит сканирование типа «Загрузка ресурсов страницы», чтобы запросить зависимые файлы, связанные внутри страницы, такие как файлы JavaScript, CSS и шрифтов, необходимые для рендеринга.

Цель состоит в том, чтобы убедиться, что Яндекс, Google и Bing могут получить все эти файлы (JS, CSS, шрифты). Помните, что они могут запросить эти файлы позже, после сканирования главной страницы. Бывали случаи, когда сканирование завершалось неудачей, когда менялись имена файлов CSS или JS. Также встречались ситуации, когда сканирование завершалось неудачей из-за блокировки доступа к данным типам файлов.