Понимание трафика ботов

Трафик ботов — это любые немашинные посетители, которые нажимают на ваши ссылки. Хотя это может показаться тревожным, большинство трафика ботов легитимно и служит важным функциям в интернете.

Почему боты нажимают на ссылки?

Боты нажимают на ссылки по нескольким законным причинам:

• Предпросмотры ссылок — социальные платформы, такие как Facebook, X и LinkedIn, загружают ваши ссылки для создания карточек предпросмотра
• Обнаружение спама — поставщики электронной почты и социальные сети проверяют ссылки для защиты пользователей от вредоносного контента
• Индексация поисковыми системами — поисковые системы, такие как Google, сканируют ссылки для индексирования контента
• Проверка безопасности — антивирусные и брандмауэрные сервисы проверяют назначения ссылок

Как Linkly определяет ботов

Linkly анализирует три сигнала для обнаружения трафика ботов:

1. Определение user agent

Многие боты идентифицируют себя через строку user agent. Например, Googlebot, Facebookbot и Twitterbot объявляют о себе. См. нашу полный список обнаруженных ботов.

2. Верифицированные боты

Основные краулеры проверяются на соответствие сетям, из которых они действительно работают, поэтому посещение, заявляющее о том, что это краулер предпросмотра ссылок Facebook, подтверждается как подлинное, а не принимается на слово.

3. Сигналы сети и запроса

Некоторая автоматизация вообще не идентифицирует себя. Для этих случаев мы смотрим, откуда пришел запрос — из поставщика облачного хостинга, такого как AWS, Google Cloud или DigitalOcean — вместе с тем, как ведет себя запрос. Настоящие браузеры отправляют отличительный набор заголовков, которые большинство автоматизированных инструментов не отправляют.

Обе части важны, потому что многие настоящие люди получают доступ к вашим ссылкам через сети хостинга: браузеры в приложениях Facebook и Instagram, мобильные прокси операторов связи и iCloud Private Relay — все маршрутизируют трафик таким образом. Посещение из одной из этих сетей, которое в остальном выглядит как подлинный браузер, считается человеком, и его сеть отображается в вашей аналитике как, например, Amazon.com (cloud) — поэтому ясно, почему поставщик хостинга появляется среди ваших посетителей-людей.

Обработка краулеров социальных сетей

Linkly может опционально исключить краулеры социальных сетей от Facebook, X, LinkedIn, Google и YouTube из вашей аналитики. Если включено:

• Они не записываются в вашу аналитику
• Они не считаются в сторону лимитов кликов
• Они всегда разрешены, даже когда включена блокировка ботов
• Они все еще могут генерировать пользовательские предпросмотры социальных сетей

Это сохраняет вашу аналитику сосредоточенной на посетителях-людях, а обмен в социальных сетях продолжает работать беспрепятственно.

Автоматически игнорируемые user agents

Linkly автоматически игнорирует трафик от определенных известных user agents ботов. Эти запросы перенаправляются нормально, но не записываются в аналитику и не считаются в сторону лимитов кликов:

• Bytespider — веб-краулер ByteDance
• python-requests — библиотека Python HTTP, обычно используемая для автоматизированных скриптов
• curl — инструмент HTTP для командной строки

Эта фильтрация происходит автоматически для всех ссылок и не требует конфигурации.

Плохо ли трафик ботов?

В большинстве случаев нет. Большинство ботов — это «хорошие боты», выполняющие полезные функции.

Однако трафик ботов может быть проблематичным, когда он:

• Завышает подсчет кликов — затрудняя измерение реального взаимодействия
• Искажает коэффициент конверсии — боты никогда не конвертируются, поэтому высокий трафик ботов делает коэффициенты конверсии более низкими
• Потребляет лимиты кликов — хотя краулеры социальных сетей можно исключить из лимитов

Информацию о недействительном трафике из платформ для размещения объявлений см. в нашей статье о недействительном трафике TikTok.

Клики человека по умолчанию

Ваши отчеты о трафике показывают клики человека по умолчанию. Трафик ботов автоматически исключается из вашего основного подсчета кликов, поэтому ваши цифры отражают реальных посетителей без каких-либо настроек.

Рядом с вашим общим количеством кликов вы увидите, сколько ботов было отфильтровано — например, «1 240 кликов · 380 ботов отфильтровано» — поэтому ничего не скрывается.

Чтобы увидеть весь трафик, используйте переключатель Включить трафик ботов в верхней части ваших отчетов. Это считает ботов в ваших итогах и добавляет вкладку Роботы, которая разбирает трафик ботов по названиям.

Примечание: Это влияет только на отчеты. Клики ботов по-прежнему считаются в сторону лимита кликов вашего плана, и API возвращает весь трафик по умолчанию — передайте bots=false для исключения ботов из запроса API.

Блокировка трафика ботов

Вы можете опционально заблокировать ботам доступ к вашим ссылкам полностью. Однако мы обычно не рекомендуем это потому что:

• Хорошие боты, которые проверяют спам, могут пометить вашу ссылку как подозрительную, если она заблокирована
• Пользовательские предпросмотры социальных сетей не будут отображаться в приложениях, которых мы не разрешаем пропускать, таких как Slack и Discord
• Поисковые системы не смогут индексировать ваши ссылки

Предпросмотры ссылок от Facebook, X, LinkedIn, WhatsApp и Telegram пропускаются автоматически, когда вы блокируете ботов, без каких-либо других необходимых настроек. Эти посещения не записываются и не считаются в сторону лимита кликов. Сканеры, которые выдают себя за эти платформы из облачных сетей хостинга, по-прежнему блокируются.