Понимание бот-трафика

Бот-трафик — это любые нечеловеческие посетители, кликающие по вашим ссылкам. Хотя это может звучать настораживающе, большинство бот-трафика является законным и выполняет важные функции в интернете.

Почему боты кликают по ссылкам?

Боты кликают по ссылкам по нескольким законным причинам:

• Предварительный просмотр ссылок — социальные платформы, такие как Facebook, X и LinkedIn, загружают ваши ссылки для создания карточек предварительного просмотра
• Обнаружение спама — провайдеры электронной почты и социальные сети проверяют ссылки для защиты пользователей от вредоносного контента
• Индексация поиска — поисковые системы, такие как Google, обходят ссылки для индексации контента
• Сканирование безопасности — антивирусные и брандмауэрные сервисы проверяют назначения ссылок

Как Linkly определяет ботов

Linkly использует два метода для обнаружения бот-трафика:

1. Определение по user agent

Многие боты идентифицируют себя через строку user agent. Например, Googlebot, Facebookbot и Xbot открыто заявляют о себе. Смотрите наш полный список обнаруженных ботов.

2. Определение по провайдеру (ISP)

Некоторые боты не идентифицируют себя, но мы можем их обнаружить, проверив, исходит ли запрос от облачного хостинг-провайдера, например AWS, Google Cloud или DigitalOcean. Трафик из центров обработки данных почти всегда является автоматическим.

Обработка краулеров социальных сетей

Linkly может дополнительно исключить краулеров социальных сетей от Facebook, X, LinkedIn, Google и YouTube из вашей аналитики. При включении:

• Они не записываются в вашу аналитику
• Они не учитываются в ваших лимитах кликов
• Они всегда пропускаются, даже когда блокировка ботов включена
• Они по-прежнему могут генерировать пользовательские превью для социальных сетей

Это позволяет сосредоточить аналитику на реальных посетителях, пока совместное использование в социальных сетях продолжает работать без перебоев.

Автоматически игнорируемые user agent

Linkly автоматически игнорирует трафик от определённых известных бот-агентов. Эти запросы перенаправляются в обычном режиме, но не записываются в аналитику и не учитываются в лимитах кликов:

• Bytespider — веб-краулер ByteDance
• python-requests — библиотека HTTP для Python, широко используемая в автоматических скриптах
• curl — инструмент командной строки для HTTP

Эта фильтрация происходит автоматически для всех ссылок и не требует настройки.

Является ли бот-трафик проблемой?

В большинстве случаев — нет. Большинство ботов — это «хорошие боты», выполняющие полезные функции.

Однако бот-трафик может быть проблематичным, когда он:

• Завышает количество кликов — затрудняя измерение реального вовлечения
• Искажает коэффициенты конверсии — боты никогда не конвертируются, поэтому высокий бот-трафик снижает видимые показатели конверсии
• Расходует лимиты кликов — хотя краулеры социальных сетей можно исключить из лимитов

Для получения информации о недействительном трафике от рекламных платформ смотрите нашу статью о недействительном трафике TikTok.

Как фильтровать ботов из отчётов

Используйте кнопку Фильтровать ботов в правом верхнем углу отчётов о трафике, чтобы исключить бот-трафик из аналитики.

Блокировка бот-трафика

Вы можете дополнительно полностью заблокировать ботам доступ к вашим ссылкам. Однако мы в целом не рекомендуем это по следующим причинам:

• Хорошие боты, проверяющие на наличие спама, могут пометить вашу ссылку как подозрительную при блокировке
• Пользовательские превью для социальных сетей не будут работать на большинстве платформ
• Поисковые системы не смогут индексировать ваши ссылки

Чтобы заблокировать других ботов, но по-прежнему разрешить превью в социальных сетях, включите как «Блокировать ботов и краулеров», так и «Пропускать отслеживание краулеров социальных сетей» для вашей ссылки.