Понимание трафика ботов

Трафик ботов — это любые визиты немашинного происхождения, клики по вашим ссылкам. Хотя это может звучать тревожно, большая часть трафика ботов является легитимной и служит важным функциям в интернете.

Почему боты кликают по ссылкам?

Боты кликают по ссылкам по нескольким законным причинам:

• Предпросмотры ссылок — Социальные платформы, такие как Facebook, X и LinkedIn, загружают ваши ссылки для создания карточек предпросмотра
• Обнаружение спама — Поставщики электронной почты и социальные сети проверяют ссылки для защиты пользователей от вредоносного контента
• Индексирование поисковыми системами — Поисковые системы, такие как Google, обходят ссылки для индексирования контента
• Сканирование безопасности — Антивирусные и брандмауэрные сервисы проверяют назначения ссылок

Как Linkly идентифицирует ботов

Linkly использует два метода для обнаружения трафика ботов:

1. Обнаружение User Agent

Многие боты идентифицируют себя через строку своего user agent. Например, Googlebot, Facebookbot и Xbot все объявляют о себе. См. наш полный список обнаруженных ботов.

2. Обнаружение ISP

Некоторые боты не идентифицируют себя, но мы можем их обнаружить, проверив, исходит ли запрос от поставщика облачного хостинга, такого как AWS, Google Cloud или DigitalOcean. Трафик из центров обработки данных почти всегда автоматизирован.

Обработка краулеров социальных сетей

Linkly может дополнительно исключать краулеры социальных сетей из Facebook, X, LinkedIn, Google и YouTube из вашей аналитики. Когда это включено:

• Они не записываются в вашей аналитике
• Они не учитываются в вашем лимите кликов
• Они всегда пропускаются, даже если включена блокировка ботов
• Они по-прежнему могут генерировать пользовательские социальные предпросмотры

Это держит вашу аналитику сосредоточенной на людях, пока обмен в социальных сетях продолжает работать беспроблемно.

Автоматически игнорируемые user agents

Linkly автоматически игнорирует трафик от определенных известных user agents ботов. Эти запросы перенаправляются обычно, но не записываются в аналитику и не учитываются в вашем лимите кликов:

• Bytespider — веб-краулер ByteDance
• python-requests — библиотека Python HTTP, обычно используемая для автоматизированных скриптов
• curl — инструмент HTTP командной строки

Эта фильтрация происходит автоматически для всех ссылок и не требует конфигурации.

Плохой ли трафик ботов?

В большинстве случаев нет. Большинство ботов — это «хорошие боты», выполняющие полезные функции.

Однако трафик ботов может быть проблематичным, когда он:

• Искусственно увеличивает количество кликов — Что затрудняет измерение реального взаимодействия
• Искажает коэффициенты конверсии — Боты никогда не конвертируют, поэтому высокий трафик ботов делает коэффициенты конверсии ниже
• Потребляет лимиты кликов — Хотя краулеры социальных сетей могут быть исключены из лимитов

Информацию о недействительном трафике из платформ рекламы см. в нашей статье о недействительном трафике TikTok.

По умолчанию кклики людей

В ваших отчетах о трафике по умолчанию показаны клики людей. Трафик ботов автоматически исключается из вашего основного количества кликов, поэтому ваши цифры отражают реальных посетителей без какой-либо настройки.

Рядом с общим количеством кликов вы увидите, сколько ботов было отфильтровано — например, «1240 кликов · 380 ботов отфильтровано» — поэтому ничего не скрывается.

Чтобы увидеть весь трафик, используйте переключатель Включить трафик ботов в верхней части ваших отчетов. Это учитывает ботов в ваших итогах и добавляет вкладку Роботы, которая разбирает трафик ботов по названиям.

Примечание: Это влияет только на отчетность. Клики ботов по-прежнему учитываются в лимите кликов вашего плана, и API по умолчанию возвращает весь трафик — передайте bots=false, чтобы исключить ботов из запроса API.

Блокировка трафика ботов

Вы можете дополнительно заблокировать ботам доступ к вашим ссылкам полностью. Однако мы в целом не рекомендуем это делать, потому что:

• Хорошие боты, которые проверяют спам, могут пометить вашу ссылку как подозрительную, если она заблокирована
• Пользовательские социальные предпросмотры не будут работать на большинстве платформ
• Поисковые системы не смогут индексировать ваши ссылки

Чтобы заблокировать других ботов, по-прежнему позволяя предпросмотры социальных сетей, включите как «Блокировать ботов и пауков», так и «Пропустить отслеживание краулеров социальных сетей» в вашей ссылке.