Понимание трафика ботов

Трафик ботов — это любые нечеловеческие посетители, кликающие по вашим ссылкам. Хотя это может звучать тревожно, большинство трафика ботов является законным и выполняет важные функции в интернете.

Почему боты кликают по ссылкам?

Боты кликают по ссылкам по нескольким законным причинам:

• Предпросмотры ссылок — Социальные платформы, такие как Facebook, X и LinkedIn, получают ваши ссылки для создания карточек предпросмотра
• Обнаружение спама — Поставщики электронной почты и социальные сети проверяют ссылки, чтобы защитить пользователей от вредоносного контента
• Индексирование поиском — Поисковые системы, такие как Google, сканируют ссылки для индексирования контента
• Сканирование безопасности — Услуги антивируса и брандмауэра проверяют назначения ссылок

Как Linkly выявляет ботов

Linkly использует три сигнала для обнаружения трафика ботов:

1. Обнаружение пользовательского агента

Многие боты идентифицируют себя через строку пользовательского агента. Например, Googlebot, Facebookbot и Twitterbot объявляют о себе. Смотрите наш полный список обнаруженных ботов.

2. Проверенные боты

Основные краулеры проверяются с учетом сетей, из которых они действительно работают, поэтому посещение, выдающее себя за краулер предпросмотра ссылок Facebook, проверяется как подлинное, а не принимается на слово.

3. Сигналы сети и запроса

Некоторые автоматизированные системы вообще не идентифицируют себя. Для них мы смотрим, откуда пришел запрос — от поставщика облачного хостинга, такого как AWS, Google Cloud или DigitalOcean — в сочетании с поведением запроса. Реальные браузеры отправляют характерный набор заголовков, которые большинство автоматизированных инструментов не отправляют.

Обе части важны, потому что много реальных людей получают доступ к вашим ссылкам через сети хостинга: браузеры в приложениях Facebook и Instagram, мобильные прокси операторов и iCloud Private Relay маршрутизируют трафик таким образом. Посещение из одной из этих сетей, которое в остальном выглядит как подлинный браузер, считается человеком, и его сеть отображается в вашей аналитике как, например, Amazon.com (cloud) — поэтому ясно, почему поставщик хостинга появляется среди ваших человеческих посетителей.

Обработка краулеров социальных сетей

Linkly может опционально исключить краулеры социальных сетей из Facebook, X, LinkedIn, Google и YouTube из вашей аналитики. Когда включено:

• Они не записываются в вашу аналитику
• Они не учитываются против ваших лимитов кликов
• Они всегда разрешены, даже когда блокировка ботов включена
• Они все еще могут генерировать пользовательские предпросмотры в социальных сетях

Это сохраняет вашу аналитику сфокусированной на человеческих посетителях, в то время как социальное совместное использование продолжает работать без проблем.

Автоматически игнорируемые пользовательские агенты

Linkly автоматически игнорирует трафик от определенных известных пользовательских агентов ботов. Эти запросы перенаправляются нормально, но не записываются в аналитику и не учитываются против ваших лимитов кликов:

• Bytespider — Веб-краулер ByteDance
• python-requests — Библиотека Python HTTP, обычно используемая для автоматизированных сценариев
• curl — Инструмент командной строки HTTP

Эта фильтрация происходит автоматически для всех ссылок и не требует никакой конфигурации.

Плохой ли трафик ботов?

В большинстве случаев нет. Большинство ботов — это «хорошие боты», выполняющие полезные функции.

Однако трафик ботов может быть проблемным, когда он:

• Завышает количество кликов — Затрудняя измерение реального взаимодействия
• Искажает коэффициенты конверсии — Боты никогда не конвертируют, поэтому высокий трафик ботов снижает коэффициенты конверсии
• Потребляет лимиты кликов — Хотя краулеры социальных сетей можно исключить из лимитов

Для информации о недействительном трафике из рекламных платформ смотрите нашу статью о недействительном трафике TikTok.

Человеческие клики по умолчанию

Ваши отчеты о трафике показывают человеческие клики по умолчанию. Трафик ботов автоматически исключается из вашего общего количества кликов, поэтому ваши числа отражают реальных посетителей без какой-либо настройки.

Рядом с вашим общим количеством кликов вы увидите, сколько ботов было отфильтровано — например, «1 240 кликов · 380 ботов отфильтровано» — поэтому ничего не скрыто.

Чтобы увидеть весь трафик, используйте переключатель Включить трафик ботов в верхней части ваших отчетов. Это учитывает ботов в ваших итогах и добавляет вкладку Роботы, которая разбивает трафик ботов по имени.

Примечание: Это влияет только на отчетность. Клики ботов по-прежнему учитываются в лимите кликов вашего плана, и API возвращает весь трафик по умолчанию — передайте bots=false, чтобы исключить ботов из запроса API.

Блокировка трафика ботов

Вы можете опционально заблокировать ботов от доступа к вашим ссылкам полностью. Однако мы обычно это не рекомендуем, потому что:

• Хорошие боты, которые проверяют спам, могут пометить вашу ссылку как подозрительную, если она заблокирована
• Пользовательские предпросмотры в социальных сетях не будут работать на большинстве платформ
• Поисковые системы не смогут индексировать ваши ссылки

Чтобы блокировать других ботов, но при этом разрешить предпросмотры социальных сетей, включите оба параметра «Блокировка ботов» и «Пропустить отслеживание социального краулера» на вашей ссылке.