了解机器人流量

机器人流量是指任何非人类访问者点击您的链接。虽然这听起来可能令人担忧,但大多数机器人流量是合法的,在互联网上具有重要功能。

机器人为什么要点击链接?

机器人点击链接有几个合法原因:

  • 链接预览 — Facebook、X 和 LinkedIn 等社交平台会获取您的链接以生成预览卡片
  • 垃圾邮件检测 — 电子邮件提供商和社交网络检查链接以保护用户免受恶意内容
  • 搜索索引 — Google 等搜索引擎抓取链接以索引内容
  • 安全扫描 — 反病毒和防火墙服务验证链接目标

Linkly 如何识别机器人

Linkly 使用三个信号来检测机器人流量:

1. 用户代理检测

许多机器人通过其用户代理字符串来标识自己。例如,Googlebot、Facebookbot 和 Twitterbot 都会宣布自己的身份。请查看我们的完整检测机器人列表。

2. 已验证的机器人

主要爬虫针对它们真正运营的网络进行了验证,因此声称是 Facebook 的链接预览爬虫的访问被验证为真实的东西,而不是凭其一言而定。

3. 网络和请求信号

有些自动化根本不会标识自己。对于这些,我们查看请求来自何处 — 如 AWS、Google Cloud 或 DigitalOcean 等云托管提供商 — 以及请求的行为方式。真实浏览器发送大多数自动化工具不发送的独特报头集。

两部分都很重要,因为许多真实的人通过托管网络访问您的链接:Facebook 和 Instagram 应用内浏览器、移动运营商代理和 iCloud 私密中继都以这种方式路由流量。来自这些网络之一且在其他方面看起来像真实浏览器的访问被计为一个人,其网络在您的分析中显示为,例如,Amazon.com (cloud) — 所以很明确为什么托管提供商会出现在您的人类访问者中。

社交媒体爬虫处理

Linkly 可以选择从您的分析中排除来自 Facebook、X、LinkedIn、Google 和 YouTube 的社交媒体爬虫。启用后:

  • 它们不被记录在您的分析中
  • 它们不计算您的点击限制
  • 它们始终允许通过,即使在启用机器人阻止时
  • 它们仍然可以生成自定义社交预览

这使您的分析保持专注于人类访问者,同时社交分享继续无缝工作。

自动忽略的用户代理

Linkly 自动忽略来自某些已知机器人用户代理的流量。这些请求被正常重定向但不被记录在分析中或计算您的点击限制中:

  • Bytespider — ByteDance 的网络爬虫
  • python-requests — Python HTTP 库,常用于自动化脚本
  • curl — 命令行 HTTP 工具

此过滤对所有链接自动进行,不需要任何配置。

机器人流量是坏的吗?

在大多数情况下,不是。大多数机器人都是执行有用功能的"好机器人"。

但是,机器人流量在以下情况下可能是有问题的:

  • 虚增点击计数 — 使得难以衡量真实参与度
  • 扭曲转化率 — 机器人从不转化,因此高机器人流量使转化率看起来更低
  • 消耗点击限制 — 虽然社交媒体爬虫可以从限制中排除

有关广告平台无效流量的信息,请参阅我们的TikTok 无效流量文章。

默认为人类点击

您的流量报告默认显示人类点击。机器人流量从您的标题点击计数中自动排除,因此您的数字反映真实访问者,无需任何设置。

在您的点击总数旁边,您会看到有多少机器人被过滤 — 例如,"1,240 次点击 · 过滤了 380 个机器人" — 所以没有什么被隐藏。

要查看所有流量,请使用报告顶部的包含机器人流量切换。这在您的总数中计算机器人,并添加一个机器人选项卡,按名称细分机器人流量。

注意: 这仅影响报告。机器人点击仍然计算您的计划的点击限制,API 默认返回所有流量 — 传递 bots=false 以从 API 请求中排除机器人。

阻止机器人流量

您可以选择阻止机器人完全访问您的链接。但是,我们通常不建议这样做,因为:

  • 检查垃圾邮件的好机器人可能会在被阻止时标记您的链接为可疑
  • 自定义社交预览不会在我们不允许通过的应用中显示,如 Slack 和 Discord
  • 搜索引擎将无法索引您的链接

当您阻止机器人时,来自 Facebook、X、LinkedIn、WhatsApp 和 Telegram 的链接预览会自动被允许通过,无需其他设置。这些访问不被记录或计算您的点击限制中。伪装成这些平台来自云托管网络的扫描器仍然被阻止。

如何阻止机器人

1

创建或编辑链接

2

在阻止机器人下,启用阻止已知机器人

在**阻止机器人**下,启用**阻止已知机器人**
在阻止机器人下,启用阻止已知机器人
3

被阻止的机器人将看到访问被阻止页面

返回的 HTTP 状态代码是 403 Forbidden。

被阻止的机器人将看到**访问被阻止**页面
被阻止的机器人将看到访问被阻止页面

常见问题

为什么我的链接会收到机器人流量?

机器人访问链接以生成预览、检查垃圾邮件和为搜索引擎索引内容。这是正常的,通常是有益的。

我应该阻止机器人吗?

通常来说,不应该。阻止机器人可能会导致您的链接被社交网络和电子邮件提供商标记为垃圾邮件。

仅在您有特定原因时阻止机器人,例如私有内部链接。

为什么我的大部分流量都来自机器人?

通过社交媒体、电子邮件或短信共享的链接通常会产生大量机器人流量,因为这些平台会主动扫描链接以防止垃圾邮件和安全威胁。

随着您的人类流量增长,机器人将代表较小的点击总百分比。

机器人是否计算我的点击限制?

大多数机器人计算您的限制,因为处理任何请求的成本相同。

但是,您可以启用跳过社交爬虫追踪以从限制和分析中排除来自 Facebook、X、LinkedIn、Google 和 YouTube 的社交媒体爬虫。

被阻止的请求也不计算您的限制中。

为什么我在 Google Analytics 中看不到这些机器人?

Google Analytics 依靠浏览器 JavaScript 来追踪访问者。机器人通常不执行 JavaScript,所以它们不会出现在 GA 报告中。

Linkly 在服务器端记录所有流量,使您能够完整了解人类和机器人流量。

Linkly 如何知道访问者是否是机器人?

大多数合法机器人通过其用户代理字符串标识自己,主要爬虫针对它们真正运营的网络进行了验证。请查看我们的检测机器人列表。

对于不标识自己的自动化,我们结合请求来自何处 — 如云托管提供商 — 以及它的行为方式,因为真实浏览器发送大多数自动化工具不发送的独特报头集。

我的链接在 VPN 上是否有效?

是的。VPN 服务通过数据中心路由流量,但真实浏览器被识别为访问者并正常通过 — 包括在启用机器人阻止的链接上。

如果链接确实出现被阻止,请检查您是否正在使用命令行工具或脚本而不是浏览器进行测试,因为那些被视为自动化。

来自广告平台的虚假点击呢?

来自 TikTok 等广告平台的无效流量是与机器人流量不同的问题。这些点击来自真实移动设备,但可能不代表真正的兴趣。

有关更多信息,请查看我们的TikTok 无效流量文章。

可用套餐

所有套餐均包含

比较套餐 →

每月追踪500次点击,包含所有功能。