了解机器人流量

机器人流量是指任何非人类访问者点击您的链接。虽然这听起来可能令人担忧,但大多数机器人流量是合法的,在互联网上发挥重要作用。

为什么机器人会点击链接?

机器人出于几个合法原因点击链接:

  • 链接预览 — Facebook、X 和 LinkedIn 等社交平台获取您的链接以生成预览卡片
  • 垃圾邮件检测 — 电子邮件提供商和社交网络检查链接以保护用户免受恶意内容侵害
  • 搜索索引 — Google 等搜索引擎抓取链接以索引内容
  • 安全扫描 — 防病毒和防火墙服务验证链接目标

Linkly 如何识别机器人

Linkly 使用两种方法来检测机器人流量:

1. User Agent 检测

许多机器人通过其 user agent 字符串识别自己。例如,GooglebotFacebookbotXbot 都会自我宣布。参见我们的检测到的机器人完整列表

2. ISP 检测

某些机器人不会自我识别,但我们可以通过检查请求是否来自云托管提供商(如 AWS、Google Cloud 或 DigitalOcean)来检测它们。来自数据中心的流量几乎总是自动化的。

社交媒体爬虫处理

Linkly 可以选择从 Facebook、X、LinkedIn、Google 和 YouTube 的社交媒体爬虫中排除您的分析。启用后:

  • 它们不会被记录在您的分析中
  • 它们不计入您的点击限制
  • 它们始终被允许,即使启用了机器人阻止
  • 它们仍然可以生成自定义社交预览

这使您的分析专注于人类访问者,同时社交分享继续无缝进行。

自动忽略的 User Agent

Linkly 自动忽略来自某些已知机器人 user agent 的流量。这些请求正常重定向未记录在分析中,也未计入您的点击限制:

  • Bytespider — 字节跳动的网络爬虫
  • python-requests — Python HTTP 库,常用于自动化脚本
  • curl — 命令行 HTTP 工具

此过滤对所有链接自动进行,无需任何配置。

机器人流量是坏的吗?

在大多数情况下,不是。大多数机器人都是执行有用功能的"好机器人"。

但是,机器人流量在以下情况下可能会有问题:

  • 夸大点击计数 — 使测量真实参与度变得困难
  • 歪曲转化率 — 机器人永远不会转化,因此高机器人流量使转化率显得较低
  • 消耗点击限制 — 虽然社交媒体爬虫可以从限制中排除

有关广告平台无效流量的信息,请参阅我们关于 TikTok 无效流量的文章。

如何从报告中过滤机器人

使用流量报告右上角的过滤机器人按钮从您的分析中排除机器人流量。

排除机器人按钮
排除机器人按钮

阻止机器人流量

您可以选择完全阻止机器人访问您的链接。但是,我们通常不建议这样做,因为:

  • 检查垃圾邮件的好机器人如果被阻止可能会将您的链接标记为可疑
  • 大多数平台上自定义社交预览将无法正常工作
  • 搜索引擎将无法索引您的链接

要阻止其他机器人同时仍允许社交媒体预览,请在您的链接上同时启用"阻止机器人和爬虫"和"跳过社交爬虫跟踪"。

如何阻止机器人

1

创建或编辑链接

2

阻止机器人和爬虫下,启用阻止机器人

在**阻止机器人和爬虫**下,启用**阻止机器人**
阻止机器人和爬虫下,启用阻止机器人
3

被阻止的机器人将看到访问被阻止页面

返回的 HTTP 状态码是 403 Forbidden。

被阻止的机器人将看到**访问被阻止**页面
被阻止的机器人将看到访问被阻止页面

常见问题

为什么我的链接会收到机器人流量?

机器人访问链接以生成预览、检查垃圾邮件和为搜索引擎索引内容。这是正常的,通常是有益的。

我应该阻止机器人吗?

总的来说,不应该。阻止机器人可能会导致您的链接被社交网络和电子邮件提供商标记为垃圾邮件。

仅在您有具体原因时才阻止机器人,例如私密内部链接。

为什么我的大部分流量来自机器人?

通过社交媒体、电子邮件或短信共享的链接通常会产生大量机器人流量,因为这些平台会主动扫描链接以寻找垃圾邮件和安全威胁。

随着您的人类流量增长,机器人将代表总点击数的较小百分比。

机器人是否计入我的点击限制?

大多数机器人确实计入您的限制,因为处理任何请求的成本相同。

但是,您可以启用跳过社交爬虫跟踪以从 Facebook、X、LinkedIn、Google 和 YouTube 的社交媒体爬虫中排除限制和分析。

被阻止的请求也不计入您的限制。

为什么我在 Google Analytics 中看不到这些机器人?

Google Analytics 依赖浏览器 JavaScript 来跟踪访问者。机器人通常不执行 JavaScript,因此它们不会出现在 GA 报告中。

Linkly 在服务器端记录所有流量,为您提供人类和机器人流量的完整可见性。

Linkly 如何知道访问者是否是机器人?

大多数合法机器人通过其 user agent 字符串识别自己。参见我们的检测到的机器人列表

对于不自我识别的机器人,我们检查请求是否来自 Linkly 识别为潜在机器人源的云托管提供商或数据中心。

当我使用 VPN 时为什么我的链接被阻止?

许多 VPN 服务通过 Linkly 识别为潜在机器人源的数据中心路由流量。

如果您需要从另一个国家测试链接,请让使用常规住宅互联网连接的人为您检查。

广告平台的虚假点击呢?

来自 TikTok 等广告平台的无效流量是与机器人流量不同的问题。这些点击来自真实的移动设备,但可能不代表真实的兴趣。

有关更多信息,请参阅我们关于 TikTok 无效流量的文章。

Plan availability

Available on Starter and above

Compare plans →

Get 100 short links and track 500 monthly clicks for free.