Bot Tìm kiếm

Bot tìm kiếm là gì?

Bot tìm kiếm, đôi khi được gọi là trình thu thập web, là một robot liên tục duyệt internet, thường nhằm mục đích xây dựng chỉ mục tìm kiếm.

Bot có thể làm tăng nhân tạo số lượng lưu lượng truy cập, vì vậy điều quan trọng là phải biết về sự tồn tại của chúng.

Bot tìm kiếm và Linkly

Linkly có thể phát hiện các bot và trình thu thập web tìm kiếm tự công bố. Bạn có thể xem những cái nhấp chuột nào được quy cho bot trong phần Bot của báo cáo lưu lượng truy cập.

Chúng tôi có một bài viết về lưu lượng truy cập bot và cách chặn bot.

Xử lý đặc biệt cho trình thu thập web phương tiện truyền thông xã hội

Linkly đã cải thiện xử lý cho trình thu thập web phương tiện truyền thông xã hội từ Facebook, YouTube, Google, LinkedIn và X.

Khi lưu lượng truy cập từ các trình thu thập web này truy cập vào liên kết của bạn:

• Nó không được ghi lại trong phân tích của bạn
• Nó không tính so với giới hạn nhấp chuột của bạn
• Trình thu thập web được chuyển hướng một cách minh bạch đến đích đúng
• Những trình thu thập web này luôn được phép đi qua, ngay cả khi tính năng "chặn robot" được bật

Điều này ngăn chặn trình thu thập web phương tiện truyền thông xã hội tiêu thụ giới hạn nhấp chuột của bạn trong khi vẫn cho phép chúng tạo bản xem trước và kiểm tra liên kết của bạn.

Chặn bot khỏi theo dõi liên kết

Linkly có thể chặn robot và trình thu thập web tìm kiếm khỏi theo dõi liên kết của bạn. Xem Lưu lượng truy cập Bot để biết hướng dẫn kích hoạt chặn bot.

Quan trọng: Trình thu thập web phương tiện truyền thông xã hội từ Facebook, YouTube, Google, LinkedIn và X luôn được phép đi qua ngay cả khi bật chặn, để bản xem trước liên kết tiếp tục hoạt động.

Bot có tính vào giới hạn nhấp chuột không?

Trình thu thập web phương tiện truyền thông xã hội từ Facebook, YouTube, Google, LinkedIn và X không tính vào giới hạn nhấp chuột của bạn và không được ghi lại trong phân tích của bạn.

Tất cả các bot khác được xác định dưới đây tính vào giới hạn nhấp chuột của bạn, vì chi phí để giám sát và chuyển hướng lưu lượng truy cập là như nhau bất kể nguồn là gì.

Bot bị chặn (những bot gặp phải trang chặn) cũng không tính vào giới hạn của bạn.

Danh sách bot tìm kiếm

Dưới đây là danh sách các bot tìm kiếm và chuỗi đại diện của chúng mà Linkly xác định và có thể chặn nếu cần thiết.

• 200pleasebot 200PleaseBot
• 360spider 360Spider
• abot CrawlDaddy, abot
• addthis AddThis
• adldxbot Microsoft Bing Ads
• admantx ADmantX Platform Semantic Analyzer
• adsbot-google Google Adwords
• advbot AdvBot
• ahrefsbot Ahrefs backlinks research tool
• alexa Alexa Crawler
• apache-httpclient Java http library
• apachebench ApacheBench (ab)
• apis-google APIs-Google
• appengine-google Google App Engine
• applebot Apple Bot
• archive.org_bot Internet Archive (archive.org)
• ask jeeves Ask Jeeves
• asynchttpclient Java http and WebSocket client library
• awe.sm Awe.sm URL expander
• baidu Baidu
• bdcbot Big Data Corp
• bingbot Microsoft Bing
• bingpreview Microsoft Bing preview
• bitlybot bit.ly bot
• blekkobot Blekkobot
• blexbot BLEXBot (webmeup)
• bot@linkfluence.net Linkfluence bot
• bufferbot BufferBot
• buibui-checkbot buibui
• butterfly Topsy Labs
• buzztalk buzztalk
• catchbot CatchBot (catchbot.com)
• check_http Nagios monitor
• cliqzbot Cliqzbot
• cmradar/0.1 CMRadar/0.1
• coldfusion ColdFusion http library
• commoncrawl CCBot
• comodo-webinspector-crawler Comodo
• crowsnest Crowsnest
• curabot cura.yt
• curl curl unix CLI http client
• dap/nethttp DAP/NetHTTP
• datagnionbot datagnion.com/bot.html
• daumoa Korean portal and search engine indexing bot
• developers.google.com/+/web/snippet/ Google Plus
• diffbot Diffbot
• digitalpersona fingerprint software HP Fingerprint scanner
• domain re-animator bot Domain Re-Animator Bot
• domainsbot DomainsBot
• domaintunocrawler DomainTuno
• dotbot Dot Bot
• duckduck Duck Duck Go
• elb-healthchecker AWS ELB HealthChecker
• embedly Embedly
• eoaagent EOAAgent
• eventmachine httpclient Ruby http library
• everyonesocialbot EveryoneSocial
• evrinid Evri bot
• exabot Exalead's bot
• exaleadcloudview ExaleadCloudView
• facebookexternalhit Facebook Bot
• facebot Facebook Bot
• feedburner RSS bot
• feedfetcher-google Google Feedfetcher
• findxbot Findxbot
• flipboardproxy FlipboardProxy
• friendfeedbot FriendFeed
• genieo Genieo Web filter bot
• getprismatic.com getprismatic.com
• gigabot Gigabot spider
• gimme60bot Gimme60 (gimme60.com)
• gimmeusabot Gimme60 (gimme60.com)
• go http package Go http library
• google page speed insights Google Page Speed Insights
• google Web Preview Google Instant Previews crawler
• google-structured-data-testing-tool Google-StructuredDataTestingTool
• google-structureddatatestingtool Google-StructuredDataTestingTool
• googlebot Google Bot
• googlestackdrivermonitoring-uptimechecks GoogleStackdriverMonitoring-UptimeChecks
• grapeshotcrawler GrapeshotCrawler
• gravitybot Gravity Bot
• hatena::bookmark Hatena::Bookmark
• heritrix heritrix
• htmlparser HTMLParser
• http_request2 HTTP_Request2
• httpclient HTTPClient
• https://developers.google.com/+/web/snippet Google+ Snippet Fetcher
• hubspot HubSpot
• ia_archiver Internet Archive (WayBackMachine)
• icoreservice iCoreService
• idmarch idmarch.org/bot.html
• inagist URL resolver
• insieve Insieve Bot
• insitesbot Insitesbot
• instapaper Instapaper
• istellabot IstellaBot
• jack jack
• jakarta commons Jakarta Commons HttpClient
• java Generic Java http library
• jetslide Jetslide
• js-kit URL resolver
• kemvibot Kemvi
• kimengi Kimengi Bot
• knows.is knows.is
• kojitsubot Kojitsubot
• komodiabot KomodiaBot
• kraken kraken
• laconica Laconica
• libwww-perl Perl client-server library
• lijit crawler Lijit
• linkdexbot Linkdex Bot
• linkedinbot LinkedIn
• linkscrawler LinksCrawler
• linode Linode Longview
• lipperhey Lipperhey
• livelapbot Livelapbot
• loadtimebot Load Time Bot
• longurl URL expander service
• ltx71 ltx71.com
• lumibot Lumibot
• lwp-trivial Another Perl library
• magpie-crawler magpie-crawler
• mail.ru_bot Mail.ru Bot
• meanpathbot meanpath
• mediapartners-google Google Adsense bot
• megaindex.ru MegaIndex
• memorybot mignify.com/bot.html
• metauri MetaURI
• mfe_expand Mcafee spider
• mir web crawler MIR web crawler
• mj12bot Majestic-12 spider
• mojeekbot Mojeek UK search crawler
• mrchrome MrChrome
• ms search 6.0 robot MS Search 6.0 Robot
• msnbot-media Microsoft media bot
• msnbot Microsoft bot
• nerdybot NerdyBot
• netcraft Netcraft
• netstate netEstate NE Crawler
• netvibes Personalized dashboard bot
• netzcheckbot netzcheck
• newrelicmonitor NewRelic monitor
• newrelicpinger NewRelicPinger
• newsme newsme
• niki-bot niki-bot
• ning NING - Yet Another Twitter Swarmer
• nutch Apache search spider
• openhosebot OpenHoseBot
• orangebot OrangeBot
• pagesinventory pagesinventory.com
• panopta Monitoring service
• paperlibot PaperLi
• peerindex peerindex
• percolatecrawler PercolateCrawler
• perfectmarketkwtbot PerfectMarket
• phantomjs PhantomJS
• pingdom Pingdom monitoring
• pinterest Pinterest
• plukkie botje.com/plukkie.htm
• privacyawarebot PrivacyAwareBot
• proximic Proximic Spider
• psbot-page Picsearch
• publiclibraryarchive.org publiclibraryarchive.org
• pycurl Python http library
• python-httplib2 Python-httplib2
• python-requests Python http library
• python-urllib Python http library
• queryseeker QuerySeekerSpider
• quicklook QuickLook
• re-animator Domain Re-Animator Bot
• readability Readability
• rebelmouse RebelMouse
• redditbot Reddit Bot
• relateiq RelateIQ
• riddler Riddler Bot
• rogerbot SeoMoz spider
• rssmicro RSS/Atom Feed Robot (rssmicro.com)
• ruby Ruby
• scrapy Scrapy
• screaming frog seo spider Screaming Frog SEO Spider
• searchmetricsbot SearchmetricsBot
• semrushbot SEO analysis bot
• seokicks SEOKicks
• seznambot SeznamBot
• shopwiki ShopWiki
• shortlinktranslate Link shortener
• showyoubot Showyou iOS app spider
• siege Joe Dog Siege
• sistrix SISTRIX
• siteuptime Site monitoring services
• slack Slackbot-LinkExpanding
• slackbot Slack Bot
• slurp Yahoo spider
• smtbot SimilarTech
• socialrank SocialRankIOBot
• sogou Chinese search engine
• spbot OpenLinkProfiler
• spider generic web spider
• spinn3r Spinn3r aggregator
• sputnikbot SputnikBot
• squider Squider
• statuscake StatusCake
• stripe Stripe
• test certificate info C http library?
• tineye TinEye Bot
• traackr Traackr Bot
• trendictionbot Trendiction Search
• turnitinbot TurnitinBot
• tweetedtimes The Tweeted Times
• tweetmemebot TweetMeMe Crawler
• twikle Social web search bot
• twitjobsearch TwitJobSearch
• twitmunin Twitmunin
• twitterbot Twitter URL expander
• twurly Twurly
• typhoeus Typhoeus
• umbot uberMetrics
• unwindfetch Gnip
• uptimerobot Uptime Robot
• vagabondo Vagabondo
• vb project Visual Basic
• vigil Vigil
• vkshare VKontake Sharer
• voilabot VoilaBot
• vrcrawler Venture Radar
• wasalive-bot Wasalive Bots
• watchsumo WatchSumo
• wbsearchbot Ware Bay Best Buys
• webscout Webscout
• wesee WeSEE
• wget wget unix CLI http client
• wordpress WordPress spider
• wormly WormlyBot
• wotbox Wotbox
• xenu link sleuth Xenu Link Sleuth
• xing-contenttabreceiver Xing bot
• xovibot XoviBot
• yacybot YaCy
• yahoo-ad-monitoring Yahoo Ad monitoring
• yandex Yandex
• yeti Naver Corp
• yourls YOURLS
• zelist.ro feed parser
• zibb ZIBB spider
• zitebot Zite
• zyborg Zyborg

Nhà cung cấp dịch vụ đám mây được xác định là bot

Nhiều bot không tự công bố là bot, nhưng chúng tôi theo dõi các nhà cung cấp dịch vụ internet và xác định lưu lượng truy cập từ các nhà cung cấp dịch vụ đám mây lớn có khả năng là bot.

• Google Cloud
• Microsoft Corporation
• OVH SAS
• DigitalOcean
• Huawei Clouds
• Google-private-cloud
• Facebook
• Amazon.com
• Google Proxy
• Omonia d.o.o.
• ColoCrossing