Search Bots

Search bot คืออะไร

Search bot บางครั้งเรียกว่า spider คือ robot ที่เรียกดูอินเทอร์เน็ตอย่างต่อเนื่อง โดยปกติเพื่อสร้าง search index

Bot สามารถทำให้ตัวเลขการเข้าชมเพิ่มขึ้นอย่างไม่เป็นธรรมชาติได้ ดังนั้นจึงสำคัญที่ต้องทราบถึงการมีอยู่ของพวกมัน

Search bots และ Linkly

Linkly สามารถตรวจจับ search bots และ spiders ที่เปิดเผยตัวตนด้วยสติได้ คุณสามารถดูว่ากลิ่นไหนที่ถูกนำไปยังบอทในส่วน Bots ของรายงานการเข้าชมได้

เรามีบทความเกี่ยวกับ bot traffic และวิธีการบล็อก bots

การจัดการพิเศษสำหรับ social media crawlers

Linkly มีการจัดการที่ดีขึ้นสำหรับ social media crawlers จาก Facebook, YouTube, Google, LinkedIn และ X

เมื่อ traffic จาก crawlers เหล่านี้เข้าชนลิงก์ของคุณ:

• ไม่ได้ถูกบันทึก ใน analytics ของคุณ
• ไม่นับ รวมกับลิมิตการคลิกของคุณ
• crawler จะ ถูกเปลี่ยนเส้นทางอย่างโปร่งใส ไปยังปลายทางที่ถูกต้อง
• crawlers เหล่านี้ ได้รับอนุญาตเสมอ แม้ว่าเปิดใช้งานฟีเจอร์ "block robots"

วิธีนี้ช่วยป้องกันไม่ให้ social media crawlers ใช้ขีด จำกัด การคลิกของคุณ ในขณะที่ยังคงอนุญาตให้พวกมันสร้างตัวอย่างและตรวจสอบลิงก์ของคุณ

บล็อก bots จากการติดตามลิงก์

Linkly สามารถบล็อก robots และ search spiders จากการติดตามลิงก์ของคุณได้ ดู Bot Traffic สำหรับคำแนะนำเกี่ยวกับการเปิดใช้งานการบล็อก bots

สำคัญ: Social media crawlers จาก Facebook, YouTube, Google, LinkedIn และ X จะได้รับอนุญาตเสมอแม้เมื่อเปิดใช้งานการบล็อก ดังนั้นตัวอย่างลิงก์จึงยังคงทำงาน

Bot นับรวมกับลิมิตการคลิกหรือไม่

Social media crawlers จาก Facebook, YouTube, Google, LinkedIn และ X ไม่นับ รวมกับลิมิตการคลิกของคุณ และไม่ได้บันทึกใน analytics ของคุณ

Bot อื่น ๆ ทั้งหมดที่ระบุไว้ด้านล่าง จะนับ รวมกับลิมิตการคลิกของคุณ เนื่องจากค่าใช้จ่ายในการตรวจสอบและเปลี่ยนเส้นทาง traffic เหมือนกันไม่ว่าจะมาจากแหล่งใด

Blocked bots (บอทที่พบกับหน้าบล็อก) ก็ไม่นับรวมกับลิมิตของคุณเช่นกัน

รายการ search bots

ด้านล่างเป็นรายการของ search bots และ user-agents ที่ Linkly ระบุตัวตน และสามารถบล็อกได้หากจำเป็น

• 200pleasebot 200PleaseBot
• 360spider 360Spider
• abot CrawlDaddy, abot
• addthis AddThis
• adldxbot Microsoft Bing Ads
• admantx ADmantX Platform Semantic Analyzer
• adsbot-google Google Adwords
• advbot AdvBot
• ahrefsbot เครื่องมือวิจัย backlinks ของ Ahrefs
• alexa Alexa Crawler
• apache-httpclient ไลบรารี http ของ Java
• apachebench ApacheBench (ab)
• apis-google APIs-Google
• appengine-google Google App Engine
• applebot Apple Bot
• archive.org_bot Internet Archive (archive.org)
• ask jeeves Ask Jeeves
• asynchttpclient ไลบรารี WebSocket และ http ของ Java
• awe.sm ตัวขยาย URL Awe.sm
• baidu Baidu
• bdcbot Big Data Corp
• bingbot Microsoft Bing
• bingpreview Microsoft Bing preview
• bitlybot bit.ly bot
• blekkobot Blekkobot
• blexbot BLEXBot (webmeup)
• bot@linkfluence.net bot ของ Linkfluence
• bufferbot BufferBot
• buibui-checkbot buibui
• butterfly Topsy Labs
• buzztalk buzztalk
• catchbot CatchBot (catchbot.com)
• check_http Nagios monitor
• cliqzbot Cliqzbot
• cmradar/0.1 CMRadar/0.1
• coldfusion ไลบรารี http ของ ColdFusion
• commoncrawl CCBot
• comodo-webinspector-crawler Comodo
• crowsnest Crowsnest
• curabot cura.yt
• curl curl unix CLI http client
• dap/nethttp DAP/NetHTTP
• datagnionbot datagnion.com/bot.html
• daumoa bot การสร้างดัชนีของ search engine และ Korean portal
• developers.google.com/+/web/snippet/ Google Plus
• diffbot Diffbot
• digitalpersona ซอฟต์แวร์ลายนิ้ว HP Fingerprint scanner
• domain re-animator bot Domain Re-Animator Bot
• domainsbot DomainsBot
• domaintunocrawler DomainTuno
• dotbot Dot Bot
• duckduck Duck Duck Go
• elb-healthchecker AWS ELB HealthChecker
• embedly Embedly
• eoaagent EOAAgent
• eventmachine httpclient ไลบรารี http ของ Ruby
• everyonesocialbot EveryoneSocial
• evrinid bot ของ Evri
• exabot bot ของ Exalead
• exaleadcloudview ExaleadCloudView
• facebookexternalhit Facebook Bot
• facebot Facebook Bot
• feedburner RSS bot
• feedfetcher-google Google Feedfetcher
• findxbot Findxbot
• flipboardproxy FlipboardProxy
• friendfeedbot FriendFeed
• genieo Genieo Web filter bot
• getprismatic.com getprismatic.com
• gigabot Gigabot spider
• gimme60bot Gimme60 (gimme60.com)
• gimmeusabot Gimme60 (gimme60.com)
• go http package ไลบรารี http ของ Go
• google page speed insights Google Page Speed Insights
• google Web Preview ตัว crawler Google Instant Previews
• google-structured-data-testing-tool Google-StructuredDataTestingTool
• google-structureddatatestingtool Google-StructuredDataTestingTool
• googlebot Google Bot
• googlestackdrivermonitoring-uptimechecks GoogleStackdriverMonitoring-UptimeChecks
• grapeshotcrawler GrapeshotCrawler
• gravitybot Gravity Bot
• hatena::bookmark Hatena::Bookmark
• heritrix heritrix
• htmlparser HTMLParser
• http_request2 HTTP_Request2
• httpclient HTTPClient
• https://developers.google.com/+/web/snippet Google+ Snippet Fetcher
• hubspot HubSpot
• ia_archiver Internet Archive (WayBackMachine)
• icoreservice iCoreService
• idmarch idmarch.org/bot.html
• inagist ตัวแก้ไข URL
• insieve Insieve Bot
• insitesbot Insitesbot
• instapaper Instapaper
• istellabot IstellaBot
• jack jack
• jakarta commons Jakarta Commons HttpClient
• java ไลบรารี http ของ Java โดยทั่วไป
• jetslide Jetslide
• js-kit ตัวแก้ไข URL
• kemvibot Kemvi
• kimengi Kimengi Bot
• knows.is knows.is
• kojitsubot Kojitsubot
• komodiabot KomodiaBot
• kraken kraken
• laconica Laconica
• libwww-perl ไลบรารี client-server ของ Perl
• lijit crawler Lijit
• linkdexbot Linkdex Bot
• linkedinbot LinkedIn
• linkscrawler LinksCrawler
• linode Linode Longview
• lipperhey Lipperhey
• livelapbot Livelapbot
• loadtimebot Load Time Bot
• longurl บริการขยาย URL
• ltx71 ltx71.com
• lumibot Lumibot
• lwp-trivial ไลบรารี Perl อีกตัว
• magpie-crawler magpie-crawler
• mail.ru_bot Mail.ru Bot
• meanpathbot meanpath
• mediapartners-google Google Adsense bot
• megaindex.ru MegaIndex
• memorybot mignify.com/bot.html
• metauri MetaURI
• mfe_expand Mcafee spider
• mir web crawler MIR web crawler
• mj12bot Majestic-12 spider
• mojeekbot Mojeek UK search crawler
• mrchrome MrChrome
• ms search 6.0 robot MS Search 6.0 Robot
• msnbot-media บอท media ของ Microsoft
• msnbot บอท Microsoft
• nerdybot NerdyBot
• netcraft Netcraft
• netstate netEstate NE Crawler
• netvibes บอท personalized dashboard
• netzcheckbot netzcheck
• newrelicmonitor NewRelic monitor
• newrelicpinger NewRelicPinger
• newsme newsme
• niki-bot niki-bot
• ning NING - Yet Another Twitter Swarmer
• nutch Apache search spider
• openhosebot OpenHoseBot
• orangebot OrangeBot
• pagesinventory pagesinventory.com
• panopta Monitoring service
• paperlibot PaperLi
• peerindex peerindex
• percolatecrawler PercolateCrawler
• perfectmarketkwtbot PerfectMarket
• phantomjs PhantomJS
• pingdom Pingdom monitoring
• pinterest Pinterest
• plukkie botje.com/plukkie.htm
• privacyawarebot PrivacyAwareBot
• proximic Proximic Spider
• psbot-page Picsearch
• publiclibraryarchive.org publiclibraryarchive.org
• pycurl ไลบรารี http ของ Python
• python-httplib2 Python-httplib2
• python-requests ไลบรารี http ของ Python
• python-urllib ไลบรารี http ของ Python
• queryseeker QuerySeekerSpider
• quicklook QuickLook
• re-animator Domain Re-Animator Bot
• readability Readability
• rebelmouse RebelMouse
• redditbot Reddit Bot
• relateiq RelateIQ
• riddler Riddler Bot
• rogerbot SeoMoz spider
• rssmicro RSS/Atom Feed Robot (rssmicro.com)
• ruby Ruby
• scrapy Scrapy
• screaming frog seo spider Screaming Frog SEO Spider
• searchmetricsbot SearchmetricsBot
• semrushbot บอท SEO analysis
• seokicks SEOKicks
• seznambot SeznamBot
• shopwiki ShopWiki
• shortlinktranslate Link shortener
• showyoubot Showyou iOS app spider
• siege Joe Dog Siege
• sistrix SISTRIX
• siteuptime บริการการตรวจสอบไซต์
• slack Slackbot-LinkExpanding
• slackbot Slack Bot
• slurp Yahoo spider
• smtbot SimilarTech
• socialrank SocialRankIOBot
• sogou search engine ของจีน
• spbot OpenLinkProfiler
• spider web spider โดยทั่วไป
• spinn3r Spinn3r aggregator
• sputnikbot SputnikBot
• squider Squider
• statuscake StatusCake
• stripe Stripe
• test certificate info ไลบรารี C http?
• tineye TinEye Bot
• traackr Traackr Bot
• trendictionbot Trendiction Search
• turnitinbot TurnitinBot
• tweetedtimes The Tweeted Times
• tweetmemebot TweetMeMe Crawler
• twikle bot ค้นหา web สังคม
• twitjobsearch TwitJobSearch
• twitmunin Twitmunin
• twitterbot ตัวขยาย URL ของ Twitter
• twurly Twurly
• typhoeus Typhoeus
• umbot uberMetrics
• unwindfetch Gnip
• uptimerobot Uptime Robot
• vagabondo Vagabondo
• vb project Visual Basic
• vigil Vigil
• vkshare VKontake Sharer
• voilabot VoilaBot
• vrcrawler Venture Radar
• wasalive-bot Wasalive Bots
• watchsumo WatchSumo
• wbsearchbot Ware Bay Best Buys
• webscout Webscout
• wesee WeSEE
• wget wget unix CLI http client
• wordpress WordPress spider
• wormly WormlyBot
• wotbox Wotbox
• xenu link sleuth Xenu Link Sleuth
• xing-contenttabreceiver Xing bot
• xovibot XoviBot
• yacybot YaCy
• yahoo-ad-monitoring Yahoo Ad monitoring
• yandex Yandex
• yeti Naver Corp
• yourls YOURLS
• zelist.ro feed parser
• zibb ZIBB spider
• zitebot Zite
• zyborg Zyborg

ผู้ให้บริการคลาวด์ที่ระบุว่าเป็น bots

bots จำนวนมากไม่ได้ระบุตัวตนว่าเป็น bots แต่เราติดตามผู้ให้บริการอินเทอร์เน็ต และระบุ traffic จากผู้ให้บริการคลาวด์ขนาดใหญ่ว่าเป็นไปได้ว่าเป็น bots เช่นกัน

• Google Cloud
• Microsoft Corporation
• OVH SAS
• DigitalOcean
• Huawei Clouds
• Google-private-cloud
• Facebook
• Amazon.com
• Google Proxy
• Omonia d.o.o.
• ColoCrossing