Suchbots

Was ist ein Suchbot?

Ein Suchbot, manchmal auch Spider genannt, ist ein Roboter, der kontinuierlich das Internet durchsucht, üblicherweise um einen Suchindex zu erstellen.

Bots können die Verkehrszahlen künstlich aufblähen, daher ist es wichtig, sich ihrer Existenz bewusst zu sein.

Suchbots und Linkly

Linkly kann Suchbots und Spider erkennen, die sich bewusst offenbaren. Sie können in der Abteilung Bots des Traffic-Reports sehen, welche Klicks Bots zugeordnet wurden.

Wir haben einen Artikel über Bot-Traffic und wie man Bots blockiert.

Spezielle Behandlung für Social-Media-Crawler

Linkly bietet verbesserte Handhabung für Social-Media-Crawler von Facebook, YouTube, Google, LinkedIn und X.

Wenn Traffic von diesen Crawlern auf Ihre Links trifft:

• Wird er nicht aufgezeichnet in Ihrer Analyse
• Er zählt nicht gegen Ihre Click-Limits
• Der Crawler wird transparent zum richtigen Ziel weitergeleitet
• Diese Crawler werden immer durchgelassen, auch wenn die Funktion „Roboter blockieren" aktiviert ist

Dies verhindert, dass Social-Media-Crawler Ihre Click-Limits verbrauchen, während sie trotzdem Vorschaubilder generieren und Ihre Links überprüfen können.

Blockieren von Bots beim Folgen von Links

Linkly kann Roboter und Such-Spider davon abhalten, Ihren Links zu folgen. Siehe Bot-Traffic für Anweisungen zum Aktivieren der Bot-Blockierung.

Wichtig: Social-Media-Crawler von Facebook, YouTube, Google, LinkedIn und X werden immer durchgelassen, auch wenn die Blockierung aktiviert ist, damit Link-Vorschaubilder weiterhin funktionieren.

Zählen Bots gegen Click-Limits?

Social-Media-Crawler von Facebook, YouTube, Google, LinkedIn und X zählen nicht gegen Ihre Click-Limits und werden nicht in Ihrer Analyse aufgezeichnet.

Alle anderen unten aufgeführten Bots zählen gegen Ihre Click-Limits, da die Überwachung und Umleitung von Traffic unabhängig von der Quelle die gleichen Kosten verursacht.

Blockierte Bots (diejenigen, die auf eine Block-Seite treffen) zählen auch nicht gegen Ihre Limits.

Liste der Suchbots

Nachfolgend finden Sie eine Liste der Suchbots und ihrer User-Agents, die Linkly identifiziert und bei Bedarf blockiert werden können.

• 200pleasebot 200PleaseBot
• 360spider 360Spider
• abot CrawlDaddy, abot
• addthis AddThis
• adldxbot Microsoft Bing Ads
• admantx ADmantX Platform Semantic Analyzer
• adsbot-google Google Adwords
• advbot AdvBot
• ahrefsbot Ahrefs Backlink-Recherche-Tool
• alexa Alexa Crawler
• apache-httpclient Java http-Bibliothek
• apachebench ApacheBench (ab)
• apis-google APIs-Google
• appengine-google Google App Engine
• applebot Apple Bot
• archive.org_bot Internet Archive (archive.org)
• ask jeeves Ask Jeeves
• asynchttpclient Java http- und WebSocket-Client-Bibliothek
• awe.sm Awe.sm URL-Expander
• baidu Baidu
• bdcbot Big Data Corp
• bingbot Microsoft Bing
• bingpreview Microsoft Bing-Vorschau
• bitlybot bit.ly bot
• blekkobot Blekkobot
• blexbot BLEXBot (webmeup)
• [email protected] Linkfluence-Bot
• bufferbot BufferBot
• buibui-checkbot buibui
• butterfly Topsy Labs
• buzztalk buzztalk
• catchbot CatchBot (catchbot.com)
• check_http Nagios-Monitor
• cliqzbot Cliqzbot
• cmradar/0.1 CMRadar/0.1
• coldfusion ColdFusion http-Bibliothek
• commoncrawl CCBot
• comodo-webinspector-crawler Comodo
• crowsnest Crowsnest
• curabot cura.yt
• curl curl unix CLI http-Client
• dap/nethttp DAP/NetHTTP
• datagnionbot datagnion.com/bot.html
• daumoa Koreanischer Portal- und Suchmaschinen-Indexierungs-Bot
• developers.google.com/+/web/snippet/ Google Plus
• diffbot Diffbot
• digitalpersona Fingerabdruck-Software HP Fingerabdruckscanner
• domain re-animator bot Domain Re-Animator Bot
• domainsbot DomainsBot
• domaintunocrawler DomainTuno
• dotbot Dot Bot
• duckduck Duck Duck Go
• elb-healthchecker AWS ELB HealthChecker
• embedly Embedly
• eoaagent EOAAgent
• eventmachine httpclient Ruby http-Bibliothek
• everyonesocialbot EveryoneSocial
• evrinid Evri-Bot
• exabot Exalead's Bot
• exaleadcloudview ExaleadCloudView
• facebookexternalhit Facebook Bot
• facebot Facebook Bot
• feedburner RSS-Bot
• feedfetcher-google Google Feedfetcher
• findxbot Findxbot
• flipboardproxy FlipboardProxy
• friendfeedbot FriendFeed
• genieo Genieo Web-Filter-Bot
• getprismatic.com getprismatic.com
• gigabot Gigabot-Spider
• gimme60bot Gimme60 (gimme60.com)
• gimmeusabot Gimme60 (gimme60.com)
• go http package Go http-Bibliothek
• google page speed insights Google Page Speed Insights
• google Web Preview Google Instant Previews Crawler
• google-structured-data-testing-tool Google-StructuredDataTestingTool
• google-structureddatatestingtool Google-StructuredDataTestingTool
• googlebot Google Bot
• googlestackdrivermonitoring-uptimechecks GoogleStackdriverMonitoring-UptimeChecks
• grapeshotcrawler GrapeshotCrawler
• gravitybot Gravity Bot
• hatena::bookmark Hatena::Bookmark
• heritrix heritrix
• htmlparser HTMLParser
• http_request2 HTTP_Request2
• httpclient HTTPClient
• https://developers.google.com/+/web/snippet Google+ Snippet Fetcher
• hubspot HubSpot
• ia_archiver Internet Archive (WayBackMachine)
• icoreservice iCoreService
• idmarch idmarch.org/bot.html
• inagist URL-Resolver
• insieve Insieve Bot
• insitesbot Insitesbot
• instapaper Instapaper
• istellabot IstellaBot
• jack jack
• jakarta commons Jakarta Commons HttpClient
• java Generische Java http-Bibliothek
• jetslide Jetslide
• js-kit URL-Resolver
• kemvibot Kemvi
• kimengi Kimengi Bot
• knows.is knows.is
• kojitsubot Kojitsubot
• komodiabot KomodiaBot
• kraken kraken
• laconica Laconica
• libwww-perl Perl Client-Server-Bibliothek
• lijit crawler Lijit
• linkdexbot Linkdex Bot
• linkedinbot LinkedIn
• linkscrawler LinksCrawler
• linode Linode Longview
• lipperhey Lipperhey
• livelapbot Livelapbot
• loadtimebot Load Time Bot
• longurl URL-Expander-Service
• ltx71 ltx71.com
• lumibot Lumibot
• lwp-trivial Weitere Perl-Bibliothek
• magpie-crawler magpie-crawler
• mail.ru_bot Mail.ru Bot
• meanpathbot meanpath
• mediapartners-google Google Adsense-Bot
• megaindex.ru MegaIndex
• memorybot mignify.com/bot.html
• metauri MetaURI
• mfe_expand Mcafee-Spider
• mir web crawler MIR Web Crawler
• mj12bot Majestic-12 Spider
• mojeekbot Mojeek UK-Such-Crawler
• mrchrome MrChrome
• ms search 6.0 robot MS Search 6.0 Robot
• msnbot-media Microsoft Medien-Bot
• msnbot Microsoft Bot
• nerdybot NerdyBot
• netcraft Netcraft
• netstate netEstate NE Crawler
• netvibes Personalisiertes Dashboard-Bot
• netzcheckbot netzcheck
• newrelicmonitor NewRelic-Monitor
• newrelicpinger NewRelicPinger
• newsme newsme
• niki-bot niki-bot
• ning NING - Yet Another Twitter Swarmer
• nutch Apache Search Spider
• openhosebot OpenHoseBot
• orangebot OrangeBot
• pagesinventory pagesinventory.com
• panopta Monitoring-Service
• paperlibot PaperLi
• peerindex peerindex
• percolatecrawler PercolateCrawler
• perfectmarketkwtbot PerfectMarket
• phantomjs PhantomJS
• pingdom Pingdom-Überwachung
• pinterest Pinterest
• plukkie botje.com/plukkie.htm
• privacyawarebot PrivacyAwareBot
• proximic Proximic Spider
• psbot-page Picsearch
• publiclibraryarchive.org publiclibraryarchive.org
• pycurl Python http-Bibliothek
• python-httplib2 Python-httplib2
• python-requests Python http-Bibliothek
• python-urllib Python http-Bibliothek
• queryseeker QuerySeekerSpider
• quicklook QuickLook
• re-animator Domain Re-Animator Bot
• readability Readability
• rebelmouse RebelMouse
• redditbot Reddit Bot
• relateiq RelateIQ
• riddler Riddler Bot
• rogerbot SeoMoz Spider
• rssmicro RSS/Atom-Feed-Robot (rssmicro.com)
• ruby Ruby
• scrapy Scrapy
• screaming frog seo spider Screaming Frog SEO Spider
• searchmetricsbot SearchmetricsBot
• semrushbot SEO-Analyse-Bot
• seokicks SEOKicks
• seznambot SeznamBot
• shopwiki ShopWiki
• shortlinktranslate Link-Verkürzer
• showyoubot Showyou iOS App Spider
• siege Joe Dog Siege
• sistrix SISTRIX
• siteuptime Website-Überwachungsdienste
• slack Slackbot-LinkExpanding
• slackbot Slack Bot
• slurp Yahoo Spider
• smtbot SimilarTech
• socialrank SocialRankIOBot
• sogou Chinesische Suchmaschine
• spbot OpenLinkProfiler
• spider Generischer Web-Spider
• spinn3r Spinn3r Aggregator
• sputnikbot SputnikBot
• squider Squider
• statuscake StatusCake
• stripe Stripe
• test certificate info C http-Bibliothek?
• tineye TinEye Bot
• traackr Traackr Bot
• trendictionbot Trendiction Search
• turnitinbot TurnitinBot
• tweetedtimes The Tweeted Times
• tweetmemebot TweetMeMe Crawler
• twikle Social Web Search Bot
• twitjobsearch TwitJobSearch
• twitmunin Twitmunin
• twitterbot Twitter URL-Expander
• twurly Twurly
• typhoeus Typhoeus
• umbot uberMetrics
• unwindfetch Gnip
• uptimerobot Uptime Robot
• vagabondo Vagabondo
• vb project Visual Basic
• vigil Vigil
• vkshare VKontake Sharer
• voilabot VoilaBot
• vrcrawler Venture Radar
• wasalive-bot Wasalive Bots
• watchsumo WatchSumo
• wbsearchbot Ware Bay Best Buys
• webscout Webscout
• wesee WeSEE
• wget wget unix CLI http-Client
• wordpress WordPress Spider
• wormly WormlyBot
• wotbox Wotbox
• xenu link sleuth Xenu Link Sleuth
• xing-contenttabreceiver Xing Bot
• xovibot XoviBot
• yacybot YaCy
• yahoo-ad-monitoring Yahoo Ad-Überwachung
• yandex Yandex
• yeti Naver Corp
• yourls YOURLS
• zelist.ro Feed-Parser
• zibb ZIBB Spider
• zitebot Zite
• zyborg Zyborg

Cloud-Anbieter, die als Bots identifiziert werden

Viele Bots identifizieren sich nicht als solche, aber wir verfolgen die Internet-Service-Provider und identifizieren Traffic von großen Cloud-Anbietern als wahrscheinliche Bots.

• Google Cloud
• Microsoft Corporation
• OVH SAS
• DigitalOcean
• Huawei Clouds
• Google-private-cloud
• Facebook
• Amazon.com
• Google Proxy
• Omonia d.o.o.
• ColoCrossing