Suchbots

Was ist ein Suchbot?

Ein Suchbot, manchmal auch Spider genannt, ist ein Roboter, der kontinuierlich das Internet durchsucht, normalerweise um einen Suchindex zu erstellen.

Bots können die Verkehrszahlen künstlich in die Höhe treiben. Daher ist es wichtig, sich ihrer Existenz bewusst zu sein.

Suchbots und Linkly

Linkly kann Suchbots und Spider erkennen, die sich absichtlich selbst offenbaren. Im Abschnitt „Bots" des Traffic-Reports können Sie sehen, welche Klicks Bots zugeordnet wurden.

Wir haben einen Artikel über Bot-Traffic und wie man Bots blockiert.

Spezialbehandlung für Social-Media-Crawler

Linkly verfügt über verbesserte Behandlung für Social-Media-Crawler von Facebook, YouTube, Google, LinkedIn und X.

Wenn Traffic von diesen Crawlern auf Ihre Links trifft:

• Er wird nicht aufgezeichnet in Ihrer Analyse
• Er zählt nicht gegen Ihre Klicklimits
• Der Crawler wird transparent zum richtigen Ziel weitergeleitet
• Diese Crawler sind immer erlaubt, auch wenn die Funktion „Roboter blockieren" aktiviert ist

Dies verhindert, dass Social-Media-Crawler Ihre Klicklimits verbrauchen, während sie dennoch Vorschauen erstellen und Ihre Links überprüfen können.

Bots blockieren, damit sie Links nicht folgen

Linkly kann Roboter und Suchspider daran hindern, Ihren Links zu folgen. Siehe Bot-Traffic für Anweisungen zum Aktivieren der Bot-Blockierung.

Wichtig: Social-Media-Crawler von Facebook, YouTube, Google, LinkedIn und X sind immer erlaubt, auch wenn die Blockierung aktiviert ist, damit Link-Vorschauen weiterhin funktionieren.

Zählen Bots gegen Klicklimits?

Social-Media-Crawler von Facebook, YouTube, Google, LinkedIn und X zählen nicht gegen Ihre Klicklimits und werden nicht in Ihrer Analyse aufgezeichnet.

Alle anderen unten aufgelisteten Bots zählen gegen Ihre Klicklimits, da die Überwachung und Umleitung des Traffics unabhängig von der Quelle gleiche Kosten verursacht.

Blockierte Bots (diejenigen, die auf eine Blockierungsseite stoßen) zählen auch nicht gegen Ihre Limits.

Liste der Suchbots

Nachfolgend finden Sie eine Liste der Suchbots und ihrer User-Agents, die Linkly identifiziert und bei Bedarf blockiert werden können.

• 200pleasebot 200PleaseBot
• 360spider 360Spider
• abot CrawlDaddy, abot
• addthis AddThis
• adldxbot Microsoft Bing Ads
• admantx ADmantX Platform Semantic Analyzer
• adsbot-google Google Adwords
• advbot AdvBot
• ahrefsbot Ahrefs Backlink-Recherche-Tool
• alexa Alexa Crawler
• apache-httpclient Java HTTP-Bibliothek
• apachebench ApacheBench (ab)
• apis-google APIs-Google
• appengine-google Google App Engine
• applebot Apple Bot
• archive.org_bot Internet Archive (archive.org)
• ask jeeves Ask Jeeves
• asynchttpclient Java HTTP- und WebSocket-Client-Bibliothek
• awe.sm Awe.sm URL-Expander
• baidu Baidu
• bdcbot Big Data Corp
• bingbot Microsoft Bing
• bingpreview Microsoft Bing-Vorschau
• bitlybot bit.ly Bot
• blekkobot Blekkobot
• blexbot BLEXBot (webmeup)
• bot@linkfluence.net Linkfluence Bot
• bufferbot BufferBot
• buibui-checkbot buibui
• butterfly Topsy Labs
• buzztalk buzztalk
• catchbot CatchBot (catchbot.com)
• check_http Nagios Monitor
• cliqzbot Cliqzbot
• cmradar/0.1 CMRadar/0.1
• coldfusion ColdFusion HTTP-Bibliothek
• commoncrawl CCBot
• comodo-webinspector-crawler Comodo
• crowsnest Crowsnest
• curabot cura.yt
• curl curl Unix CLI HTTP-Client
• dap/nethttp DAP/NetHTTP
• datagnionbot datagnion.com/bot.html
• daumoa Koreanische Portal- und Suchmaschinen-Indexierungs-Bot
• developers.google.com/+/web/snippet/ Google Plus
• diffbot Diffbot
• digitalpersona Fingerprint-Software HP Fingerprint-Scanner
• domain re-animator bot Domain Re-Animator Bot
• domainsbot DomainsBot
• domaintunocrawler DomainTuno
• dotbot Dot Bot
• duckduck Duck Duck Go
• elb-healthchecker AWS ELB HealthChecker
• embedly Embedly
• eoaagent EOAAgent
• eventmachine httpclient Ruby HTTP-Bibliothek
• everyonesocialbot EveryoneSocial
• evrinid Evri Bot
• exabot Exalead's Bot
• exaleadcloudview ExaleadCloudView
• facebookexternalhit Facebook Bot
• facebot Facebook Bot
• feedburner RSS Bot
• feedfetcher-google Google Feedfetcher
• findxbot Findxbot
• flipboardproxy FlipboardProxy
• friendfeedbot FriendFeed
• genieo Genieo Web-Filter-Bot
• getprismatic.com getprismatic.com
• gigabot Gigabot Spider
• gimme60bot Gimme60 (gimme60.com)
• gimmeusabot Gimme60 (gimme60.com)
• go http package Go HTTP-Bibliothek
• google page speed insights Google Page Speed Insights
• google Web Preview Google Instant Previews Crawler
• google-structured-data-testing-tool Google-StructuredDataTestingTool
• google-structureddatatestingtool Google-StructuredDataTestingTool
• googlebot Google Bot
• googlestackdrivermonitoring-uptimechecks GoogleStackdriverMonitoring-UptimeChecks
• grapeshotcrawler GrapeshotCrawler
• gravitybot Gravity Bot
• hatena::bookmark Hatena::Bookmark
• heritrix heritrix
• htmlparser HTMLParser
• http_request2 HTTP_Request2
• httpclient HTTPClient
• https://developers.google.com/+/web/snippet Google+ Snippet Fetcher
• hubspot HubSpot
• ia_archiver Internet Archive (WayBackMachine)
• icoreservice iCoreService
• idmarch idmarch.org/bot.html
• inagist URL-Resolver
• insieve Insieve Bot
• insitesbot Insitesbot
• instapaper Instapaper
• istellabot IstellaBot
• jack jack
• jakarta commons Jakarta Commons HttpClient
• java Generische Java HTTP-Bibliothek
• jetslide Jetslide
• js-kit URL-Resolver
• kemvibot Kemvi
• kimengi Kimengi Bot
• knows.is knows.is
• kojitsubot Kojitsubot
• komodiabot KomodiaBot
• kraken kraken
• laconica Laconica
• libwww-perl Perl Client-Server-Bibliothek
• lijit crawler Lijit
• linkdexbot Linkdex Bot
• linkedinbot LinkedIn
• linkscrawler LinksCrawler
• linode Linode Longview
• lipperhey Lipperhey
• livelapbot Livelapbot
• loadtimebot Load Time Bot
• longurl URL-Expander-Dienst
• ltx71 ltx71.com
• lumibot Lumibot
• lwp-trivial Weitere Perl-Bibliothek
• magpie-crawler magpie-crawler
• mail.ru_bot Mail.ru Bot
• meanpathbot meanpath
• mediapartners-google Google Adsense Bot
• megaindex.ru MegaIndex
• memorybot mignify.com/bot.html
• metauri MetaURI
• mfe_expand Mcafee Spider
• mir web crawler MIR Web Crawler
• mj12bot Majestic-12 Spider
• mojeekbot Mojeek UK-Such-Crawler
• mrchrome MrChrome
• ms search 6.0 robot MS Search 6.0 Robot
• msnbot-media Microsoft Media Bot
• msnbot Microsoft Bot
• nerdybot NerdyBot
• netcraft Netcraft
• netstate netEstate NE Crawler
• netvibes Personalisiertes Dashboard Bot
• netzcheckbot netzcheck
• newrelicmonitor NewRelic Monitor
• newrelicpinger NewRelicPinger
• newsme newsme
• niki-bot niki-bot
• ning NING - Yet Another Twitter Swarmer
• nutch Apache-Such-Spider
• openhosebot OpenHoseBot
• orangebot OrangeBot
• pagesinventory pagesinventory.com
• panopta Überwachungsdienst
• paperlibot PaperLi
• peerindex peerindex
• percolatecrawler PercolateCrawler
• perfectmarketkwtbot PerfectMarket
• phantomjs PhantomJS
• pingdom Pingdom-Überwachung
• pinterest Pinterest
• plukkie botje.com/plukkie.htm
• privacyawarebot PrivacyAwareBot
• proximic Proximic Spider
• psbot-page Picsearch
• publiclibraryarchive.org publiclibraryarchive.org
• pycurl Python HTTP-Bibliothek
• python-httplib2 Python-httplib2
• python-requests Python HTTP-Bibliothek
• python-urllib Python HTTP-Bibliothek
• queryseeker QuerySeekerSpider
• quicklook QuickLook
• re-animator Domain Re-Animator Bot
• readability Readability
• rebelmouse RebelMouse
• redditbot Reddit Bot
• relateiq RelateIQ
• riddler Riddler Bot
• rogerbot SeoMoz Spider
• rssmicro RSS/Atom Feed Robot (rssmicro.com)
• ruby Ruby
• scrapy Scrapy
• screaming frog seo spider Screaming Frog SEO Spider
• searchmetricsbot SearchmetricsBot
• semrushbot SEO-Analyse-Bot
• seokicks SEOKicks
• seznambot SeznamBot
• shopwiki ShopWiki
• shortlinktranslate Link-Shortener
• showyoubot Showyou iOS App Spider
• siege Joe Dog Siege
• sistrix SISTRIX
• siteuptime Site-Überwachungsdienste
• slack Slackbot-LinkExpanding
• slackbot Slack Bot
• slurp Yahoo Spider
• smtbot SimilarTech
• socialrank SocialRankIOBot
• sogou Chinesische Suchmaschine
• spbot OpenLinkProfiler
• spider generischer Web Spider
• spinn3r Spinn3r Aggregator
• sputnikbot SputnikBot
• squider Squider
• statuscake StatusCake
• stripe Stripe
• test certificate info C HTTP-Bibliothek?
• tineye TinEye Bot
• traackr Traackr Bot
• trendictionbot Trendiction Search
• turnitinbot TurnitinBot
• tweetedtimes The Tweeted Times
• tweetmemebot TweetMeMe Crawler
• twikle Social Web Search Bot
• twitjobsearch TwitJobSearch
• twitmunin Twitmunin
• twitterbot Twitter URL-Expander
• twurly Twurly
• typhoeus Typhoeus
• umbot uberMetrics
• unwindfetch Gnip
• uptimerobot Uptime Robot
• vagabondo Vagabondo
• vb project Visual Basic
• vigil Vigil
• vkshare VKontakte Sharer
• voilabot VoilaBot
• vrcrawler Venture Radar
• wasalive-bot Wasalive Bots
• watchsumo WatchSumo
• wbsearchbot Ware Bay Best Buys
• webscout Webscout
• wesee WeSEE
• wget wget Unix CLI HTTP-Client
• wordpress WordPress Spider
• wormly WormlyBot
• wotbox Wotbox
• xenu link sleuth Xenu Link Sleuth
• xing-contenttabreceiver Xing Bot
• xovibot XoviBot
• yacybot YaCy
• yahoo-ad-monitoring Yahoo Ad Monitoring
• yandex Yandex
• yeti Naver Corp
• yourls YOURLS
• zelist.ro Feed Parser
• zibb ZIBB Spider
• zitebot Zite
• zyborg Zyborg

Cloud-Anbieter, die als Bots identifiziert wurden

Viele Bots identifizieren sich nicht als solche, aber wir verfolgen die Internet-Service-Provider und identifizieren Traffic von großen Cloud-Anbietern als wahrscheinlich Bots.

• Google Cloud
• Microsoft Corporation
• OVH SAS
• DigitalOcean
• Huawei Clouds
• Google-private-cloud
• Facebook
• Amazon.com
• Google Proxy
• Omonia d.o.o.
• ColoCrossing