Suchbots

Was ist ein Suchbot?

Ein Suchbot, manchmal auch Spider genannt, ist ein Roboter, der kontinuierlich im Internet surft, normalerweise um einen Suchindex zu erstellen.

Bots können die Besucherzahlen künstlich erhöhen, daher ist es wichtig, sich ihrer Existenz bewusst zu sein.

Suchbots und Linkly

Linkly kann Suchbots und Spider erkennen, die sich absichtlich zu erkennen geben. Sie können sehen, welche Klicks Bots zugeordnet wurden, im Abschnitt „Bots" des Traffic-Reports.

Wir haben einen Artikel über Bot-Traffic und wie man Bots blockiert.

Spezielle Behandlung für Social-Media-Crawler

Linkly hat eine verbesserte Behandlung für Social-Media-Crawler von Facebook, YouTube, Google, LinkedIn und X.

Wenn Traffic von diesen Crawlern auf Ihre Links trifft:

• wird er nicht aufgezeichnet in Ihren Analysen
• zählt nicht gegen Ihre Click-Limits
• der Crawler wird transparent zum korrekten Ziel weitergeleitet
• diese Crawler sind immer erlaubt, auch wenn die Funktion „Roboter blockieren" aktiviert ist

Dies verhindert, dass Social-Media-Crawler Ihre Click-Limits verbrauchen, während sie trotzdem Vorschauen generieren und Ihre Links überprüfen können.

Bots blockieren, damit sie Links nicht folgen

Linkly kann Roboter und Suchspider blockieren, damit sie Ihren Links nicht folgen. Siehe Bot-Traffic für Anweisungen zum Aktivieren der Bot-Blockierung.

Wichtig: Social-Media-Crawler von Facebook, YouTube, Google, LinkedIn, X, WhatsApp und Telegram sind immer erlaubt, auch wenn die Blockierung aktiviert ist, damit Link-Vorschauen weiterhin funktionieren. Die Ausnahme sind Anfragen, die sich als diese Plattformen aus Cloud-Hosting-Netzwerken ausgeben, die weiterhin blockiert werden.

Zählen Bots gegen Click-Limits?

Social-Media-Crawler von Facebook, YouTube, Google, LinkedIn und X zählen nicht gegen Ihre Click-Limits und werden nicht in Ihren Analysen aufgezeichnet.

Alle anderen unten aufgeführten Bots zählen gegen Ihre Click-Limits, da es die gleichen Kosten verursacht, Traffic zu überwachen und umzuleiten, unabhängig von der Quelle.

Blockierte Bots (die auf eine Blockierungsseite treffen) zählen auch nicht zu Ihren Limits.

Liste von Suchbots

Unten finden Sie eine Liste von Suchbots und ihren User-Agents, die Linkly identifiziert und bei Bedarf blockiert werden können.

• 200pleasebot 200PleaseBot
• 360spider 360Spider
• abot CrawlDaddy, abot
• addthis AddThis
• adldxbot Microsoft Bing Ads
• admantx ADmantX Platform Semantic Analyzer
• adsbot-google Google Adwords
• advbot AdvBot
• ahrefsbot Ahrefs Backlinks-Recherche-Tool
• alexa Alexa Crawler
• apache-httpclient Java HTTP-Bibliothek
• apachebench ApacheBench (ab)
• apis-google APIs-Google
• appengine-google Google App Engine
• applebot Apple Bot
• archive.org_bot Internet Archive (archive.org)
• ask jeeves Ask Jeeves
• asynchttpclient Java HTTP- und WebSocket-Client-Bibliothek
• awe.sm Awe.sm URL-Expander
• baidu Baidu
• bdcbot Big Data Corp
• bingbot Microsoft Bing
• bingpreview Microsoft Bing Vorschau
• bitlybot bit.ly Bot
• blekkobot Blekkobot
• blexbot BLEXBot (webmeup)
• bot@linkfluence.net Linkfluence Bot
• bufferbot BufferBot
• buibui-checkbot buibui
• butterfly Topsy Labs
• buzztalk buzztalk
• catchbot CatchBot (catchbot.com)
• check_http Nagios Monitor
• cliqzbot Cliqzbot
• cmradar/0.1 CMRadar/0.1
• coldfusion ColdFusion HTTP-Bibliothek
• commoncrawl CCBot
• comodo-webinspector-crawler Comodo
• crowsnest Crowsnest
• curabot cura.yt
• curl curl Unix CLI HTTP-Client
• dap/nethttp DAP/NetHTTP
• datagnionbot datagnion.com/bot.html
• daumoa Koreanischer Portal- und Suchmaschinen-Indexierungs-Bot
• developers.google.com/+/web/snippet/ Google Plus
• diffbot Diffbot
• digitalpersona Fingerabdruck-Software HP Fingerprint Scanner
• domain re-animator bot Domain Re-Animator Bot
• domainsbot DomainsBot
• domaintunocrawler DomainTuno
• dotbot Dot Bot
• duckduck Duck Duck Go
• elb-healthchecker AWS ELB HealthChecker
• embedly Embedly
• eoaagent EOAAgent
• eventmachine httpclient Ruby HTTP-Bibliothek
• everyonesocialbot EveryoneSocial
• evrinid Evri Bot
• exabot Exaleads Bot
• exaleadcloudview ExaleadCloudView
• facebookexternalhit Facebook Bot
• facebot Facebook Bot
• feedburner RSS Bot
• feedfetcher-google Google Feedfetcher
• findxbot Findxbot
• flipboardproxy FlipboardProxy
• friendfeedbot FriendFeed
• genieo Genieo Web-Filter-Bot
• getprismatic.com getprismatic.com
• gigabot Gigabot Spider
• gimme60bot Gimme60 (gimme60.com)
• gimmeusabot Gimme60 (gimme60.com)
• go http package Go HTTP-Bibliothek
• google page speed insights Google Page Speed Insights
• google Web Preview Google Instant Previews Crawler
• google-structured-data-testing-tool Google-StructuredDataTestingTool
• google-structureddatatestingtool Google-StructuredDataTestingTool
• googlebot Google Bot
• googlestackdrivermonitoring-uptimechecks GoogleStackdriverMonitoring-UptimeChecks
• grapeshotcrawler GrapeshotCrawler
• gravitybot Gravity Bot
• hatena::bookmark Hatena::Bookmark
• heritrix heritrix
• htmlparser HTMLParser
• http_request2 HTTP_Request2
• httpclient HTTPClient
• https://developers.google.com/+/web/snippet Google+ Snippet Fetcher
• hubspot HubSpot
• ia_archiver Internet Archive (WayBackMachine)
• icoreservice iCoreService
• idmarch idmarch.org/bot.html
• inagist URL Resolver
• insieve Insieve Bot
• insitesbot Insitesbot
• instapaper Instapaper
• istellabot IstellaBot
• jack jack
• jakarta commons Jakarta Commons HttpClient
• java Generische Java HTTP-Bibliothek
• jetslide Jetslide
• js-kit URL Resolver
• kemvibot Kemvi
• kimengi Kimengi Bot
• knows.is knows.is
• kojitsubot Kojitsubot
• komodiabot KomodiaBot
• kraken kraken
• laconica Laconica
• libwww-perl Perl Client-Server-Bibliothek
• lijit crawler Lijit
• linkdexbot Linkdex Bot
• linkedinbot LinkedIn
• linkscrawler LinksCrawler
• linode Linode Longview
• lipperhey Lipperhey
• livelapbot Livelapbot
• loadtimebot Load Time Bot
• longurl URL-Expander-Dienst
• ltx71 ltx71.com
• lumibot Lumibot
• lwp-trivial Weitere Perl-Bibliothek
• magpie-crawler magpie-crawler
• mail.ru_bot Mail.ru Bot
• meanpathbot meanpath
• mediapartners-google Google Adsense Bot
• megaindex.ru MegaIndex
• memorybot mignify.com/bot.html
• metauri MetaURI
• mfe_expand Mcafee Spider
• mir web crawler MIR Web Crawler
• mj12bot Majestic-12 Spider
• mojeekbot Mojeek UK Suchcrawler
• mrchrome MrChrome
• ms search 6.0 robot MS Search 6.0 Robot
• msnbot-media Microsoft Media Bot
• msnbot Microsoft Bot
• nerdybot NerdyBot
• netcraft Netcraft
• netstate netEstate NE Crawler
• netvibes Personalisiertes Dashboard Bot
• netzcheckbot netzcheck
• newrelicmonitor NewRelic Monitor
• newrelicpinger NewRelicPinger
• newsme newsme
• niki-bot niki-bot
• ning NING - Yet Another Twitter Swarmer
• nutch Apache Suchspider
• openhosebot OpenHoseBot
• orangebot OrangeBot
• pagesinventory pagesinventory.com
• panopta Monitoring-Dienst
• paperlibot PaperLi
• peerindex peerindex
• percolatecrawler PercolateCrawler
• perfectmarketkwtbot PerfectMarket
• phantomjs PhantomJS
• pingdom Pingdom Monitoring
• pinterest Pinterest
• plukkie botje.com/plukkie.htm
• privacyawarebot PrivacyAwareBot
• proximic Proximic Spider
• psbot-page Picsearch
• publiclibraryarchive.org publiclibraryarchive.org
• pycurl Python HTTP-Bibliothek
• python-httplib2 Python-httplib2
• python-requests Python HTTP-Bibliothek
• python-urllib Python HTTP-Bibliothek
• queryseeker QuerySeekerSpider
• quicklook QuickLook
• re-animator Domain Re-Animator Bot
• readability Readability
• rebelmouse RebelMouse
• redditbot Reddit Bot
• relateiq RelateIQ
• riddler Riddler Bot
• rogerbot SeoMoz Spider
• rssmicro RSS/Atom Feed Robot (rssmicro.com)
• ruby Ruby
• scrapy Scrapy
• screaming frog seo spider Screaming Frog SEO Spider
• searchmetricsbot SearchmetricsBot
• semrushbot SEO-Analyse-Bot
• seokicks SEOKicks
• seznambot SeznamBot
• shopwiki ShopWiki
• shortlinktranslate Link Shortener
• showyoubot Showyou iOS App Spider
• siege Joe Dog Siege
• sistrix SISTRIX
• siteuptime Website-Überwachungsdienste
• slack Slackbot-LinkExpanding
• slackbot Slack Bot
• slurp Yahoo Spider
• smtbot SimilarTech
• socialrank SocialRankIOBot
• sogou Chinesische Suchmaschine
• spbot OpenLinkProfiler
• spider Generischer Web Spider
• spinn3r Spinn3r Aggregator
• sputnikbot SputnikBot
• squider Squider
• statuscake StatusCake
• stripe Stripe
• test certificate info C HTTP-Bibliothek?
• tineye TinEye Bot
• traackr Traackr Bot
• trendictionbot Trendiction Search
• turnitinbot TurnitinBot
• tweetedtimes The Tweeted Times
• tweetmemebot TweetMeMe Crawler
• twikle Social Web Search Bot
• twitjobsearch TwitJobSearch
• twitmunin Twitmunin
• twitterbot Twitter URL Expander
• twurly Twurly
• typhoeus Typhoeus
• umbot uberMetrics
• unwindfetch Gnip
• uptimerobot Uptime Robot
• vagabondo Vagabondo
• vb project Visual Basic
• vigil Vigil
• vkshare VKontake Sharer
• voilabot VoilaBot
• vrcrawler Venture Radar
• wasalive-bot Wasalive Bots
• watchsumo WatchSumo
• wbsearchbot Ware Bay Best Buys
• webscout Webscout
• wesee WeSEE
• wget wget Unix CLI HTTP-Client
• wordpress WordPress Spider
• wormly WormlyBot
• wotbox Wotbox
• xenu link sleuth Xenu Link Sleuth
• xing-contenttabreceiver Xing Bot
• xovibot XoviBot
• yacybot YaCy
• yahoo-ad-monitoring Yahoo Ad Monitoring
• yandex Yandex
• yeti Naver Corp
• yourls YOURLS
• zelist.ro Feed Parser
• zibb ZIBB Spider
• zitebot Zite
• zyborg Zyborg

Cloud-Provider, die als Bots identifiziert wurden

Viele Bots geben sich nicht als solche zu erkennen, aber wir verfolgen die Internetdienstanbieter und identifizieren Traffic von großen Cloud-Providern als wahrscheinlich Bots.

• Google Cloud
• Microsoft Corporation
• OVH SAS
• DigitalOcean
• Huawei Clouds
• Google-private-cloud
• Facebook
• Amazon.com
• Google Proxy
• Omonia d.o.o.
• ColoCrossing