Suchbots

Was ist ein Suchbot?

Ein Suchbot, manchmal auch als Spider bezeichnet, ist ein Roboter, der kontinuierlich das Internet durchsucht, normalerweise um einen Suchindex zu erstellen.

Bots können die Verkehrszahlen künstlich aufblähen, daher ist es wichtig, sich ihrer Existenz bewusst zu sein.

Suchbots und Linkly

Linkly kann Suchbots und Spider erkennen, die sich absichtlich zu erkennen geben. Sie können sehen, welche Klicks Bots zugeordnet wurden, im Bots-Bereich des Traffic-Reports.

Wir haben einen Artikel über Bot-Traffic und wie man Bots blockiert.

Spezielle Behandlung für Social-Media-Crawler

Linkly bietet verbesserte Unterstützung für Social-Media-Crawler von Facebook, YouTube, Google, LinkedIn und X.

Wenn Traffic von diesen Crawlern auf Ihre Links trifft:

• Er wird nicht aufgezeichnet in Ihren Analysen
• Er zählt nicht gegen Ihre Click-Limits
• Der Crawler wird transparent zum korrekten Ziel weitergeleitet
• Diese Crawler werden immer durchgelassen, auch wenn die Funktion "Roboter blockieren" aktiviert ist

Dies verhindert, dass Social-Media-Crawler Ihre Click-Limits verbrauchen, während sie gleichzeitig Vorschaubilder generieren und Ihre Links überprüfen können.

Blockierung von Bots beim Folgen von Links

Linkly kann Roboter und Suchspider daran hindern, Ihren Links zu folgen. Siehe Bot-Traffic für Anweisungen zum Aktivieren der Bot-Blockierung.

Wichtig: Social-Media-Crawler von Facebook, YouTube, Google, LinkedIn und X werden immer durchgelassen, auch wenn die Blockierung aktiviert ist, sodass Link-Vorschaubilder weiterhin funktionieren.

Zählen Bots gegen Click-Limits?

Social-Media-Crawler von Facebook, YouTube, Google, LinkedIn und X zählen nicht gegen Ihre Click-Limits und werden nicht in Ihren Analysen aufgezeichnet.

Alle anderen unten aufgeführten Bots zählen gegen Ihre Click-Limits, da es gleich viel kostet, Traffic zu überwachen und weiterzuleiten, unabhängig von der Quelle.

Blockierte Bots (diejenigen, die auf eine Blockierungsseite treffen) zählen auch nicht zu Ihren Limits.

Liste von Suchbots

Im Folgenden finden Sie eine Liste von Suchbots und ihren User-Agents, die Linkly identifiziert und bei Bedarf blockiert werden können.

• 200pleasebot 200PleaseBot
• 360spider 360Spider
• abot CrawlDaddy, abot
• addthis AddThis
• adldxbot Microsoft Bing Ads
• admantx ADmantX Platform Semantic Analyzer
• adsbot-google Google Adwords
• advbot AdvBot
• ahrefsbot Ahrefs Backlink-Analysetool
• alexa Alexa Crawler
• apache-httpclient Java-HTTP-Bibliothek
• apachebench ApacheBench (ab)
• apis-google APIs-Google
• appengine-google Google App Engine
• applebot Apple Bot
• archive.org_bot Internet Archive (archive.org)
• ask jeeves Ask Jeeves
• asynchttpclient Java HTTP- und WebSocket-Client-Bibliothek
• awe.sm Awe.sm URL-Expander
• baidu Baidu
• bdcbot Big Data Corp
• bingbot Microsoft Bing
• bingpreview Microsoft Bing Preview
• bitlybot bit.ly Bot
• blekkobot Blekkobot
• blexbot BLEXBot (webmeup)
• bot@linkfluence.net Linkfluence Bot
• bufferbot BufferBot
• buibui-checkbot buibui
• butterfly Topsy Labs
• buzztalk buzztalk
• catchbot CatchBot (catchbot.com)
• check_http Nagios Monitor
• cliqzbot Cliqzbot
• cmradar/0.1 CMRadar/0.1
• coldfusion ColdFusion HTTP-Bibliothek
• commoncrawl CCBot
• comodo-webinspector-crawler Comodo
• crowsnest Crowsnest
• curabot cura.yt
• curl curl Unix CLI HTTP-Client
• dap/nethttp DAP/NetHTTP
• datagnionbot datagnion.com/bot.html
• daumoa Koreanischer Portal- und Suchmaschinen-Indexierungs-Bot
• developers.google.com/+/web/snippet/ Google Plus
• diffbot Diffbot
• digitalpersona Fingerprint-Software HP Fingerprint Scanner
• domain re-animator bot Domain Re-Animator Bot
• domainsbot DomainsBot
• domaintunocrawler DomainTuno
• dotbot Dot Bot
• duckduck Duck Duck Go
• elb-healthchecker AWS ELB HealthChecker
• embedly Embedly
• eoaagent EOAAgent
• eventmachine httpclient Ruby HTTP-Bibliothek
• everyonesocialbot EveryoneSocial
• evrinid Evri Bot
• exabot Exalead's Bot
• exaleadcloudview ExaleadCloudView
• facebookexternalhit Facebook Bot
• facebot Facebook Bot
• feedburner RSS Bot
• feedfetcher-google Google Feedfetcher
• findxbot Findxbot
• flipboardproxy FlipboardProxy
• friendfeedbot FriendFeed
• genieo Genieo Web-Filter-Bot
• getprismatic.com getprismatic.com
• gigabot Gigabot Spider
• gimme60bot Gimme60 (gimme60.com)
• gimmeusabot Gimme60 (gimme60.com)
• go http package Go HTTP-Bibliothek
• google page speed insights Google Page Speed Insights
• google Web Preview Google Instant Previews Crawler
• google-structured-data-testing-tool Google-StructuredDataTestingTool
• google-structureddatatestingtool Google-StructuredDataTestingTool
• googlebot Google Bot
• googlestackdrivermonitoring-uptimechecks GoogleStackdriverMonitoring-UptimeChecks
• grapeshotcrawler GrapeshotCrawler
• gravitybot Gravity Bot
• hatena::bookmark Hatena::Bookmark
• heritrix heritrix
• htmlparser HTMLParser
• http_request2 HTTP_Request2
• httpclient HTTPClient
• https://developers.google.com/+/web/snippet Google+ Snippet Fetcher
• hubspot HubSpot
• ia_archiver Internet Archive (WayBackMachine)
• icoreservice iCoreService
• idmarch idmarch.org/bot.html
• inagist URL-Resolver
• insieve Insieve Bot
• insitesbot Insitesbot
• instapaper Instapaper
• istellabot IstellaBot
• jack jack
• jakarta commons Jakarta Commons HttpClient
• java Generische Java HTTP-Bibliothek
• jetslide Jetslide
• js-kit URL-Resolver
• kemvibot Kemvi
• kimengi Kimengi Bot
• knows.is knows.is
• kojitsubot Kojitsubot
• komodiabot KomodiaBot
• kraken kraken
• laconica Laconica
• libwww-perl Perl Client-Server-Bibliothek
• lijit crawler Lijit
• linkdexbot Linkdex Bot
• linkedinbot LinkedIn
• linkscrawler LinksCrawler
• linode Linode Longview
• lipperhey Lipperhey
• livelapbot Livelapbot
• loadtimebot Load Time Bot
• longurl URL-Expander-Service
• ltx71 ltx71.com
• lumibot Lumibot
• lwp-trivial Weitere Perl-Bibliothek
• magpie-crawler magpie-crawler
• mail.ru_bot Mail.ru Bot
• meanpathbot meanpath
• mediapartners-google Google Adsense Bot
• megaindex.ru MegaIndex
• memorybot mignify.com/bot.html
• metauri MetaURI
• mfe_expand McAfee Spider
• mir web crawler MIR Web Crawler
• mj12bot Majestic-12 Spider
• mojeekbot Mojeek UK Search Crawler
• mrchrome MrChrome
• ms search 6.0 robot MS Search 6.0 Robot
• msnbot-media Microsoft Media Bot
• msnbot Microsoft Bot
• nerdybot NerdyBot
• netcraft Netcraft
• netstate netEstate NE Crawler
• netvibes Personalisiertes Dashboard Bot
• netzcheckbot netzcheck
• newrelicmonitor NewRelic Monitor
• newrelicpinger NewRelicPinger
• newsme newsme
• niki-bot niki-bot
• ning NING - Yet Another Twitter Swarmer
• nutch Apache Search Spider
• openhosebot OpenHoseBot
• orangebot OrangeBot
• pagesinventory pagesinventory.com
• panopta Monitoring Service
• paperlibot PaperLi
• peerindex peerindex
• percolatecrawler PercolateCrawler
• perfectmarketkwtbot PerfectMarket
• phantomjs PhantomJS
• pingdom Pingdom Monitoring
• pinterest Pinterest
• plukkie botje.com/plukkie.htm
• privacyawarebot PrivacyAwareBot
• proximic Proximic Spider
• psbot-page Picsearch
• publiclibraryarchive.org publiclibraryarchive.org
• pycurl Python HTTP-Bibliothek
• python-httplib2 Python-httplib2
• python-requests Python HTTP-Bibliothek
• python-urllib Python HTTP-Bibliothek
• queryseeker QuerySeekerSpider
• quicklook QuickLook
• re-animator Domain Re-Animator Bot
• readability Readability
• rebelmouse RebelMouse
• redditbot Reddit Bot
• relateiq RelateIQ
• riddler Riddler Bot
• rogerbot SeoMoz Spider
• rssmicro RSS/Atom Feed Robot (rssmicro.com)
• ruby Ruby
• scrapy Scrapy
• screaming frog seo spider Screaming Frog SEO Spider
• searchmetricsbot SearchmetricsBot
• semrushbot SEO-Analyse-Bot
• seokicks SEOKicks
• seznambot SeznamBot
• shopwiki ShopWiki
• shortlinktranslate Link Shortener
• showyoubot Showyou iOS App Spider
• siege Joe Dog Siege
• sistrix SISTRIX
• siteuptime Site Monitoring Services
• slack Slackbot-LinkExpanding
• slackbot Slack Bot
• slurp Yahoo Spider
• smtbot SimilarTech
• socialrank SocialRankIOBot
• sogou Chinesische Suchmaschine
• spbot OpenLinkProfiler
• spider Generischer Web Spider
• spinn3r Spinn3r Aggregator
• sputnikbot SputnikBot
• squider Squider
• statuscake StatusCake
• stripe Stripe
• test certificate info C HTTP-Bibliothek?
• tineye TinEye Bot
• traackr Traackr Bot
• trendictionbot Trendiction Search
• turnitinbot TurnitinBot
• tweetedtimes The Tweeted Times
• tweetmemebot TweetMeMe Crawler
• twikle Social Web Search Bot
• twitjobsearch TwitJobSearch
• twitmunin Twitmunin
• twitterbot Twitter URL-Expander
• twurly Twurly
• typhoeus Typhoeus
• umbot uberMetrics
• unwindfetch Gnip
• uptimerobot Uptime Robot
• vagabondo Vagabondo
• vb project Visual Basic
• vigil Vigil
• vkshare VKontake Sharer
• voilabot VoilaBot
• vrcrawler Venture Radar
• wasalive-bot Wasalive Bots
• watchsumo WatchSumo
• wbsearchbot Ware Bay Best Buys
• webscout Webscout
• wesee WeSEE
• wget wget Unix CLI HTTP-Client
• wordpress WordPress Spider
• wormly WormlyBot
• wotbox Wotbox
• xenu link sleuth Xenu Link Sleuth
• xing-contenttabreceiver Xing Bot
• xovibot XoviBot
• yacybot YaCy
• yahoo-ad-monitoring Yahoo Ad Monitoring
• yandex Yandex
• yeti Naver Corp
• yourls YOURLS
• zelist.ro Feed Parser
• zibb ZIBB Spider
• zitebot Zite
• zyborg Zyborg

Cloud-Anbieter, die als Bots identifiziert wurden

Viele Bots identifizieren sich nicht als solche, aber wir verfolgen die Internetdienstanbieter und identifizieren Traffic von großen Cloud-Anbietern als wahrscheinlich Bots.

• Google Cloud
• Microsoft Corporation
• OVH SAS
• DigitalOcean
• Huawei Clouds
• Google-private-cloud
• Facebook
• Amazon.com
• Google Proxy
• Omonia d.o.o.
• ColoCrossing