Bots de recherche

Qu'est-ce qu'un bot de recherche ?

Un bot de recherche, parfois appelé spider, est un robot qui parcourt continuellement Internet, généralement pour construire un index de recherche.

Les bots peuvent gonfler artificiellement les chiffres du trafic, il est donc important de connaître leur existence.

Bots de recherche et Linkly

Linkly peut détecter les bots de recherche et les spiders qui se révèlent délibérément. Vous pouvez voir quels clics ont été attribués aux bots dans la section Bots du rapport de trafic.

Nous avons un article sur le trafic des bots et comment bloquer les bots.

Gestion spéciale des crawlers des réseaux sociaux

Linkly a amélioré la gestion des crawlers des réseaux sociaux de Facebook, YouTube, Google, LinkedIn et X.

Lorsque le trafic de ces crawlers accède à vos liens :

• Il n'est pas enregistré dans vos analyses

• Il ne compte pas contre vos limites de clics

• Le crawler est redirigé de manière transparente vers la bonne destination

• Ces crawlers sont toujours autorisés à passer, même lorsque la fonction « bloquer les robots » est activée

Cela empêche les crawlers des réseaux sociaux de consommer vos limites de clics tout en leur permettant de générer des aperçus et de vérifier vos liens.

Bloquer les bots de suivre les liens

Linkly peut bloquer les robots et les spiders de recherche de suivre vos liens. Consultez Trafic des bots pour les instructions d'activation du blocage des bots.

Important : Les crawlers des réseaux sociaux de Facebook, YouTube, Google, LinkedIn et X sont toujours autorisés à passer même lorsque le blocage est activé, afin que les aperçus des liens continuent de fonctionner.

Les bots comptent-ils contre les limites de clics ?

Les crawlers des réseaux sociaux de Facebook, YouTube, Google, LinkedIn et X ne comptent pas contre vos limites de clics et ne sont pas enregistrés dans vos analyses.

Tous les autres bots identifiés ci-dessous comptent contre vos limites de clics, car cela coûte la même chose de surveiller et rediriger le trafic quel qu'en soit la source.

Les bots bloqués (ceux qui rencontrent une page de blocage) ne comptent pas non plus vers vos limites.

Liste des bots de recherche

Ci-dessous se trouve une liste des bots de recherche et de leurs user-agents que Linkly identifie et qui peuvent être bloqués si nécessaire.

• 200pleasebot 200PleaseBot
• 360spider 360Spider
• abot CrawlDaddy, abot
• addthis AddThis
• adldxbot Microsoft Bing Ads
• admantx ADmantX Platform Semantic Analyzer
• adsbot-google Google Adwords
• advbot AdvBot
• ahrefsbot Outil de recherche de backlinks Ahrefs
• alexa Alexa Crawler
• apache-httpclient Bibliothèque http Java
• apachebench ApacheBench (ab)
• apis-google APIs-Google
• appengine-google Google App Engine
• applebot Apple Bot
• archive.org_bot Internet Archive (archive.org)
• ask jeeves Ask Jeeves
• asynchttpclient Bibliothèque cliente Java http et WebSocket
• awe.sm Expanseur d'URL Awe.sm
• baidu Baidu
• bdcbot Big Data Corp
• bingbot Microsoft Bing
• bingpreview Aperçu Microsoft Bing
• bitlybot Bot bit.ly
• blekkobot Blekkobot
• blexbot BLEXBot (webmeup)
• bot@linkfluence.net Bot Linkfluence
• bufferbot BufferBot
• buibui-checkbot buibui
• butterfly Topsy Labs
• buzztalk buzztalk
• catchbot CatchBot (catchbot.com)
• check_http Moniteur Nagios
• cliqzbot Cliqzbot
• cmradar/0.1 CMRadar/0.1
• coldfusion Bibliothèque http ColdFusion
• commoncrawl CCBot
• comodo-webinspector-crawler Comodo
• crowsnest Crowsnest
• curabot cura.yt
• curl Client HTTP CLI curl unix
• dap/nethttp DAP/NetHTTP
• datagnionbot datagnion.com/bot.html
• daumoa Bot d'indexation du portail coréen et du moteur de recherche
• developers.google.com/+/web/snippet/ Google Plus
• diffbot Diffbot
• digitalpersona Logiciel d'empreinte digitale Scanner d'empreinte HP
• domain re-animator bot Bot Domain Re-Animator
• domainsbot DomainsBot
• domaintunocrawler DomainTuno
• dotbot Dot Bot
• duckduck Duck Duck Go
• elb-healthchecker AWS ELB HealthChecker
• embedly Embedly
• eoaagent EOAAgent
• eventmachine httpclient Bibliothèque http Ruby
• everyonesocialbot EveryoneSocial
• evrinid Bot Evri
• exabot Bot d'Exalead
• exaleadcloudview ExaleadCloudView
• facebookexternalhit Bot Facebook
• facebot Bot Facebook
• feedburner Bot RSS
• feedfetcher-google Google Feedfetcher
• findxbot Findxbot
• flipboardproxy FlipboardProxy
• friendfeedbot FriendFeed
• genieo Bot de filtre web Genieo
• getprismatic.com getprismatic.com
• gigabot Spider Gigabot
• gimme60bot Gimme60 (gimme60.com)
• gimmeusabot Gimme60 (gimme60.com)
• go Paquet http Bibliothèque http Go
• google page speed insights Google Page Speed Insights
• google Aperçu Web Crawlers Google Instant Previews
• google-structured-data-testing-tool Google-StructuredDataTestingTool
• google-structureddatatestingtool Google-StructuredDataTestingTool
• googlebot Bot Google
• googlestackdrivermonitoring-uptimechecks GoogleStackdriverMonitoring-UptimeChecks
• grapeshotcrawler GrapeshotCrawler
• gravitybot Gravity Bot
• hatena::bookmark Hatena::Bookmark
• heritrix heritrix
• htmlparser HTMLParser
• http_request2 HTTP_Request2
• httpclient HTTPClient
• https://developers.google.com/+/web/snippet Extracteur d'extrait Google+
• hubspot HubSpot
• ia_archiver Internet Archive (WayBackMachine)
• icoreservice iCoreService
• idmarch idmarch.org/bot.html
• inagist Résolveur d'URL
• insieve Bot Insieve
• insitesbot Insitesbot
• instapaper Instapaper
• istellabot IstellaBot
• jack jack
• jakarta commons Jakarta Commons HttpClient
• java Bibliothèque http Java générique
• jetslide Jetslide
• js-kit Résolveur d'URL
• kemvibot Kemvi
• kimengi Bot Kimengi
• knows.is knows.is
• kojitsubot Kojitsubot
• komodiabot KomodiaBot
• kraken kraken
• laconica Laconica
• libwww-perl Bibliothèque client-serveur Perl
• lijit crawler Lijit
• linkdexbot Bot Linkdex
• linkedinbot LinkedIn
• linkscrawler LinksCrawler
• linode Linode Longview
• lipperhey Lipperhey
• livelapbot Livelapbot
• loadtimebot Bot Load Time
• longurl Service d'expansion d'URL
• ltx71 ltx71.com
• lumibot Lumibot
• lwp-trivial Autre bibliothèque Perl
• magpie-crawler magpie-crawler
• mail.ru_bot Bot Mail.ru
• meanpathbot meanpath
• mediapartners-google Bot Google Adsense
• megaindex.ru MegaIndex
• memorybot mignify.com/bot.html
• metauri MetaURI
• mfe_expand Spider McAfee
• mir web crawler Crawler web MIR
• mj12bot Spider Majestic-12
• mojeekbot Crawler de recherche Mojeek UK
• mrchrome MrChrome
• ms search 6.0 robot Robot MS Search 6.0
• msnbot-media Bot média Microsoft
• msnbot Bot Microsoft
• nerdybot NerdyBot
• netcraft Netcraft
• netstate Crawler NE netEstate
• netvibes Bot de tableau de bord personnalisé
• netzcheckbot netzcheck
• newrelicmonitor Moniteur NewRelic
• newrelicpinger NewRelicPinger
• newsme newsme
• niki-bot niki-bot
• ning NING - Yet Another Twitter Swarmer
• nutch Spider de recherche Apache
• openhosebot OpenHoseBot
• orangebot OrangeBot
• pagesinventory pagesinventory.com
• panopta Service de surveillance
• paperlibot PaperLi
• peerindex peerindex
• percolatecrawler PercolateCrawler
• perfectmarketkwtbot PerfectMarket
• phantomjs PhantomJS
• pingdom Surveillance Pingdom
• pinterest Pinterest
• plukkie botje.com/plukkie.htm
• privacyawarebot PrivacyAwareBot
• proximic Spider Proximic
• psbot-page Picsearch
• publiclibraryarchive.org publiclibraryarchive.org
• pycurl Bibliothèque http Python
• python-httplib2 Python-httplib2
• python-requests Bibliothèque http Python
• python-urllib Bibliothèque http Python
• queryseeker QuerySeekerSpider
• quicklook QuickLook
• re-animator Bot Domain Re-Animator
• readability Readability
• rebelmouse RebelMouse
• redditbot Bot Reddit
• relateiq RelateIQ
• riddler Bot Riddler
• rogerbot Spider SeoMoz
• rssmicro Robot de flux RSS/Atom (rssmicro.com)
• ruby Ruby
• scrapy Scrapy
• screaming frog seo spider Spider SEO Screaming Frog
• searchmetricsbot SearchmetricsBot
• semrushbot Bot d'analyse SEO
• seokicks SEOKicks
• seznambot SeznamBot
• shopwiki ShopWiki
• shortlinktranslate Raccourcisseur de liens
• showyoubot Spider d'application iOS Showyou
• siege Joe Dog Siege
• sistrix SISTRIX
• siteuptime Services de surveillance de sites
• slack Slackbot-LinkExpanding
• slackbot Bot Slack
• slurp Spider Yahoo
• smtbot SimilarTech
• socialrank SocialRankIOBot
• sogou Moteur de recherche chinois
• spbot OpenLinkProfiler
• spider Spider web générique
• spinn3r Agrégateur Spinn3r
• sputnikbot SputnikBot
• squider Squider
• statuscake StatusCake
• stripe Stripe
• test certificate info Bibliothèque http C ?
• tineye Bot TinEye
• traackr Bot Traackr
• trendictionbot Recherche Trendiction
• turnitinbot TurnitinBot
• tweetedtimes The Tweeted Times
• tweetmemebot Crawler TweetMeMe
• twikle Bot de recherche web social
• twitjobsearch TwitJobSearch
• twitmunin Twitmunin
• twitterbot Expanseur d'URL Twitter
• twurly Twurly
• typhoeus Typhoeus
• umbot uberMetrics
• unwindfetch Gnip
• uptimerobot Robot de temps d'activité
• vagabondo Vagabondo
• vb project Visual Basic
• vigil Vigil
• vkshare Partageur VKontakte
• voilabot VoilaBot
• vrcrawler Venture Radar
• wasalive-bot Bots Wasalive
• watchsumo WatchSumo
• wbsearchbot Ware Bay Best Buys
• webscout Webscout
• wesee WeSEE
• wget Client HTTP CLI wget unix
• wordpress Spider WordPress
• wormly WormlyBot
• wotbox Wotbox
• xenu link sleuth Xenu Link Sleuth
• xing-contenttabreceiver Bot Xing
• xovibot XoviBot
• yacybot YaCy
• yahoo-ad-monitoring Surveillance des annonces Yahoo
• yandex Yandex
• yeti Naver Corp
• yourls YOURLS
• zelist.ro Analyseur de flux
• zibb Spider ZIBB
• zitebot Zite
• zyborg Zyborg

Fournisseurs de cloud identifiés comme des bots

De nombreux bots ne s'identifient pas comme tels, mais nous suivons les fournisseurs de services Internet et identifions le trafic des principaux fournisseurs de cloud comme étant probablement des bots.

• Google Cloud
• Microsoft Corporation
• OVH SAS
• DigitalOcean
• Huawei Clouds
• Google-private-cloud
• Facebook
• Amazon.com
• Google Proxy
• Omonia d.o.o.
• ColoCrossing