検索ボット

検索ボットとは

検索ボット（スパイダーとも呼ばれる）は、通常は検索インデックスを構築する目的で、インターネットを継続的に閲覧するロボットです。

ボットはトラフィック数を人為的に増加させる可能性があるため、その存在を認識することが重要です。

検索ボットとLinkly

Linklyは、意図的に自らを明かす検索ボットとスパイダーを検出できます。トラフィックレポートのボットセクションで、どのクリックがボットに起因するかを確認できます。

ボットトラフィックとボットのブロック方法に関する記事があります。

ソーシャルメディアクローラーの特別な処理

Linklyは、Facebook、YouTube、Google、LinkedIn、Xからのソーシャルメディアクローラーの処理を改善しました。

これらのクローラーからのトラフィックがリンクにヒットした場合：

• アナリティクスに記録されません
• クリック制限にカウントされません
• クローラーは透過的に正しい目的地にリダイレクトされます
• 「ロボットをブロック」機能が有効な場合でも、これらのクローラーは常に許可されます

これにより、ソーシャルメディアクローラーがクリック制限を消費するのを防ぎながら、プレビュー生成とリンク確認を可能にします。

リンクからボットをブロック

Linklyはロボットと検索スパイダーがリンクをフォローするのをブロックできます。ボットのブロックを有効にする手順については、ボットトラフィックを参照してください。

重要： Facebook、YouTube、Google、LinkedIn、Xからのソーシャルメディアクローラーは、ブロックが有効な場合でも常に許可されるため、リンクプレビューは継続して動作します。

ボットはクリック制限にカウントされますか？

Facebook、YouTube、Google、LinkedIn、Xからのソーシャルメディアクローラーはクリック制限にカウントされず、アナリティクスに記録されません。

下記で識別される他のすべてのボットはクリック制限にカウントされます。ソースに関係なく、トラフィックの監視とリダイレクトにかかるコストは同じです。

ブロックされたボット（ブロックページに遭遇したもの）も制限にはカウントされません。

検索ボットのリスト

以下は、Linklyが識別し、必要に応じてブロックできる検索ボットとそのユーザーエージェントのリストです。

• 200pleasebot 200PleaseBot
• 360spider 360Spider
• abot CrawlDaddy, abot
• addthis AddThis
• adldxbot Microsoft Bing Ads
• admantx ADmantX Platform Semantic Analyzer
• adsbot-google Google Adwords
• advbot AdvBot
• ahrefsbot Ahrefs バックリンク調査ツール
• alexa Alexa Crawler
• apache-httpclient Java http ライブラリ
• apachebench ApacheBench (ab)
• apis-google APIs-Google
• appengine-google Google App Engine
• applebot Apple Bot
• archive.org_bot Internet Archive (archive.org)
• ask jeeves Ask Jeeves
• asynchttpclient Java http と WebSocket クライアントライブラリ
• awe.sm Awe.sm URL エクスパンダー
• baidu Baidu
• bdcbot Big Data Corp
• bingbot Microsoft Bing
• bingpreview Microsoft Bing プレビュー
• bitlybot bit.ly ボット
• blekkobot Blekkobot
• blexbot BLEXBot (webmeup)
• bot@linkfluence.net Linkfluence ボット
• bufferbot BufferBot
• buibui-checkbot buibui
• butterfly Topsy Labs
• buzztalk buzztalk
• catchbot CatchBot (catchbot.com)
• check_http Nagios モニター
• cliqzbot Cliqzbot
• cmradar/0.1 CMRadar/0.1
• coldfusion ColdFusion http ライブラリ
• commoncrawl CCBot
• comodo-webinspector-crawler Comodo
• crowsnest Crowsnest
• curabot cura.yt
• curl curl unix CLI http クライアント
• dap/nethttp DAP/NetHTTP
• datagnionbot datagnion.com/bot.html
• daumoa 韓国ポータルと検索エンジンインデックスボット
• developers.google.com/+/web/snippet/ Google Plus
• diffbot Diffbot
• digitalpersona 指紋認証ソフト HP 指紋スキャナー
• domain re-animator bot Domain Re-Animator Bot
• domainsbot DomainsBot
• domaintunocrawler DomainTuno
• dotbot Dot Bot
• duckduck Duck Duck Go
• elb-healthchecker AWS ELB HealthChecker
• embedly Embedly
• eoaagent EOAAgent
• eventmachine httpclient Ruby http ライブラリ
• everyonesocialbot EveryoneSocial
• evrinid Evri ボット
• exabot Exalead のボット
• exaleadcloudview ExaleadCloudView
• facebookexternalhit Facebook ボット
• facebot Facebook ボット
• feedburner RSS ボット
• feedfetcher-google Google Feedfetcher
• findxbot Findxbot
• flipboardproxy FlipboardProxy
• friendfeedbot FriendFeed
• genieo Genieo Web フィルターボット
• getprismatic.com getprismatic.com
• gigabot Gigabot スパイダー
• gimme60bot Gimme60 (gimme60.com)
• gimmeusabot Gimme60 (gimme60.com)
• go http パッケージ Go http ライブラリ
• google page speed insights Google Page Speed Insights
• google Web Preview Google Instant Previews クローラー
• google-structured-data-testing-tool Google-StructuredDataTestingTool
• google-structureddatatestingtool Google-StructuredDataTestingTool
• googlebot Google ボット
• googlestackdrivermonitoring-uptimechecks GoogleStackdriverMonitoring-UptimeChecks
• grapeshotcrawler GrapeshotCrawler
• gravitybot Gravity Bot
• hatena::bookmark Hatena::Bookmark
• heritrix heritrix
• htmlparser HTMLParser
• http_request2 HTTP_Request2
• httpclient HTTPClient
• https://developers.google.com/+/web/snippet Google+ スニペットフェッチャー
• hubspot HubSpot
• ia_archiver Internet Archive (WayBackMachine)
• icoreservice iCoreService
• idmarch idmarch.org/bot.html
• inagist URL リゾルバー
• insieve Insieve ボット
• insitesbot Insitesbot
• instapaper Instapaper
• istellabot IstellaBot
• jack jack
• jakarta commons Jakarta Commons HttpClient
• java 一般的な Java http ライブラリ
• jetslide Jetslide
• js-kit URL リゾルバー
• kemvibot Kemvi
• kimengi Kimengi ボット
• knows.is knows.is
• kojitsubot Kojitsubot
• komodiabot KomodiaBot
• kraken kraken
• laconica Laconica
• libwww-perl Perl クライアント・サーバーライブラリ
• lijit crawler Lijit
• linkdexbot Linkdex ボット
• linkedinbot LinkedIn
• linkscrawler LinksCrawler
• linode Linode Longview
• lipperhey Lipperhey
• livelapbot Livelapbot
• loadtimebot Load Time Bot
• longurl URL エクスパンダーサービス
• ltx71 ltx71.com
• lumibot Lumibot
• lwp-trivial 別の Perl ライブラリ
• magpie-crawler magpie-crawler
• mail.ru_bot Mail.ru ボット
• meanpathbot meanpath
• mediapartners-google Google Adsense ボット
• megaindex.ru MegaIndex
• memorybot mignify.com/bot.html
• metauri MetaURI
• mfe_expand Mcafee スパイダー
• mir web crawler MIR web クローラー
• mj12bot Majestic-12 スパイダー
• mojeekbot Mojeek UK 検索クローラー
• mrchrome MrChrome
• ms search 6.0 robot MS Search 6.0 ロボット
• msnbot-media Microsoft メディアボット
• msnbot Microsoft ボット
• nerdybot NerdyBot
• netcraft Netcraft
• netstate netEstate NE クローラー
• netvibes パーソナライズダッシュボードボット
• netzcheckbot netzcheck
• newrelicmonitor NewRelic モニター
• newrelicpinger NewRelicPinger
• newsme newsme
• niki-bot niki-bot
• ning NING - Yet Another Twitter Swarmer
• nutch Apache 検索スパイダー
• openhosebot OpenHoseBot
• orangebot OrangeBot
• pagesinventory pagesinventory.com
• panopta モニタリングサービス
• paperlibot PaperLi
• peerindex peerindex
• percolatecrawler PercolateCrawler
• perfectmarketkwtbot PerfectMarket
• phantomjs PhantomJS
• pingdom Pingdom モニタリング
• pinterest Pinterest
• plukkie botje.com/plukkie.htm
• privacyawarebot PrivacyAwareBot
• proximic Proximic スパイダー
• psbot-page Picsearch
• publiclibraryarchive.org publiclibraryarchive.org
• pycurl Python http ライブラリ
• python-httplib2 Python-httplib2
• python-requests Python http ライブラリ
• python-urllib Python http ライブラリ
• queryseeker QuerySeekerSpider
• quicklook QuickLook
• re-animator Domain Re-Animator ボット
• readability Readability
• rebelmouse RebelMouse
• redditbot Reddit ボット
• relateiq RelateIQ
• riddler Riddler ボット
• rogerbot SeoMoz スパイダー
• rssmicro RSS/Atom Feed ロボット (rssmicro.com)
• ruby Ruby
• scrapy Scrapy
• screaming frog seo spider Screaming Frog SEO スパイダー
• searchmetricsbot SearchmetricsBot
• semrushbot SEO 分析ボット
• seokicks SEOKicks
• seznambot SeznamBot
• shopwiki ShopWiki
• shortlinktranslate リンク短縮サービス
• showyoubot Showyou iOS アプリスパイダー
• siege Joe Dog Siege
• sistrix SISTRIX
• siteuptime サイト監視サービス
• slack Slackbot-LinkExpanding
• slackbot Slack ボット
• slurp Yahoo スパイダー
• smtbot SimilarTech
• socialrank SocialRankIOBot
• sogou 中国検索エンジン
• spbot OpenLinkProfiler
• spider 一般的な Web スパイダー
• spinn3r Spinn3r アグリゲーター
• sputnikbot SputnikBot
• squider Squider
• statuscake StatusCake
• stripe Stripe
• test certificate info C http ライブラリ？
• tineye TinEye ボット
• traackr Traackr ボット
• trendictionbot Trendiction 検索
• turnitinbot TurnitinBot
• tweetedtimes The Tweeted Times
• tweetmemebot TweetMeMe クローラー
• twikle Social web 検索ボット
• twitjobsearch TwitJobSearch
• twitmunin Twitmunin
• twitterbot Twitter URL エクスパンダー
• twurly Twurly
• typhoeus Typhoeus
• umbot uberMetrics
• unwindfetch Gnip
• uptimerobot Uptime Robot
• vagabondo Vagabondo
• vb project Visual Basic
• vigil Vigil
• vkshare VKontake Sharer
• voilabot VoilaBot
• vrcrawler Venture Radar
• wasalive-bot Wasalive ボット
• watchsumo WatchSumo
• wbsearchbot Ware Bay Best Buys
• webscout Webscout
• wesee WeSEE
• wget wget unix CLI http クライアント
• wordpress WordPress スパイダー
• wormly WormlyBot
• wotbox Wotbox
• xenu link sleuth Xenu Link Sleuth
• xing-contenttabreceiver Xing ボット
• xovibot XoviBot
• yacybot YaCy
• yahoo-ad-monitoring Yahoo Ad モニタリング
• yandex Yandex
• yeti Naver Corp
• yourls YOURLS
• zelist.ro フィードパーサー
• zibb ZIBB スパイダー
• zitebot Zite
• zyborg Zyborg

クラウドプロバイダーとして識別されるボット

多くのボットは自らをボットとして識別しませんが、インターネットサービスプロバイダーを追跡し、主要クラウドプロバイダーからのトラフィックをボットの可能性があるとして識別します。

• Google Cloud
• Microsoft Corporation
• OVH SAS
• DigitalOcean
• Huawei Clouds
• Google-private-cloud
• Facebook
• Amazon.com
• Google Proxy
• Omonia d.o.o.
• ColoCrossing