검색 봇

검색 봇이란?

검색 봇은 스파이더라고도 불리며, 일반적으로 검색 인덱스를 구축하기 위해 지속적으로 인터넷을 탐색하는 로봇입니다.

봇은 트래픽 수를 부자연스럽게 증가시킬 수 있으므로 봇의 존재를 인식하는 것이 중요합니다.

검색 봇과 Linkly

Linkly는 자신을 명확히 드러내는 검색 봇과 스파이더를 감지할 수 있습니다. 트래픽 리포트의 봇 섹션에서 봇으로 분류된 클릭을 확인할 수 있습니다.

봇 트래픽 및 봇 차단 방법에 대한 기사가 있습니다.

소셜 미디어 크롤러에 대한 특별 처리

Linkly는 Facebook, YouTube, Google, LinkedIn 및 X의 소셜 미디어 크롤러에 대한 향상된 처리를 제공합니다.

이러한 크롤러의 트래픽이 링크에 도달하면:

• 분석에 기록되지 않습니다
• 클릭 제한에 포함되지 않습니다
• 크롤러는 투명하게 올바른 대상으로 리디렉션됩니다
• "봇 차단" 기능이 활성화되어 있어도 이러한 크롤러는 항상 허용됩니다

이렇게 하면 소셜 미디어 크롤러가 클릭 제한을 소비하지 않으면서도 미리보기를 생성하고 링크를 확인할 수 있습니다.

봇이 링크를 따르지 못하도록 차단

Linkly는 봇과 검색 스파이더가 링크를 따르지 못하도록 차단할 수 있습니다. 봇 차단을 활성화하는 방법에 대한 지침은 봇 트래픽을 참조하세요.

중요: Facebook, YouTube, Google, LinkedIn, X, WhatsApp 및 Telegram의 소셜 미디어 크롤러는 차단이 활성화되어 있어도 항상 허용되므로 링크 미리보기가 계속 작동합니다. 예외는 클라우드 호스팅 네트워크에서 이러한 플랫폼으로 가장한 요청으로, 이는 여전히 차단됩니다.

봇이 클릭 제한에 포함되나요?

Facebook, YouTube, Google, LinkedIn 및 X의 소셜 미디어 크롤러는 클릭 제한에 포함되지 않으며 분석에 기록되지 않습니다.

아래에 나열된 다른 모든 봇은 클릭 제한에 포함되며, 이는 트래픽 출처에 관계없이 트래픽을 모니터링하고 리디렉션하는 데 동일한 비용이 들기 때문입니다.

차단된 봇(차단 페이지가 표시되는 봇)도 제한에 포함되지 않습니다.

검색 봇 목록

아래는 Linkly가 식별하고 필요한 경우 차단할 수 있는 검색 봇 및 사용자 에이전트 목록입니다.

• 200pleasebot 200PleaseBot
• 360spider 360Spider
• abot CrawlDaddy, abot
• addthis AddThis
• adldxbot Microsoft Bing Ads
• admantx ADmantX Platform Semantic Analyzer
• adsbot-google Google Adwords
• advbot AdvBot
• ahrefsbot Ahrefs backlinks research tool
• alexa Alexa Crawler
• apache-httpclient Java http library
• apachebench ApacheBench (ab)
• apis-google APIs-Google
• appengine-google Google App Engine
• applebot Apple Bot
• archive.org_bot Internet Archive (archive.org)
• ask jeeves Ask Jeeves
• asynchttpclient Java http and WebSocket client library
• awe.sm Awe.sm URL expander
• baidu Baidu
• bdcbot Big Data Corp
• bingbot Microsoft Bing
• bingpreview Microsoft Bing preview
• bitlybot bit.ly bot
• blekkobot Blekkobot
• blexbot BLEXBot (webmeup)
• bot@linkfluence.net Linkfluence bot
• bufferbot BufferBot
• buibui-checkbot buibui
• butterfly Topsy Labs
• buzztalk buzztalk
• catchbot CatchBot (catchbot.com)
• check_http Nagios monitor
• cliqzbot Cliqzbot
• cmradar/0.1 CMRadar/0.1
• coldfusion ColdFusion http library
• commoncrawl CCBot
• comodo-webinspector-crawler Comodo
• crowsnest Crowsnest
• curabot cura.yt
• curl curl unix CLI http client
• dap/nethttp DAP/NetHTTP
• datagnionbot datagnion.com/bot.html
• daumoa Korean portal and search engine indexing bot
• developers.google.com/+/web/snippet/ Google Plus
• diffbot Diffbot
• digitalpersona fingerprint software HP Fingerprint scanner
• domain re-animator bot Domain Re-Animator Bot
• domainsbot DomainsBot
• domaintunocrawler DomainTuno
• dotbot Dot Bot
• duckduck Duck Duck Go
• elb-healthchecker AWS ELB HealthChecker
• embedly Embedly
• eoaagent EOAAgent
• eventmachine httpclient Ruby http library
• everyonesocialbot EveryoneSocial
• evrinid Evri bot
• exabot Exalead's bot
• exaleadcloudview ExaleadCloudView
• facebookexternalhit Facebook Bot
• facebot Facebook Bot
• feedburner RSS bot
• feedfetcher-google Google Feedfetcher
• findxbot Findxbot
• flipboardproxy FlipboardProxy
• friendfeedbot FriendFeed
• genieo Genieo Web filter bot
• getprismatic.com getprismatic.com
• gigabot Gigabot spider
• gimme60bot Gimme60 (gimme60.com)
• gimmeusabot Gimme60 (gimme60.com)
• go http package Go http library
• google page speed insights Google Page Speed Insights
• google Web Preview Google Instant Previews crawler
• google-structured-data-testing-tool Google-StructuredDataTestingTool
• google-structureddatatestingtool Google-StructuredDataTestingTool
• googlebot Google Bot
• googlestackdrivermonitoring-uptimechecks GoogleStackdriverMonitoring-UptimeChecks
• grapeshotcrawler GrapeshotCrawler
• gravitybot Gravity Bot
• hatena::bookmark Hatena::Bookmark
• heritrix heritrix
• htmlparser HTMLParser
• http_request2 HTTP_Request2
• httpclient HTTPClient
• https://developers.google.com/+/web/snippet Google+ Snippet Fetcher
• hubspot HubSpot
• ia_archiver Internet Archive (WayBackMachine)
• icoreservice iCoreService
• idmarch idmarch.org/bot.html
• inagist URL resolver
• insieve Insieve Bot
• insitesbot Insitesbot
• instapaper Instapaper
• istellabot IstellaBot
• jack jack
• jakarta commons Jakarta Commons HttpClient
• java Generic Java http library
• jetslide Jetslide
• js-kit URL resolver
• kemvibot Kemvi
• kimengi Kimengi Bot
• knows.is knows.is
• kojitsubot Kojitsubot
• komodiabot KomodiaBot
• kraken kraken
• laconica Laconica
• libwww-perl Perl client-server library
• lijit crawler Lijit
• linkdexbot Linkdex Bot
• linkedinbot LinkedIn
• linkscrawler LinksCrawler
• linode Linode Longview
• lipperhey Lipperhey
• livelapbot Livelapbot
• loadtimebot Load Time Bot
• longurl URL expander service
• ltx71 ltx71.com
• lumibot Lumibot
• lwp-trivial Another Perl library
• magpie-crawler magpie-crawler
• mail.ru_bot Mail.ru Bot
• meanpathbot meanpath
• mediapartners-google Google Adsense bot
• megaindex.ru MegaIndex
• memorybot mignify.com/bot.html
• metauri MetaURI
• mfe_expand Mcafee spider
• mir web crawler MIR web crawler
• mj12bot Majestic-12 spider
• mojeekbot Mojeek UK search crawler
• mrchrome MrChrome
• ms search 6.0 robot MS Search 6.0 Robot
• msnbot-media Microsoft media bot
• msnbot Microsoft bot
• nerdybot NerdyBot
• netcraft Netcraft
• netstate netEstate NE Crawler
• netvibes Personalized dashboard bot
• netzcheckbot netzcheck
• newrelicmonitor NewRelic monitor
• newrelicpinger NewRelicPinger
• newsme newsme
• niki-bot niki-bot
• ning NING - Yet Another Twitter Swarmer
• nutch Apache search spider
• openhosebot OpenHoseBot
• orangebot OrangeBot
• pagesinventory pagesinventory.com
• panopta Monitoring service
• paperlibot PaperLi
• peerindex peerindex
• percolatecrawler PercolateCrawler
• perfectmarketkwtbot PerfectMarket
• phantomjs PhantomJS
• pingdom Pingdom monitoring
• pinterest Pinterest
• plukkie botje.com/plukkie.htm
• privacyawarebot PrivacyAwareBot
• proximic Proximic Spider
• psbot-page Picsearch
• publiclibraryarchive.org publiclibraryarchive.org
• pycurl Python http library
• python-httplib2 Python-httplib2
• python-requests Python http library
• python-urllib Python http library
• queryseeker QuerySeekerSpider
• quicklook QuickLook
• re-animator Domain Re-Animator Bot
• readability Readability
• rebelmouse RebelMouse
• redditbot Reddit Bot
• relateiq RelateIQ
• riddler Riddler Bot
• rogerbot SeoMoz spider
• rssmicro RSS/Atom Feed Robot (rssmicro.com)
• ruby Ruby
• scrapy Scrapy
• screaming frog seo spider Screaming Frog SEO Spider
• searchmetricsbot SearchmetricsBot
• semrushbot SEO analysis bot
• seokicks SEOKicks
• seznambot SeznamBot
• shopwiki ShopWiki
• shortlinktranslate Link shortener
• showyoubot Showyou iOS app spider
• siege Joe Dog Siege
• sistrix SISTRIX
• siteuptime Site monitoring services
• slack Slackbot-LinkExpanding
• slackbot Slack Bot
• slurp Yahoo spider
• smtbot SimilarTech
• socialrank SocialRankIOBot
• sogou Chinese search engine
• spbot OpenLinkProfiler
• spider generic web spider
• spinn3r Spinn3r aggregator
• sputnikbot SputnikBot
• squider Squider
• statuscake StatusCake
• stripe Stripe
• test certificate info C http library?
• tineye TinEye Bot
• traackr Traackr Bot
• trendictionbot Trendiction Search
• turnitinbot TurnitinBot
• tweetedtimes The Tweeted Times
• tweetmemebot TweetMeMe Crawler
• twikle Social web search bot
• twitjobsearch TwitJobSearch
• twitmunin Twitmunin
• twitterbot Twitter URL expander
• twurly Twurly
• typhoeus Typhoeus
• umbot uberMetrics
• unwindfetch Gnip
• uptimerobot Uptime Robot
• vagabondo Vagabondo
• vb project Visual Basic
• vigil Vigil
• vkshare VKontake Sharer
• voilabot VoilaBot
• vrcrawler Venture Radar
• wasalive-bot Wasalive Bots
• watchsumo WatchSumo
• wbsearchbot Ware Bay Best Buys
• webscout Webscout
• wesee WeSEE
• wget wget unix CLI http client
• wordpress WordPress spider
• wormly WormlyBot
• wotbox Wotbox
• xenu link sleuth Xenu Link Sleuth
• xing-contenttabreceiver Xing bot
• xovibot XoviBot
• yacybot YaCy
• yahoo-ad-monitoring Yahoo Ad monitoring
• yandex Yandex
• yeti Naver Corp
• yourls YOURLS
• zelist.ro feed parser
• zibb ZIBB spider
• zitebot Zite
• zyborg Zyborg

봇으로 식별된 클라우드 제공자

많은 봇은 자신을 명시하지 않지만 인터넷 서비스 제공자를 추적하고 주요 클라우드 제공자의 트래픽이 봇일 가능성이 높다고 식별합니다.

• Google Cloud
• Microsoft Corporation
• OVH SAS
• DigitalOcean
• Huawei Clouds
• Google-private-cloud
• Facebook
• Amazon.com
• Google Proxy
• Omonia d.o.o.
• ColoCrossing