검색 봇

검색 봇이란?

검색 봇은 스파이더라고도 불리며, 일반적으로 검색 인덱스를 구축하기 위해 인터넷을 지속적으로 탐색하는 로봇입니다.

봇은 트래픽 수치를 인위적으로 증가시킬 수 있으므로 봇의 존재를 인식하는 것이 중요합니다.

검색 봇과 Linkly

Linkly는 자신을 명시적으로 드러내는 검색 봇과 스파이더를 감지할 수 있습니다. 트래픽 리포트의 봇 섹션에서 어떤 클릭이 봇에 귀속되었는지 확인할 수 있습니다.

봇 트래픽 및 봇 차단 방법에 관한 문서가 있습니다.

소셜 미디어 크롤러를 위한 특별 처리

Linkly는 Facebook, YouTube, Google, LinkedIn 및 X의 소셜 미디어 크롤러에 대한 처리를 개선했습니다.

이러한 크롤러의 트래픽이 링크를 통과할 때:

• 분석에서 기록되지 않습니다
• 클릭 제한에 계산되지 않습니다
• 크롤러가 투명하게 리디렉션됩니다
• "로봇 차단" 기능이 활성화되어 있더라도 이러한 크롤러는 항상 통과를 허용합니다

이를 통해 소셜 미디어 크롤러가 클릭 제한을 소비하지 않으면서도 미리보기를 생성하고 링크를 확인할 수 있도록 합니다.

링크를 따라가는 봇 차단

Linkly는 링크를 따라가는 로봇 및 검색 스파이더를 차단할 수 있습니다. 봇 차단 기능을 활성화하는 방법은 봇 트래픽을 참조하세요.

중요: Facebook, YouTube, Google, LinkedIn 및 X의 소셜 미디어 크롤러는 차단이 활성화되어 있더라도 항상 통과를 허용하므로 링크 미리보기가 계속 작동합니다.

봇이 클릭 제한에 계산되나요?

Facebook, YouTube, Google, LinkedIn 및 X의 소셜 미디어 크롤러는 클릭 제한에 계산되지 않으며 분석에 기록되지 않습니다.

아래에서 식별한 다른 모든 봇은 트래픽 모니터링 및 리디렉션 비용이 출처와 관계없이 동일하므로 클릭 제한에 계산됩니다.

차단된 봇(차단 페이지를 만난 봇)도 제한으로 계산되지 않습니다.

검색 봇 목록

다음은 Linkly가 식별하고 필요한 경우 차단할 수 있는 검색 봇 및 해당 사용자 에이전트 목록입니다.

• 200pleasebot 200PleaseBot
• 360spider 360Spider
• abot CrawlDaddy, abot
• addthis AddThis
• adldxbot Microsoft Bing Ads
• admantx ADmantX Platform Semantic Analyzer
• adsbot-google Google Adwords
• advbot AdvBot
• ahrefsbot Ahrefs 백링크 연구 도구
• alexa Alexa Crawler
• apache-httpclient Java http 라이브러리
• apachebench ApacheBench (ab)
• apis-google APIs-Google
• appengine-google Google App Engine
• applebot Apple Bot
• archive.org_bot Internet Archive (archive.org)
• ask jeeves Ask Jeeves
• asynchttpclient Java http 및 WebSocket 클라이언트 라이브러리
• awe.sm Awe.sm URL 확장기
• baidu Baidu
• bdcbot Big Data Corp
• bingbot Microsoft Bing
• bingpreview Microsoft Bing 미리보기
• bitlybot bit.ly bot
• blekkobot Blekkobot
• blexbot BLEXBot (webmeup)
• bot@linkfluence.net Linkfluence bot
• bufferbot BufferBot
• buibui-checkbot buibui
• butterfly Topsy Labs
• buzztalk buzztalk
• catchbot CatchBot (catchbot.com)
• check_http Nagios 모니터
• cliqzbot Cliqzbot
• cmradar/0.1 CMRadar/0.1
• coldfusion ColdFusion http 라이브러리
• commoncrawl CCBot
• comodo-webinspector-crawler Comodo
• crowsnest Crowsnest
• curabot cura.yt
• curl curl Unix CLI http 클라이언트
• dap/nethttp DAP/NetHTTP
• datagnionbot datagnion.com/bot.html
• daumoa 한국 포털 및 검색 엔진 인덱싱 봇
• developers.google.com/+/web/snippet/ Google Plus
• diffbot Diffbot
• digitalpersona 지문 인식 소프트웨어 HP Fingerprint 스캐너
• domain re-animator bot Domain Re-Animator Bot
• domainsbot DomainsBot
• domaintunocrawler DomainTuno
• dotbot Dot Bot
• duckduck Duck Duck Go
• elb-healthchecker AWS ELB HealthChecker
• embedly Embedly
• eoaagent EOAAgent
• eventmachine httpclient Ruby http 라이브러리
• everyonesocialbot EveryoneSocial
• evrinid Evri bot
• exabot Exalead의 봇
• exaleadcloudview ExaleadCloudView
• facebookexternalhit Facebook Bot
• facebot Facebook Bot
• feedburner RSS bot
• feedfetcher-google Google Feedfetcher
• findxbot Findxbot
• flipboardproxy FlipboardProxy
• friendfeedbot FriendFeed
• genieo Genieo 웹 필터 봇
• getprismatic.com getprismatic.com
• gigabot Gigabot 스파이더
• gimme60bot Gimme60 (gimme60.com)
• gimmeusabot Gimme60 (gimme60.com)
• go http 패키지 Go http 라이브러리
• google page speed insights Google Page Speed Insights
• google Web Preview Google Instant Previews 크롤러
• google-structured-data-testing-tool Google-StructuredDataTestingTool
• google-structureddatatestingtool Google-StructuredDataTestingTool
• googlebot Google Bot
• googlestackdrivermonitoring-uptimechecks GoogleStackdriverMonitoring-UptimeChecks
• grapeshotcrawler GrapeshotCrawler
• gravitybot Gravity Bot
• hatena::bookmark Hatena::Bookmark
• heritrix heritrix
• htmlparser HTMLParser
• http_request2 HTTP_Request2
• httpclient HTTPClient
• https://developers.google.com/+/web/snippet Google+ 스니펫 가져오기
• hubspot HubSpot
• ia_archiver Internet Archive (WayBackMachine)
• icoreservice iCoreService
• idmarch idmarch.org/bot.html
• inagist URL 확인기
• insieve Insieve Bot
• insitesbot Insitesbot
• instapaper Instapaper
• istellabot IstellaBot
• jack jack
• jakarta commons Jakarta Commons HttpClient
• java 일반 Java http 라이브러리
• jetslide Jetslide
• js-kit URL 확인기
• kemvibot Kemvi
• kimengi Kimengi Bot
• knows.is knows.is
• kojitsubot Kojitsubot
• komodiabot KomodiaBot
• kraken kraken
• laconica Laconica
• libwww-perl Perl 클라이언트-서버 라이브러리
• lijit crawler Lijit
• linkdexbot Linkdex Bot
• linkedinbot LinkedIn
• linkscrawler LinksCrawler
• linode Linode Longview
• lipperhey Lipperhey
• livelapbot Livelapbot
• loadtimebot Load Time Bot
• longurl URL 확장 서비스
• ltx71 ltx71.com
• lumibot Lumibot
• lwp-trivial 또 다른 Perl 라이브러리
• magpie-crawler magpie-crawler
• mail.ru_bot Mail.ru Bot
• meanpathbot meanpath
• mediapartners-google Google Adsense bot
• megaindex.ru MegaIndex
• memorybot mignify.com/bot.html
• metauri MetaURI
• mfe_expand Mcafee 스파이더
• mir web crawler MIR 웹 크롤러
• mj12bot Majestic-12 스파이더
• mojeekbot Mojeek UK 검색 크롤러
• mrchrome MrChrome
• ms search 6.0 robot MS Search 6.0 Robot
• msnbot-media Microsoft 미디어 봇
• msnbot Microsoft 봇
• nerdybot NerdyBot
• netcraft Netcraft
• netstate netEstate NE Crawler
• netvibes 개인화된 대시보드 봇
• netzcheckbot netzcheck
• newrelicmonitor NewRelic 모니터
• newrelicpinger NewRelicPinger
• newsme newsme
• niki-bot niki-bot
• ning NING - Yet Another Twitter Swarmer
• nutch Apache 검색 스파이더
• openhosebot OpenHoseBot
• orangebot OrangeBot
• pagesinventory pagesinventory.com
• panopta 모니터링 서비스
• paperlibot PaperLi
• peerindex peerindex
• percolatecrawler PercolateCrawler
• perfectmarketkwtbot PerfectMarket
• phantomjs PhantomJS
• pingdom Pingdom 모니터링
• pinterest Pinterest
• plukkie botje.com/plukkie.htm
• privacyawarebot PrivacyAwareBot
• proximic Proximic 스파이더
• psbot-page Picsearch
• publiclibraryarchive.org publiclibraryarchive.org
• pycurl Python http 라이브러리
• python-httplib2 Python-httplib2
• python-requests Python http 라이브러리
• python-urllib Python http 라이브러리
• queryseeker QuerySeekerSpider
• quicklook QuickLook
• re-animator Domain Re-Animator Bot
• readability Readability
• rebelmouse RebelMouse
• redditbot Reddit Bot
• relateiq RelateIQ
• riddler Riddler Bot
• rogerbot SeoMoz 스파이더
• rssmicro RSS/Atom Feed Robot (rssmicro.com)
• ruby Ruby
• scrapy Scrapy
• screaming frog seo spider Screaming Frog SEO Spider
• searchmetricsbot SearchmetricsBot
• semrushbot SEO 분석 봇
• seokicks SEOKicks
• seznambot SeznamBot
• shopwiki ShopWiki
• shortlinktranslate 링크 단축 서비스
• showyoubot Showyou iOS 앱 스파이더
• siege Joe Dog Siege
• sistrix SISTRIX
• siteuptime 사이트 모니터링 서비스
• slack Slackbot-LinkExpanding
• slackbot Slack Bot
• slurp Yahoo 스파이더
• smtbot SimilarTech
• socialrank SocialRankIOBot
• sogou 중국 검색 엔진
• spbot OpenLinkProfiler
• spider 일반 웹 스파이더
• spinn3r Spinn3r 집계기
• sputnikbot SputnikBot
• squider Squider
• statuscake StatusCake
• stripe Stripe
• test certificate info C http 라이브러리?
• tineye TinEye Bot
• traackr Traackr Bot
• trendictionbot Trendiction 검색
• turnitinbot TurnitinBot
• tweetedtimes The Tweeted Times
• tweetmemebot TweetMeMe Crawler
• twikle 소셜 웹 검색 봇
• twitjobsearch TwitJobSearch
• twitmunin Twitmunin
• twitterbot Twitter URL 확장기
• twurly Twurly
• typhoeus Typhoeus
• umbot uberMetrics
• unwindfetch Gnip
• uptimerobot Uptime Robot
• vagabondo Vagabondo
• vb project Visual Basic
• vigil Vigil
• vkshare VKontake Sharer
• voilabot VoilaBot
• vrcrawler Venture Radar
• wasalive-bot Wasalive Bots
• watchsumo WatchSumo
• wbsearchbot Ware Bay Best Buys
• webscout Webscout
• wesee WeSEE
• wget wget Unix CLI http 클라이언트
• wordpress WordPress 스파이더
• wormly WormlyBot
• wotbox Wotbox
• xenu link sleuth Xenu Link Sleuth
• xing-contenttabreceiver Xing bot
• xovibot XoviBot
• yacybot YaCy
• yahoo-ad-monitoring Yahoo 광고 모니터링
• yandex Yandex
• yeti Naver Corp
• yourls YOURLS
• zelist.ro 피드 파서
• zibb ZIBB 스파이더
• zitebot Zite
• zyborg Zyborg

봇으로 식별되는 클라우드 제공자

많은 봇은 자신을 봇으로 식별하지 않지만 우리는 인터넷 서비스 공급자를 추적하고 주요 클라우드 제공자의 트래픽을 봇일 가능성이 있는 것으로 식별합니다.

• Google Cloud
• Microsoft Corporation
• OVH SAS
• DigitalOcean
• Huawei Clouds
• Google-private-cloud
• Facebook
• Amazon.com
• Google Proxy
• Omonia d.o.o.
• ColoCrossing