Arama Botları

Arama botu nedir?

Bir arama botu, bazen örümcek olarak adlandırılır, genellikle arama dizini oluşturmak amacıyla interneti sürekli olarak tarama yapan bir robottur.

Botlar trafik sayılarını yapay olarak şişirebileceği için, bunların varlığının farkında olmak önemlidir.

Arama botları ve Linkly

Linkly, kendilerini açıkça ortaya koyan arama botlarını ve örümcekleri tespit edebilir. Trafik raporunun Botlar bölümünde hangi tıklamaların botlara atfedildiğini görebilirsiniz.

Bot trafiği ve botları engelleme hakkında bir makalemiz var.

Sosyal medya tarayıcıları için özel işleme

Linkly, Facebook, YouTube, Google, LinkedIn ve X'ten gelen sosyal medya tarayıcılarının işlenmesini geliştirmiştir.

Bu tarayıcılardan gelen trafik bağlantılarınıza ulaştığında:

• Analitiklerinizde kaydedilmez
• Tıklama sınırlarınıza karşı sayılmaz
• Tarayıcı şeffaf bir şekilde doğru hedefine yönlendirilir
• Bu tarayıcılara "botları engelle" özelliği etkinleştirildiğinde bile her zaman izin verilir

Bu, sosyal medya tarayıcılarının tıklama sınırlarınızı tüketmesini önlerken, yine de bağlantılarınızı kontrol etmelerini ve ön izlemeleri oluşturmalarını sağlar.

Botları bağlantıları takip etmekten engelleme

Linkly, robotları ve arama örümceklerini bağlantılarınızı takip etmekten engelleyebilir. Bot engellemeyi etkinleştirme talimatları için Bot Trafiği sayfasına bakın.

Önemli: Facebook, YouTube, Google, LinkedIn ve X'ten gelen sosyal medya tarayıcıları, engelleme etkinleştirildiğinde bile her zaman izin verilir, böylece bağlantı ön izlemeleri çalışmaya devam eder.

Botlar tıklama sınırlarına karşı sayılır mı?

Facebook, YouTube, Google, LinkedIn ve X'ten gelen sosyal medya tarayıcıları tıklama sınırlarınıza karşı sayılmaz ve analitiklerinizde kaydedilmez.

Aşağıda tanımlanan diğer tüm botlar tıklama sınırlarınıza karşı sayılır, çünkü kaynağından bağımsız olarak trafiği izlemek ve yönlendirmek aynı maliyeti taşır.

Engellenen botlar (blok sayfasıyla karşılaşanlar) da sınırlarınızla sayılmaz.

Arama botlarının listesi

Aşağıda, Linkly'nin tanıdığı arama botlarının ve kullanıcı acentelerinin listesi bulunmakta, gerekirse engellenebilirler.

• 200pleasebot 200PleaseBot
• 360spider 360Spider
• abot CrawlDaddy, abot
• addthis AddThis
• adldxbot Microsoft Bing Ads
• admantx ADmantX Platform Semantic Analyzer
• adsbot-google Google Adwords
• advbot AdvBot
• ahrefsbot Ahrefs arka bağlantıları araştırma aracı
• alexa Alexa Crawler
• apache-httpclient Java http kütüphanesi
• apachebench ApacheBench (ab)
• apis-google APIs-Google
• appengine-google Google App Engine
• applebot Apple Bot
• archive.org_bot İnternet Arşivi (archive.org)
• ask jeeves Ask Jeeves
• asynchttpclient Java http ve WebSocket istemci kütüphanesi
• awe.sm Awe.sm URL genişletici
• baidu Baidu
• bdcbot Big Data Corp
• bingbot Microsoft Bing
• bingpreview Microsoft Bing ön izlemesi
• bitlybot bit.ly botu
• blekkobot Blekkobot
• blexbot BLEXBot (webmeup)
• bot@linkfluence.net Linkfluence botu
• bufferbot BufferBot
• buibui-checkbot buibui
• butterfly Topsy Labs
• buzztalk buzztalk
• catchbot CatchBot (catchbot.com)
• check_http Nagios monitörü
• cliqzbot Cliqzbot
• cmradar/0.1 CMRadar/0.1
• coldfusion ColdFusion http kütüphanesi
• commoncrawl CCBot
• comodo-webinspector-crawler Comodo
• crowsnest Crowsnest
• curabot cura.yt
• curl curl unix CLI http istemcisi
• dap/nethttp DAP/NetHTTP
• datagnionbot datagnion.com/bot.html
• daumoa Kore portal ve arama motoru dizinleme botu
• developers.google.com/+/web/snippet/ Google Plus
• diffbot Diffbot
• digitalpersona parmak izi yazılımı HP Parmak İzi tarayıcısı
• domain re-animator bot Domain Re-Animator Bot
• domainsbot DomainsBot
• domaintunocrawler DomainTuno
• dotbot Dot Bot
• duckduck Duck Duck Go
• elb-healthchecker AWS ELB HealthChecker
• embedly Embedly
• eoaagent EOAAgent
• eventmachine httpclient Ruby http kütüphanesi
• everyonesocialbot EveryoneSocial
• evrinid Evri botu
• exabot Exalead'ın botu
• exaleadcloudview ExaleadCloudView
• facebookexternalhit Facebook Botu
• facebot Facebook Botu
• feedburner RSS botu
• feedfetcher-google Google Feedfetcher
• findxbot Findxbot
• flipboardproxy FlipboardProxy
• friendfeedbot FriendFeed
• genieo Genieo Web filtre botu
• getprismatic.com getprismatic.com
• gigabot Gigabot örümceği
• gimme60bot Gimme60 (gimme60.com)
• gimmeusabot Gimme60 (gimme60.com)
• go http paketi Go http kütüphanesi
• google page speed insights Google Page Speed Insights
• google Web Ön İzlemesi Google Instant Previews tarayıcısı
• google-structured-data-testing-tool Google-StructuredDataTestingTool
• google-structureddatatestingtool Google-StructuredDataTestingTool
• googlebot Google Botu
• googlestackdrivermonitoring-uptimechecks GoogleStackdriverMonitoring-UptimeChecks
• grapeshotcrawler GrapeshotCrawler
• gravitybot Gravity Botu
• hatena::bookmark Hatena::Bookmark
• heritrix heritrix
• htmlparser HTMLParser
• http_request2 HTTP_Request2
• httpclient HTTPClient
• https://developers.google.com/+/web/snippet Google+ Snippet Fetcher
• hubspot HubSpot
• ia_archiver İnternet Arşivi (WayBackMachine)
• icoreservice iCoreService
• idmarch idmarch.org/bot.html
• inagist URL çözümleyici
• insieve Insieve Bot
• insitesbot Insitesbot
• instapaper Instapaper
• istellabot IstellaBot
• jack jack
• jakarta commons Jakarta Commons HttpClient
• java Genel Java http kütüphanesi
• jetslide Jetslide
• js-kit URL çözümleyici
• kemvibot Kemvi
• kimengi Kimengi Bot
• knows.is knows.is
• kojitsubot Kojitsubot
• komodiabot KomodiaBot
• kraken kraken
• laconica Laconica
• libwww-perl Perl istemci-sunucu kütüphanesi
• lijit crawler Lijit
• linkdexbot Linkdex Bot
• linkedinbot LinkedIn
• linkscrawler LinksCrawler
• linode Linode Longview
• lipperhey Lipperhey
• livelapbot Livelapbot
• loadtimebot Yükleme Zamanı Botu
• longurl URL genişletme hizmeti
• ltx71 ltx71.com
• lumibot Lumibot
• lwp-trivial Başka bir Perl kütüphanesi
• magpie-crawler magpie-crawler
• mail.ru_bot Mail.ru Botu
• meanpathbot meanpath
• mediapartners-google Google Adsense botu
• megaindex.ru MegaIndex
• memorybot mignify.com/bot.html
• metauri MetaURI
• mfe_expand Mcafee örümceği
• mir web crawler MIR web tarayıcısı
• mj12bot Majestic-12 örümceği
• mojeekbot Mojeek UK arama tarayıcısı
• mrchrome MrChrome
• ms search 6.0 robot MS Search 6.0 Robot
• msnbot-media Microsoft medya botu
• msnbot Microsoft botu
• nerdybot NerdyBot
• netcraft Netcraft
• netstate netEstate NE Crawler
• netvibes Kişiselleştirilmiş pano botu
• netzcheckbot netzcheck
• newrelicmonitor NewRelic monitörü
• newrelicpinger NewRelicPinger
• newsme newsme
• niki-bot niki-bot
• ning NING - Yet Another Twitter Swarmer
• nutch Apache arama örümceği
• openhosebot OpenHoseBot
• orangebot OrangeBot
• pagesinventory pagesinventory.com
• panopta İzleme hizmeti
• paperlibot PaperLi
• peerindex peerindex
• percolatecrawler PercolateCrawler
• perfectmarketkwtbot PerfectMarket
• phantomjs PhantomJS
• pingdom Pingdom izlemesi
• pinterest Pinterest
• plukkie botje.com/plukkie.htm
• privacyawarebot PrivacyAwareBot
• proximic Proximic Spider
• psbot-page Picsearch
• publiclibraryarchive.org publiclibraryarchive.org
• pycurl Python http kütüphanesi
• python-httplib2 Python-httplib2
• python-requests Python http kütüphanesi
• python-urllib Python http kütüphanesi
• queryseeker QuerySeekerSpider
• quicklook QuickLook
• re-animator Domain Re-Animator Bot
• readability Readability
• rebelmouse RebelMouse
• redditbot Reddit Botu
• relateiq RelateIQ
• riddler Riddler Bot
• rogerbot SeoMoz örümceği
• rssmicro RSS/Atom Feed Robot (rssmicro.com)
• ruby Ruby
• scrapy Scrapy
• screaming frog seo spider Screaming Frog SEO Spider
• searchmetricsbot SearchmetricsBot
• semrushbot SEO analiz botu
• seokicks SEOKicks
• seznambot SeznamBot
• shopwiki ShopWiki
• shortlinktranslate Bağlantı kısaltıcı
• showyoubot Showyou iOS uygulaması örümceği
• siege Joe Dog Siege
• sistrix SISTRIX
• siteuptime Site izleme hizmetleri
• slack Slackbot-LinkExpanding
• slackbot Slack Botu
• slurp Yahoo örümceği
• smtbot SimilarTech
• socialrank SocialRankIOBot
• sogou Çin arama motoru
• spbot OpenLinkProfiler
• spider genel web örümceği
• spinn3r Spinn3r toplayıcısı
• sputnikbot SputnikBot
• squider Squider
• statuscake StatusCake
• stripe Stripe
• test certificate info C http kütüphanesi?
• tineye TinEye Bot
• traackr Traackr Bot
• trendictionbot Trendiction Search
• turnitinbot TurnitinBot
• tweetedtimes The Tweeted Times
• tweetmemebot TweetMeMe Crawler
• twikle Sosyal web arama botu
• twitjobsearch TwitJobSearch
• twitmunin Twitmunin
• twitterbot Twitter URL genişletici
• twurly Twurly
• typhoeus Typhoeus
• umbot uberMetrics
• unwindfetch Gnip
• uptimerobot Uptime Robot
• vagabondo Vagabondo
• vb project Visual Basic
• vigil Vigil
• vkshare VKontake Sharer
• voilabot VoilaBot
• vrcrawler Venture Radar
• wasalive-bot Wasalive Bots
• watchsumo WatchSumo
• wbsearchbot Ware Bay Best Buys
• webscout Webscout
• wesee WeSEE
• wget wget unix CLI http istemcisi
• wordpress WordPress örümceği
• wormly WormlyBot
• wotbox Wotbox
• xenu link sleuth Xenu Link Sleuth
• xing-contenttabreceiver Xing botu
• xovibot XoviBot
• yacybot YaCy
• yahoo-ad-monitoring Yahoo Reklam izlemesi
• yandex Yandex
• yeti Naver Corp
• yourls YOURLS
• zelist.ro feed ayrıştırıcısı
• zibb ZIBB örümceği
• zitebot Zite
• zyborg Zyborg

Botlar olarak tanımlanan bulut sağlayıcıları

Birçok bot kendilerini bu şekilde tanıtmazlar, ancak internet servis sağlayıcılarını takip ederiz ve önemli bulut sağlayıcılarından gelen trafiği bot olasılığı olarak tanımlarız.

• Google Cloud
• Microsoft Corporation
• OVH SAS
• DigitalOcean
• Huawei Clouds
• Google-private-cloud
• Facebook
• Amazon.com
• Google Proxy
• Omonia d.o.o.
• ColoCrossing