网站如何屏蔽垃圾蜘蛛?

昆明信用卡代还胖子 2018-08-12 184 蜘蛛
网站一般欢迎蜘蛛访问,因为蜘蛛意味着搜索排名和流量 但是某些情况下,大量垃圾蜘蛛甚至爬虫很影响性能,特别是服务器配置不高的情况下,那么我们该怎样屏蔽掉垃圾蜘蛛呢
其他回答

该怎么写robots文件啊

昆明信用卡代还胖子 2018-08-12 16:55:23 0条评论
垃圾蜘蛛 直接全部屏蔽就行 蜘蛛方面 只保留 百度 搜狗 360 就可以了 其他比如 谷歌一类的蜘蛛 爬行量 相当大 但是没有意义 因为国内的环境问题 根本就来不了几个流量 不划算 不如屏蔽掉

垃圾蜘蛛列表
acoonbot ahrefsbot alexa toolbar apachebench applebot asktbfxtv blexbot chinasospider compspybot coolpadwebkit crawldaddy curl digext dotbot easouspider ec2linkfinder edisterbot elefent exabot ezooms feeddemon feedly heritrix httpclient ichiro indy library jaunty java jikespider jorgee lightdeckreports bot http://mail.ru microsoft url control mj12bot msnbot-media obot perl psbot purebot python python-urllib scrapy seokicks-robot siteexplorer spbot spiderman swebot swiftbot teleport teleportpro turnitinbot turnitinbot-agent universalfeedparser wangidspider wbsearchbot webdup wget wotbox wsanalyzer xbfmozilla xenu yandexbot yottaa yunguance yyspider zmeu
[已重置] 2018-08-12 16:55:23 0条评论
相关问答