动了cdn加速,nginx还会记录蜘蛛的真正IP吗?

吴星 1周前 51 cdn加速 蜘蛛
发现使用CDN加速后,蜘蛛的IP会被一些记录成一些节点的IP。但这个确实是真的蜘蛛。 如何设置nginx,能确保记录正确的蜘蛛IP呢?
其他回答
让你使用的CDN厂商提供访问日志给你,正规的CDN厂商一般都提供的。
类似于X-Forwarded-For等HTTP头确实可以带客户端IP过来,但是那是MISS回源的情况,当在CDN上命中的时候,是不会发HTTP请求到你的后端服务器的,所以这种情况下后端服务器根本就没有日志产生。
叔度 1周前 0条评论
不同地区的搜索引擎爬虫蜘蛛是不同的。比如网站服务器在北京,但CDN加速节点在广东,广东的蜘蛛就会优先抓取网站,这对网站没有什么影响,但会提高搜索引擎蜘蛛抓取效率。
吴星 1周前 0条评论
相关问答
  • 动了cdn加速,nginx还会记录蜘蛛的真正IP吗?

    吴星 1秒前 2
    发现使用CDN加速后,蜘蛛的IP会被一些记录成一些节点的IP。但这个确实是真的蜘蛛。 如何设置nginx,能确保记录正确的蜘蛛IP呢?
  • 网站如何屏蔽垃圾蜘蛛?

    昆明信用卡代还胖子 1秒前 2
    网站一般欢迎蜘蛛访问,因为蜘蛛意味着搜索排名和流量 但是某些情况下,大量垃圾蜘蛛甚至爬虫很影响性能,特别是服务器配置不高的情况下,那么我们该怎样屏蔽掉...