动了cdn加速，nginx还会记录蜘蛛的真正IP吗？

吴星 1周前 51 cdn加速蜘蛛

发现使用CDN加速后，蜘蛛的IP会被一些记录成一些节点的IP。但这个确实是真的蜘蛛。如何设置nginx，能确保记录正确的蜘蛛IP呢？

其他回答

让你使用的CDN厂商提供访问日志给你，正规的CDN厂商一般都提供的。
类似于X-Forwarded-For等HTTP头确实可以带客户端IP过来，但是那是MISS回源的情况，当在CDN上命中的时候，是不会发HTTP请求到你的后端服务器的，所以这种情况下后端服务器根本就没有日志产生。

叔度 1周前 0条评论

不同地区的搜索引擎爬虫蜘蛛是不同的。比如网站服务器在北京，但CDN加速节点在广东，广东的蜘蛛就会优先抓取网站，这对网站没有什么影响，但会提高搜索引擎蜘蛛抓取效率。

吴星 1周前 0条评论

网站如何屏蔽垃圾蜘蛛？