NGINX-一些配置

20000

屏蔽一些非法蜘蛛
##这里面是有人通过这些工具去查看和分析你的站点，也可能是你自己的操作；这几个爬虫全是外链分析的国外网站，他只是分析的时候会爬你的站点。
if ($http_user_agent ~* (SemrushBot|python|MJ12bot|AhrefsBot|AhrefsBot|hubspot|opensiteexplorer|leiki|webmeup) ) {
        return 444;
}