解决服务器cpu总是100%的问题

最近服务器cpu总是100%，网站打开缓慢，甚至卡死，经过分析事故时间段的IIS日志，发现是搜索引擎蜘蛛来的过度频繁导致的。

经IIS日志分析，导致网站变慢的，主要是百度蜘蛛和bing蜘蛛。

1、对于百度蜘蛛可以登录百度站长工具，将抓取频次适当调小，如下图：

2、bing蜘蛛没法通过站长工具搞定，可以通过定义robots.txt：

User-agent:bingbot
Crawl-delay: 5  （设定必应蜘蛛5秒来一次）

3、屏蔽一些国外的seo网站、数据分析公司的的蜘蛛，因为这些蜘蛛爬行并不会给网站带来流量，只会占用服务器资源，robots.txt文件中添加以下代码：

User-Agent: DotBot
Disallow: /
User-agent: SemrushBot
Disallow: /
User-agent: SemrushBot-SA
Disallow: /
User-Agent: MJ12bot
Disallow:/
User-agent: AhrefsBot
Disallow:/