网站流量超标排查

网站出现流量超标时分析及解决思路为：

查看网站访问统计---->结合访问统计分析网站访问日志---->确定原因采取相应措施。  

网站流量异常增大的主要原因可能有：

1. 被搜索引擎或AI机器人频繁抓取。对策：屏蔽恶意蜘蛛 或 流量清洗

2. 图片或视频文件被第三方网站或搜索引擎引用，导致的访问量超大。对策：开启防盗链

3. 因网站自身的访问量变大导致的流量增长，比如有宣传推广或公众号文章引用了网站的图片等情况。对策：升级主机型号 或单独充值流量

4. 被PCDN刷流量... 对策：流量清洗

5. 被灰产入侵，挂了灰产的文件在子目录下，引来了不必要的访问流量。对策：人工清理，程序升级打补丁等。
   

请根据自身网站的情况，结合以上可能原因及“访问统计”、“WWW日志”提供的数据参考，自行分析原因并采取相应的对策。

如果需要我司工程师帮助分析具体原因，请提交工单申请，视情况收费100~200元/站点。海量的日志分析比较耗时，不同的网站的情况各有不同，

比如搜索引擎的抓取有些用户是必要的，有些用户觉得无所谓，流量太高就可以拦截，有的则认为不能拦截。所以没有固定的现成的答案。

注：流量问题都是针对具体不同的网站来的，个别用户会质疑会不会是服务器或机房的问题导致了流量异常，答案是否定的。

最近一段时间以来，确实出现了一些新的情况，比如AI机器人的频繁访问，这是以前没有的，所以以前流量很小的网站现在突然流量比较大，

也可能是出现了新的情况，需要具体分析。这种流量突然增长的情况，如果换一个服务商，或者换到云服务器上，相应的访问量也会跟着过去。

相关产品： 异常流量清洗服务产品介绍

一．查看网站访问统计

 1. 登录到虚拟主机管理面板，点击“访问统计”和“流量分析”，

 2.首先查看访问统计中浏览器与非浏览器流量确定流量类型。

 3.根据流量类型详细查看访问统计数据：

          3.1如是浏览器流量占用高，可查看

  等统计数据，以确定网站中是哪类文件，哪些url地址被大量访问，以及是哪些IP，哪些蜘蛛等访问量大。

       3.2如是非浏览器流量占用高，可查看

  确定是什么状态情况下产生的非浏览器流量。

二．分析网站访问日志

  根据网站访问统计中按“按日期统计”数据找一天流量较大的日志下载至本地使用记事本编辑器打开对日志具体分析核实。

   通常只需找最近三天左右的日志即可，

           windows主机可以点击“www日志”下载访问日志到wwwroot目录下，再通过ftp方式连接下载 至本地使用编辑器打开查看。

           Linux主机通过ftp连接主机打开logs目录下即可下载最近的日志。

   如要下载历史日志，可以点击 “www日志”--“获取历史日志”。

三．处理措施

3.1 正常访问情况主机流量配置低导致超标。如占用流量的文件类别、url网址、搜索蜘蛛、访问IP等数据都较均衡，无明显差异等。

请升级主机至流量配额更大的型号，如独享虚拟主机（流量配额较大），或不限流量的云服务器。

3.2 网站页面数据过大导致流量超标。如首页中加载的图片过大，同时图片设计过大等，可联系网站程序方人员减少页面的图片数，
减小图片大小等方式处理或者升级主机至流量更大的型号。

3.3 某类文件被大量请求下载等导致超标。如网站的图片、mp4等文件被外部盗链/下载等，可开启防盗链功能。如果仍然流量大，可考虑将文件存放至其他第三方网站进行引用，或升级主机至不限流量的云服务器。

3.4 其他某搜索引擎蜘蛛、IP、useragent等导致流量超标异常的。可通过web.config或.htaccess进行拦截屏蔽。

屏蔽拦截搜索引擎蜘蛛、useragent的访问抓取等：http://faq.myhostadmin.net/faq/list.asp?unid=662

屏蔽限制ip访问：http://faq.myhostadmin.net/faq/list.asp?unid=681

3.5 平时流量很小，突然一两天来了非常大的流量：是否有做活动，是否有发文章转载到公众号被大量转发等事件，如果没有，
则可能是有机器人或采集器等异常访问流量，使用虚拟主机控制面板中的“请求限制”功能：

可以禁止境外访问，或拒绝某些IP段的访问，也可以限制单个IP同时访问的数量等。

也可以配置防盗链措施： http://faq.myhostadmin.net/faq/list.asp?unid=628 避免自己网站的图片,mp3视频等资源被其他网站引用导致的异常流量过高。（注意：采用防盗链措施的情况下，直接发网站图片等链接给用户，用户是无法访问的，只有正常访问网站才能显示相关图片，以达到防盗链的目的）

3.6 分析到某客户端UA访问请求异常，可通过web.config或.htaccess规则文件屏蔽User_Agent(UA)访问：http://faq.myhostadmin.net/faq/list.asp?unid=2595

若异常流量的IP和客户端UA经常变化导致无法人工拦截，可以考虑 购买  异常流量清洗服务

四．相关案例

4.1 正常访问情况主机流量配置低

  从访问统计可见占用流量的文件类别主要为php、js、png、css。访问最多的网址为首页。而访问IP，搜索蜘蛛等占量无异常。

  通过下载网站日志核实，日志中也均正常的访问记录无明显异常请求。

  此情况则为正常访问而主机流量不足导致超标，应升级主机。

4.2 网站页面数据过大

    从统计可见占用流量最多的是图片类文件，访问网址最多的是首页。

  从访问日志中可见，请求的图片量较大，通过浏览器可见图片也相对偏大。

  此情况可考虑优化减小图片大小（通常图片大小不应超过300KB），或升级主机。

4.3 非浏览器流量大某文件被下载

  从访问统计可见非浏览器206状态占用大量流量，文件类别为mp4且文件较大。 206是断点续传下载，由此可判断mp4文件被下载导致。

  此情况可考虑将文件存放至其他第三方网站进行引用，或升级主机至不限流量的云服务器。

4.3 搜索引擎蜘蛛/机器人等占用流量

  从访问统计可见Googlebot（google蜘蛛）占用大量流量。

  从访问日志可见Googlebot对网站某个地址进行大量的访问抓取，通过反查IP是真实的google蜘蛛。

  此情况如不考虑seo优化影响情况下，可以通过规则对googlebot进行屏蔽。 类似情况还可能有Baiduspider（百度蜘蛛）对网站的大量访问抓取。
可通过来源IP核查是否为真实的百度蜘蛛等。屏蔽蜘蛛的抓取会对网站的seo优化产生影响，所以并不推荐将google，baidu的蜘蛛进行屏蔽。

请自行根据日志排查，可自行限制部分IP或蜘蛛。建议可考虑升级主机型号解决，或购买 异常流量清洗服务产品 进行拦截和防护。

若需要我司工程师协助解决，请提交工单，视情况收费100~200元/站点。