eygle.com   eygle.com
eygle.com eygle
eygle.com  
 

« 体验百度博客搜索-百度更了解中文 | Blog首页 | 恭王府赏福字碑 »

求求你别搜索我

前几天,我的网站由于被腾讯的SoSo拖曳网页而导致失去响应,通过iptables我封锁了那个ip地址。

结果今天类似问题再次出现,搞得我的服务器load一下子又升高到200多:

[root@eygle logs]# uptime
20:01:37 up 23 min, 1 user, load average: 246.82, 243.49, 144.99

瞬间的并发进程有300多:

[root@eygle logs]# grep mt-search.cgi eygle_access_log.20061208 |awk '{print $1}'|wc -l
321

主要的ip地址为:58.61.164.138

再封锁了这个ip,不过如果对方不断更换地址,这样的封锁不是办法。
咨询了一下DCBA,他说可以通过robots.txt来限制一下相关目录的访问。
我告诉他,那个早就设置了,这些垃圾搜索引擎根本不看robots.txt文件的。

随后DCBA建议我修改一下Apache的规则,这是一个好办法,修改了一下,类似之前设置过的图片防盗链一样,针对mt-search.cgi的访问只允许来自站内,在httpd.conf中增加如下一段即可:

<FilesMatch "mt-search.cgi">
Order Allow,Deny
Allow from env=local_ref
</FilesMatch>

现在应该可以有效防止这些流氓搜索引擎了吧?

-The End-


历史上的今天...
    >> 2016-12-08文章:
    >> 2010-12-08文章:
    >> 2008-12-08文章:

无觅

By eygle on 2006-12-08 21:30 | Comments (3) | Web | 999 |

3 Comments

那我可不可以搜你啊? =(^ . ^)=

哪天流氓改名了 叫mtt-search.cgi mmt-search.cgi了^_^

不是的,mt-search.cgi是我的网站文件名,搜索引擎不产生页面访问,直接拖曳网页,我针对这类访问做的限制。


CopyRight © 2004~2020 云和恩墨,成就未来!, All rights reserved.
数据恢复·紧急救援·性能优化 云和恩墨 24x7 热线电话:400-600-8755 业务咨询:010-59007017-7040 or 7037 业务合作: marketing@enmotech.com