« 体验百度博客搜索-百度更了解中文 | Blog首页 | 恭王府赏福字碑 »
求求你别搜索我
作者:eygle |【转载时请务必以超链接形式标明文章原始出处和作者信息及本声明】链接:http://www.eygle.com/archives/2006/12/httpd_conf_limit_mtsearch.html
前几天,我的网站由于被腾讯的SoSo拖曳网页而导致失去响应,通过iptables我封锁了那个ip地址。
结果今天类似问题再次出现,搞得我的服务器load一下子又升高到200多:
[root@eygle logs]# uptime
20:01:37 up 23 min, 1 user, load average: 246.82, 243.49, 144.99
瞬间的并发进程有300多:
[root@eygle logs]# grep mt-search.cgi eygle_access_log.20061208 |awk '{print $1}'|wc -l
321
主要的ip地址为:58.61.164.138
再封锁了这个ip,不过如果对方不断更换地址,这样的封锁不是办法。
咨询了一下DCBA,他说可以通过robots.txt来限制一下相关目录的访问。
我告诉他,那个早就设置了,这些垃圾搜索引擎根本不看robots.txt文件的。
随后DCBA建议我修改一下Apache的规则,这是一个好办法,修改了一下,类似之前设置过的图片防盗链一样,针对mt-search.cgi的访问只允许来自站内,在httpd.conf中增加如下一段即可:
<FilesMatch "mt-search.cgi">
Order Allow,Deny
Allow from env=local_ref
</FilesMatch>
现在应该可以有效防止这些流氓搜索引擎了吧?
-The End-
By eygle on 2006-12-08 21:30 | Comments (3) | Posted to Web | Edit |Pageviews:
留言 (3)
那我可不可以搜你啊? =(^ . ^)=
Posted by: julia at December 8, 2006 11:27 PM
哪天流氓改名了 叫mtt-search.cgi mmt-search.cgi了^_^
Posted by: alinew at December 10, 2006 11:56 AM
不是的,mt-search.cgi是我的网站文件名,搜索引擎不产生页面访问,直接拖曳网页,我针对这类访问做的限制。
Posted by: eygle at December 10, 2006 4:25 PM
