« 体验百度博客搜索-百度更了解中文 | Blog首页 | 恭王府赏福字碑 »
求求你别搜索我
作者:eygle | 【转载请注出处】|【云和恩墨 领先的zData数据库一体机 | zCloud PaaS云管平台 | SQM SQL审核平台 | ZDBM 数据库备份一体机】
链接:https://www.eygle.com/archives/2006/12/httpd_conf_limit_mtsearch.html
链接:https://www.eygle.com/archives/2006/12/httpd_conf_limit_mtsearch.html
前几天,我的网站由于被腾讯的SoSo拖曳网页而导致失去响应,通过iptables我封锁了那个ip地址。
结果今天类似问题再次出现,搞得我的服务器load一下子又升高到200多:
[root@eygle logs]# uptime
20:01:37 up 23 min, 1 user, load average: 246.82, 243.49, 144.99
瞬间的并发进程有300多:
[root@eygle logs]# grep mt-search.cgi eygle_access_log.20061208 |awk '{print $1}'|wc -l
321
主要的ip地址为:58.61.164.138
再封锁了这个ip,不过如果对方不断更换地址,这样的封锁不是办法。
咨询了一下DCBA,他说可以通过robots.txt来限制一下相关目录的访问。
我告诉他,那个早就设置了,这些垃圾搜索引擎根本不看robots.txt文件的。
随后DCBA建议我修改一下Apache的规则,这是一个好办法,修改了一下,类似之前设置过的图片防盗链一样,针对mt-search.cgi的访问只允许来自站内,在httpd.conf中增加如下一段即可:
<FilesMatch "mt-search.cgi">
Order Allow,Deny
Allow from env=local_ref
</FilesMatch>
现在应该可以有效防止这些流氓搜索引擎了吧?
-The End-
历史上的今天...
>> 2019-12-08文章:
>> 2016-12-08文章:
>> 2010-12-08文章:
>> 2008-12-08文章:
By eygle on 2006-12-08 21:30 | Comments (3) | Web | 999 |
那我可不可以搜你啊? =(^ . ^)=
哪天流氓改名了 叫mtt-search.cgi mmt-search.cgi了^_^
不是的,mt-search.cgi是我的网站文件名,搜索引擎不产生页面访问,直接拖曳网页,我针对这类访问做的限制。