December 8, 2006
求求你别搜索我
作者:eygle
出处:http://blog.eygle.com
前几天,我的网站由于被腾讯的SoSo拖曳网页而导致失去响应,通过iptables我封锁了那个ip地址。
结果今天类似问题再次出现，搞得我的服务器load一下子又升高到200多:
[root@eygle logs]# uptime
20:01:37 up 23 min, 1 user, load average: 246.82, 243.49, 144.99
瞬间的并发进程有300多:
[root@eygle logs]# grep mt-search.cgi eygle_access_log.20061208 |awk '{print $1}'|wc -l
321
主要的ip地址为:58.61.164.138
再封锁了这个ip，不过如果对方不断更换地址，这样的封锁不是办法。
咨询了一下DCBA，他说可以通过robots.txt来限制一下相关目录的访问。
我告诉他，那个早就设置了，这些垃圾搜索引擎根本不看robots.txt文件的。
随后DCBA建议我修改一下Apache的规则，这是一个好办法，修改了一下，类似之前设置过的图片防盗链一样，针对mt-search.cgi的访问只允许来自站内，在httpd.conf中增加如下一段即可:
<FilesMatch "mt-search.cgi">
Order Allow,Deny
Allow from env=local_ref
</FilesMatch>
现在应该可以有效防止这些流氓搜索引擎了吧?
-The End-
Posted by eygle at 9:30 PM | Comments (3)
体验百度博客搜索-百度更了解中文
作者:eygle
出处:http://blog.eygle.com
昨天百度的博客搜索( blogsearch.baidu.com )正式发布，试用了一下，发现效果还不错。
用来做 egoSurf 时百度的结果比Google的要好一些，百度能够给出更多在Google中无法找到的内容，看来的确是百度更了解中文；更重要的是Google的博客搜索( blogsearch.google.com )经常间歇性的无法访问，百度的产品看来是一个很好的替代。
其实我们可以很容易的发现，只要百度不断地把Google的成功服务搬过来，在GFW的帮助下，百度就能取得不错的成绩，最近微软的MSN Space几乎无法访问，百度的空间应该又获得了快速扩张...
目前百度主要收录的都是MSN Space和百度空间的Blog，在百度上提交了一下我的博客 RSS。
博客提交地址：http://utility.baidu.com/blogsearch/submit.php
-The End-
Posted by eygle at 11:04 AM | Comments (3)
遭遇Bug Apache异常终止
作者:eygle
出处:http://blog.eygle.com
今早发现，网站居然死掉了，检查一下，还好不是黑客攻击。
检查一下Apache日志，发现如下一条信息:
[notice] caught SIGTERM, shutting down
然后Apache就死掉了，网站Down了12个小时。
Apache的日志中再没有其他信息，检索网上的内容，很多帖子提到是和Bug有关，但是情况各不相同。
检查系统日志，又发现了一些有价值的信息:
Dec 7 21:45:47 eygle kernel: Free swap: 0kB
Dec 7 21:45:47 eygle kernel: 524282 pages of RAM
Dec 7 21:45:47 eygle kernel: 294906 pages of HIGHMEM
Dec 7 21:45:47 eygle kernel: 5537 reserved pages
Dec 7 21:45:47 eygle kernel: 10083 pages shared
Dec 7 21:45:47 eygle kernel: 0 pages swap cached
Dec 7 21:45:47 eygle kernel: Out of Memory: Killed process 29858 (httpd).
Dec 7 21:45:47 eygle kernel: oom-killer: gfp_mask=0x1d2
Dec 7 21:45:47 eygle kernel: Mem-info:
Dec 7 21:45:47 eygle kernel: DMA per-cpu:
Dec 7 21:45:47 eygle kernel: cpu 0 hot: low 2, high 6, batch 1
Dec 7 21:45:47 eygle kernel: cpu 0 cold: low 0, high 2, batch 1
Dec 7 21:45:47 eygle kernel: cpu 1 hot: low 2, high 6, batch 1
Dec 7 21:45:47 eygle kernel: cpu 1 cold: low 0, high 2, batch 1
Dec 7 21:45:47 eygle kernel: Normal per-cpu:
Dec 7 21:45:47 eygle kernel: cpu 0 hot: low 32, high 96, batch 16
Dec 7 21:45:47 eygle kernel: cpu 0 cold: low 0, high 32, batch 16
Dec 7 21:45:47 eygle kernel: cpu 1 hot: low 32, high 96, batch 16
Dec 7 21:45:47 eygle kernel: cpu 1 cold: low 0, high 32, batch 16
居然是资源耗尽,这几乎是不可能的，SoSo的疯狂拉网页已经被成功封锁...
不过当时的系统具体信息已经不知道了，从Apache的日志中也没有看到太过频繁的访问。
哪位朋友遇到过类似的情况么?
Posted by eygle at 9:21 AM | Comments (15)