这是谁家的蜘蛛(hl_ftien_spider) ?

« 又是一年三月三 | Blog首页 | DBA生存之四大守则 »

这是谁家的蜘蛛(hl_ftien_spider) ?

作者：eygle |【转载时请以超链接形式标明文章出处和作者信息及本声明】
链接：http://www.eygle.com/archives/2006/03/ban_hl_ftien_spider.html

站内相关文章|Related Articles

Resin、Apache、PHP与404错误

今天网站流量再度攀升,经检查原来是一个名为"hl_ftien_spider"的蜘蛛在疯狂的爬我的网站网页.

grep hl_ftien_spider access_log.20060304 |awk '{print $1 $2 $4 $3 $12}'

218.68.240.81-[04/Mar/2006:22:57:11-"hl_ftien_spider"
218.68.240.81-[04/Mar/2006:22:57:27-"hl_ftien_spider"
218.68.240.81-[04/Mar/2006:22:57:28-"hl_ftien_spider"
218.68.240.81-[04/Mar/2006:22:57:28-"hl_ftien_spider"
218.68.240.81-[04/Mar/2006:22:57:45-"hl_ftien_spider"
218.68.240.81-[04/Mar/2006:22:57:46-"hl_ftien_spider"

................

这样胡乱爬网页跟攻击没有什么区别,马上封了该ip地址,iptables在封锁ip上还是非常有效的:

iptables -A INPUT -s 218.68.240.38 -j REJECT

查询了一下该Ip地址,是来自天津的:

您要查询的是"218.68.240.38"，它被理解为"218.68.240.38"

官方数据:
在亚洲与太平洋网络信息中心(APNIC)找到:

% [whois.apnic.net node-1]
% Whois data copyright terms    http://www.apnic.net/db/dbcopyright.html

路由:                   218.68.0.0/15
单位全名和地址:         CNC Group CHINA169 Tianjin Province Network
国家或地区:             中国
自治域(AS):             AS4837
维护者:                 MAINT-CNCGROUP-RR
变更记录:               abuse@cnc-noc.net 20060118
信息来源:               APNIC

谁知道这是哪家的蜘蛛出来乱爬么?

Google上也没有有用的信息,似乎是流氓引擎吧.

补充：后来知道这是海量的蜘蛛，海量后来更改了搜索算法。

历史上的今天...
------
这篇【这是谁家的蜘蛛(hl_ftien_spider) ?】来自 www.eygle.com | CSDN技术网摘| del.icio.us|365Key

By eygle on 2006-03-05 00:31 | Comments (10) | Posted to Web | Edit |Pageviews:

相关文章	随机文章
Resin、Apache、PHP与404错误百度城管与 GFW Eygle.Com网站统计信息 MT4恼人的升级提示处理一则支持国货拒绝互联	系统表空间IO错误数据损坏处理一则 10g New Feature:MAXTRANS参数已经废弃参加China-Pub图书义卖主题演讲活动 Why My server Down? 李广、李暠、李渊、李白与敦煌

搜索本站:

留言 (10)

我最新一直在访问,我也是在天津的,不过我的IP是
220.113.135.23,应该不是我:)

Posted by: liuwu at March 5, 2006 1:56 AM

大师为我们提供了这么好的一个学习空间，我们要共同努力保护好这块阵地。
打击那些恶意破坏的人和程序！

Posted by: kingheap at March 5, 2006 11:39 AM

不是您会是谁呢?

Posted by: julia at March 5, 2006 12:17 PM

哈哈。人怕出名，猪怕壮的简单道理。

Posted by: 托马斯张 at March 5, 2006 7:00 PM

说明你的网站有内容啊！要不谁来下啊，应该高兴才好

Posted by: litterbaby at March 10, 2006 5:11 PM

这有什么，sogou曾经一天爬我们的网站(www.tugus.com)10万多次。有内容就不怕！

Posted by: Tomas at January 9, 2007 11:53 AM

to Tomas;
你们是商业网站，我的个人网站带宽等资源有限啊！

Posted by: eygle at January 9, 2007 12:55 PM

我们的网站也深受其害，来自天津爬虫IP（60.28.10.174/60.28.10.189/60.28.10.190）以每秒钟400次的频率疯狂的访问我们网站，造成带宽严重阻塞！客户无法访问！

Posted by: 上火 at April 28, 2007 3:45 PM

Posted by: 上火 at April 28, 2007 3:46 PM

是海量的蜘蛛。可以修改robot屏蔽它。

Posted by: 郭健 at January 10, 2008 9:26 AM

www.eygle.com

这是谁家的蜘蛛(hl_ftien_spider) ?

留言 (10)

发表留言: