如何才能防止拉网页?

« Oracle7.3.4 Checkpoint行为研究 | Blog首页 | 使用Index提示强制使用索引 »

如何才能防止拉网页?

作者：eygle |【转载时请务必以超链接形式标明文章原始出处和作者信息及本声明】
链接：http://www.eygle.com/archives/2006/02/howto_ban_webdownloader.html

站内相关文章|Related Articles

eygle.com完成建站以来最大的一次迁移

MT归档分页插件(Paged Archives)几个问题的解决

What's Mean "TCP: Treason uncloaked! Peer..shrinks window..Repaired."

对referrers.cgi（反向链接）的一点调整

安装cronolog,格式化Apache的日志文件

今天网站[www.eygle.com]的服务器又经历了一次考验. 上午发现CPU idle 变为0，主机开始满负荷运转，前端访问巨慢，赶紧登陆检查。

在apache日志中发现大量如下日志：

grep "Web Downloader/6.3" access_log.20060221 |awk '{print $1 " " $12$13}'
61.145.165.xx "WebDownloader/6.3"
61.145.165.xx "WebDownloader/6.3"
61.145.165.xx "WebDownloader/6.3"
61.145.165.xx "WebDownloader/6.3"
61.145.165.xx "WebDownloader/6.3"
61.145.165.xx "WebDownloader/6.3"

原来是有人在使用WebDownloader工具拉我的网站。

赶快封了该地址，流量和负载一下就降了下来：

iptables -A INPUT -s 61.145.165.xx -j REJECT

可是怎样才能防止这种拉网页的行为呢?

谁有好办法请指点一下：）

也请访问我网站的朋友手下留情，不要这样来拉网页，我的服务器很脆弱的。

-----
这篇【如何才能防止拉网页?】来自 www.eygle.com | CSDN技术网摘| del.icio.us|365Key

By eygle on 2006-02-21 16:25 | Comments (6) | Posted to Web | Edit |Pageviews:

相关文章	随机文章
eygle.com完成建站以来最大的一次迁移 MT归档分页插件(Paged Archives)几个问题的解决 What's Mean "TCP: Treason uncloaked! Peer..shrinks window..Repaired." 对referrers.cgi（反向链接）的一点调整安装cronolog,格式化Apache的日志文件	NVIDIA GeForce4 MX 440与液晶电视飘洋过海来看你圣诞快乐 Oracle中独一无二的Cache对象 Tom的法则:当你开发数据库软件时...

网上相关主题:

留言 (6)

可以通过封掉useragent来拒绝某些特定的网页爬虫。
apache我不熟悉，不太清楚具体命令。参阅
http://phorum.study-area.org/printview.php?t=31688&start=0

Posted by: qqdao at February 21, 2006 5:34 PM

今天我把你的网站推荐给某人了

Posted by: 柔 at February 21, 2006 6:18 PM

谢谢qqdao,俺试试看.

Posted by: eygle at February 21, 2006 9:10 PM

eygle，你不如把文章整理成册让人下载好了，许多文章确实可以重复阅读。Apache可以限制并发连接数。

Posted by: glumtail at February 22, 2006 12:29 AM

时间才是主要的问题啊.

Apache限制并发没用的,拖网页会把数据库耗死.

Posted by: eygle at February 22, 2006 1:10 PM

一般拉网页是通过FTP软件等，限制这些软件的下载就可以了。好像它们都遵守一个什么协议。可以试试。

Posted by: zhongguosou.com at February 22, 2006 8:23 PM

www.eygle.com

如何才能防止拉网页?

留言 (6)

发表留言: