如何才能防止拉网页?

« Oracle7.3.4 Checkpoint行为研究 | Blog首页 | 使用Index提示强制使用索引 »

如何才能防止拉网页?

作者：eygle |【转载时请以超链接形式标明文章出处和作者信息及本声明】
链接：http://www.eygle.com/archives/2006/02/howto_ban_webdownloader.html

站内相关文章|Related Articles

eygle.com完成建站以来最大的一次迁移
MT归档分页插件(Paged Archives)几个问题的解决
What's Mean "TCP: Treason uncloaked! Peer..shrinks window..Repaired."
对referrers.cgi（反向链接）的一点调整
安装cronolog,格式化Apache的日志文件

今天网站[www.eygle.com]的服务器又经历了一次考验. 上午发现CPU idle 变为0，主机开始满负荷运转，前端访问巨慢，赶紧登陆检查。

在apache日志中发现大量如下日志：

grep "Web Downloader/6.3" access_log.20060221 |awk '{print $1 " " $12$13}'
61.145.165.xx "WebDownloader/6.3"
61.145.165.xx "WebDownloader/6.3"
61.145.165.xx "WebDownloader/6.3"
61.145.165.xx "WebDownloader/6.3"
61.145.165.xx "WebDownloader/6.3"
61.145.165.xx "WebDownloader/6.3"

原来是有人在使用WebDownloader工具拉我的网站。

赶快封了该地址，流量和负载一下就降了下来：

iptables -A INPUT -s 61.145.165.xx -j REJECT

可是怎样才能防止这种拉网页的行为呢?

谁有好办法请指点一下：）

也请访问我网站的朋友手下留情，不要这样来拉网页，我的服务器很脆弱的。

历史上的今天...
>> 2008-02-21文章:

IBM ThinkPad-如何激活和关闭数字小键盘

>> 2005-02-21文章:

自己动手,丰衣足食

By eygle on 2006-02-21 16:25 | Comments (6) | Posted to Web | Edit |Pageviews:

相关文章	随机文章
eygle.com完成建站以来最大的一次迁移 MT归档分页插件(Paged Archives)几个问题的解决 What's Mean "TCP: Treason uncloaked! Peer..shrinks window..Repaired." 对referrers.cgi（反向链接）的一点调整安装cronolog,格式化Apache的日志文件	繁忙的一周装修的进展 How to Install .src.rpm package ? Install MT WYSIWYG plugin FCKeditor 如何手工安装Oracle全文检索工具? 黄山云海观日出

搜索本站:

留言 (6)

可以通过封掉useragent来拒绝某些特定的网页爬虫。
apache我不熟悉，不太清楚具体命令。参阅
http://phorum.study-area.org/printview.php?t=31688&start=0

Posted by: qqdao at February 21, 2006 5:34 PM

今天我把你的网站推荐给某人了

Posted by: 柔 at February 21, 2006 6:18 PM

谢谢qqdao,俺试试看.

Posted by: eygle at February 21, 2006 9:10 PM

eygle，你不如把文章整理成册让人下载好了，许多文章确实可以重复阅读。Apache可以限制并发连接数。

Posted by: glumtail at February 22, 2006 12:29 AM

时间才是主要的问题啊.

Apache限制并发没用的,拖网页会把数据库耗死.

Posted by: eygle at February 22, 2006 1:10 PM

一般拉网页是通过FTP软件等，限制这些软件的下载就可以了。好像它们都遵守一个什么协议。可以试试。

Posted by: zhongguosou.com at February 22, 2006 8:23 PM

www.eygle.com

如何才能防止拉网页?

留言 (6)

发表留言: