« Oracle7.3.4 Checkpoint行为研究 | Blog首页 | 使用Index提示 强制使用索引 »
如何才能防止拉网页?
作者：eygle | 【转载请注出处】|【云和恩墨 领先的zData数据库一体机 | zCloud PaaS云管平台 | SQM SQL审核平台 | ZDBM 数据库备份一体机】
链接：https://www.eygle.com/archives/2006/02/howto_ban_webdownloader.html
链接：https://www.eygle.com/archives/2006/02/howto_ban_webdownloader.html
今天网站[www.eygle.com]的服务器又经历了一次考验. 上午发现CPU idle 变为0，主机开始满负荷运转，前端访问巨慢，赶紧登陆检查。
在apache日志中发现大量如下日志：
grep "Web Downloader/6.3" access_log.20060221 |awk '{print $1 " " $12$13}'
|
原来是有人在使用WebDownloader工具拉我的网站。
赶快封了该地址，流量和负载一下就降了下来：
iptables -A INPUT -s 61.145.165.xx -j REJECT |
可是怎样才能防止这种拉网页的行为呢?
谁有好办法请指点一下：）
也请访问我网站的朋友手下留情，不要这样来拉网页，我的服务器很脆弱的。
历史上的今天...
>> 2011-02-21文章:
>> 2008-02-21文章:
>> 2005-02-21文章:
By eygle on 2006-02-21 16:25 | Comments (6) | Web | 687 |
可以通过封掉useragent来拒绝某些特定的网页爬虫。
apache我不熟悉，不太清楚具体命令。参阅
http://phorum.study-area.org/printview.php?t=31688&start=0
今天我把你的网站推荐给某人了
谢谢qqdao,俺试试看.
eygle，你不如把文章整理成册让人下载好了，许多文章确实可以重复阅读。Apache可以限制并发连接数。
时间才是主要的问题啊.
Apache限制并发没用的,拖网页会把数据库耗死.
一般拉网页是通过FTP软件等，限制这些软件的下载就可以了。好像它们都遵守一个什么协议。可以试试。