记Dreamhost的第一次宕机经历

将网站迁移到墙外已有许久，昨天经历了DreamHost的第一次宕机，有网友电话我，说我的网站不能访问了。

登陆果然遭遇到著名的 error id: "bad_httpd_conf" 错误，在DreamHost上提交了一个支持请求，很快收到答复：

Sorry for the trouble with your site. The server for your domain is
currently part of the outage listed here:

http://www.dreamhoststatus.com/2011/01/20/dynamo-requiring-fsck/

I'll have to ask you to track the outage on the page above. Sorry for
the inconveniences.

原来是宕机，之后需要fsck来恢复文件系统，这简直是一个灾难，有些网站文件被回档到历史状态，而且服务器负载超高，达到800多：load average: 838.29, 493.50, 334.81

到最后，Dreamhost用一个备用盘NFS来替代现有目录，估计原有数据是没有办法恢复了。

[dynamo]$ df -m
Filesystem           1M-blocks      Used Available Use% Mounted on
/dev/sda1                28174      3561     23183 14% /
tmpfs                     8026         0      8026   0% /lib/init/rw
tmpfs                     8026         0      8026   0% /dev/shm
/dev/sda2                 7521       159      6980   3% /tmp
/dev/sdb1              3679741    384376   3295365 11% /home
10.176.16.82:/raid2685/dynamo
                       4912036   2632157   2279879 54% /home.restoring
[dynamo]$ ls -l eygle
lrwxrwxrwx 1 root root 26 2011-01-20 17:17 eygle -> /home.restoring/home/eygle