zfsの不調HDDを交換

zpool status でhddが一台不調なのを見つけ、交換しました。

手順は；

1.   問題のHDDをoffline
2.   問題のHDDの電源を切り、取り出す。
3.   新しいHDDを挿入（この時tail -f /var/log/messages等して、挿入したHDDの名前を確認）
4.   zpool replace <pool> <取り出したdevice> <新しいdevice>

で、そのうちデータの複製が完了します。

着脱可能な3台収納のHDDケースを使っていますが、埃の溜まり方が半端ない！　時々offlineして、埃を取ってやる必要がありそうです。　（商用のサーバーはどうしているのかな？　サーバールームだから、埃は無いか？）

HDDのトラブルは結構多い！

tail -f /var/log/messages
Jul  6 15:24:31 <xxx> kernel: ada3 at ahcich4 bus 0 scbus4 target 0 lun 0
Jul  6 15:24:31 <xxx> kernel: ada3: <ST3000DM007-1WY10G 0001> ACS-3 ATA SATA 3.x device
Jul  6 15:24:31 <xxx> kernel: ada3: Serial Number ZFN3CG9W
Jul  6 15:24:31 <xxx> kernel: ada3: 600.000MB/s transfers (SATA 3.x, UDMA6, PIO 8192bytes)
Jul  6 15:24:31 <xxx> kernel: ada3: Command Queueing enabled
Jul  6 15:24:31 <xxx> kernel: ada3: 2861588MB (5860533168 512 byte sectors)
Jul  6 15:24:31 <xxx> kernel: ada3: quirks=0x1<4K>
Jul  6 15:24:31 <xxx> kernel: ada3: Serial Number ZFN3CG9W
Jul  6 15:24:31 <xxx> kernel: ada3: 600.000MB/s transfers (SATA 3.x, UDMA6, PIO 8192bytes)
Jul  6 15:24:31 <xxx> kernel: ada3: Command Queueing enabled
Jul  6 15:24:31 <xxx> kernel: ada3: 2861588MB (5860533168 512 byte sectors)
Jul  6 15:24:31 <xxx> kernel: ada3: quirks=0x1<4K>
Jul  6 15:27:06 <xxx> ZFS[57380]: vdev state changed, pool_guid=$10144449840837033772 vdev_guid=$10616007156599679386



# zpool replace zroot 4351727843915028191 ada3
Make sure to wait until resilver is done before rebooting.

If you boot from pool 'zroot', you may need to update
boot code on newly attached disk 'ada3'.

Assuming you use GPT partitioning and 'da0' is your new boot disk
you may use the following command:

 gpart bootcode -b /boot/pmbr -p /boot/gptzfsboot -i 1 da0
#

OMG!の続きの続き

新しいLGA2066のMBはCPUクーラーが入手できずに依然として作業台の上でお休み中。
サーバーのHDDをoffline/onlineで一時アクセスは正常に戻るのですが、１日ほどすると再度一台目のアクセスランプがつきっぱなしになりI/Oが極端に遅くなります。　zpool statusしても、特にHDDの状態が悪いわけでもないように思われますが、取り敢えずHDDを替えてみて様子を見ることにしました。　Seagateの3TB(ST3000DM001)を使っていたので、同じものを探してみましたが既になく、ST3000DM007を購入。　大分薄くなっています。
で、下のプロセスでresilvering。数時間かかってreplaceしましたが、今度は何ともありません。　いったい何がおかしかったんでしょう？HDD?

1) tail -f /var/log/messages でシステムログを見ながら、新しいHDDを挿入して、電源を入れて、HDDに割り振られた番号（名前）を確認。
2) zpool replace を実行して新しいHDDに置き換える。
3) zfs boot しているので、置き換えが完了後、用心のため　gpart bootcode -b /boot/pmbr -p /boot/gptzfsboot -i 1 をしておく。　（この、の所が今一よくわかっていません。　ada0,ada1,ada2と３台あるので、片っ端からgpartを実行してみましたが、no such geom: ada?と出て、一台だけにしか書き込みはできませんでした。）

=================================================
root@tyd # zpool status
  pool: zroot
 state: DEGRADED
status: One or more devices has been removed by the administrator.
    Sufficient replicas exist for the pool to continue functioning in a
    degraded state.
action: Online the device using 'zpool online' or replace the device with
    'zpool replace'.
  scan: resilvered 468K in 0h0m with 0 errors on Fri Jun 15 12:05:25 2018
config:

    NAME                                            STATE     READ WRITE CKSUM
    zroot                                           DEGRADED     0     0     0
      raidz1-0                                      DEGRADED     0     0     0
        3945605936303358747                         REMOVED      0     0     0  was /dev/gptid/e259f7a8-c5b2-11e3-b83d-e03f49b2dc0a
        gptid/e38e6197-c5b2-11e3-b83d-e03f49b2dc0a  ONLINE       0     0     0
        ada0                                        ONLINE       0     0     0

errors: No known data errors
root@tyd # zpool replace zroot gptid/e259f7a8-c5b2-11e3-b83d-e03f49b2dc0a ada1
root@tyd # zpool status
  pool: zroot
 state: DEGRADED
status: One or more devices is currently being resilvered.  The pool will
    continue to function, possibly in a degraded state.
action: Wait for the resilver to complete.
  scan: resilver in progress since Thu Jun 21 11:03:10 2018
    55.7G scanned out of 2.03T at 143M/s, 4h0m to go
        18.6G resilvered, 2.68% done
config:

    NAME                                            STATE     READ WRITE CKSUM
    zroot                                           DEGRADED     0     0     0
      raidz1-0                                      DEGRADED     0     0     0
        replacing-0                                 REMOVED      0     0     0
          3945605936303358747                       REMOVED      0     0     0  was /dev/gptid/e259f7a8-c5b2-11e3-b83d-e03f49b2dc0a
          ada1                                      ONLINE       0     0     0
        gptid/e38e6197-c5b2-11e3-b83d-e03f49b2dc0a  ONLINE       0     0     0
        ada0                                        ONLINE       0     0     0

errors: No known data errors

root@tyd # zpool status
  pool: zroot
 state: ONLINE
status: Some supported features are not enabled on the pool. The pool can
    still be used, but some features are unavailable.
action: Enable all features using 'zpool upgrade'. Once this is done,
    the pool may no longer be accessible by software that does not support
    the features. See zpool-features(7) for details.
  scan: resilvered 692G in 12h5m with 0 errors on Thu Jun 21 23:08:29 2018
config:

    NAME                                            STATE     READ WRITE CKSUM
    zroot                                           ONLINE       0     0     0
      raidz1-0                                      ONLINE       0     0     0
        ada1                                        ONLINE       0     0     0
        gptid/e38e6197-c5b2-11e3-b83d-e03f49b2dc0a  ONLINE       0     0     0
        ada0                                        ONLINE       0     0     0

errors: No known data errors
root@tyd # gpart bootcode -b /boot/pmbr -p /boot/gptzfsboot -i 1 ada0