OMG!の続きの続き

新しいLGA2066のMBはCPUクーラーが入手できずに依然として作業台の上でお休み中。
サーバーのHDDをoffline/onlineで一時アクセスは正常に戻るのですが、１日ほどすると再度一台目のアクセスランプがつきっぱなしになりI/Oが極端に遅くなります。　zpool statusしても、特にHDDの状態が悪いわけでもないように思われますが、取り敢えずHDDを替えてみて様子を見ることにしました。　Seagateの3TB(ST3000DM001)を使っていたので、同じものを探してみましたが既になく、ST3000DM007を購入。　大分薄くなっています。
で、下のプロセスでresilvering。数時間かかってreplaceしましたが、今度は何ともありません。　いったい何がおかしかったんでしょう？HDD?

1) tail -f /var/log/messages でシステムログを見ながら、新しいHDDを挿入して、電源を入れて、HDDに割り振られた番号（名前）を確認。
2) zpool replace を実行して新しいHDDに置き換える。
3) zfs boot しているので、置き換えが完了後、用心のため　gpart bootcode -b /boot/pmbr -p /boot/gptzfsboot -i 1 をしておく。　（この、の所が今一よくわかっていません。　ada0,ada1,ada2と３台あるので、片っ端からgpartを実行してみましたが、no such geom: ada?と出て、一台だけにしか書き込みはできませんでした。）

=================================================
root@tyd # zpool status
  pool: zroot
 state: DEGRADED
status: One or more devices has been removed by the administrator.
    Sufficient replicas exist for the pool to continue functioning in a
    degraded state.
action: Online the device using 'zpool online' or replace the device with
    'zpool replace'.
  scan: resilvered 468K in 0h0m with 0 errors on Fri Jun 15 12:05:25 2018
config:

    NAME                                            STATE     READ WRITE CKSUM
    zroot                                           DEGRADED     0     0     0
      raidz1-0                                      DEGRADED     0     0     0
        3945605936303358747                         REMOVED      0     0     0  was /dev/gptid/e259f7a8-c5b2-11e3-b83d-e03f49b2dc0a
        gptid/e38e6197-c5b2-11e3-b83d-e03f49b2dc0a  ONLINE       0     0     0
        ada0                                        ONLINE       0     0     0

errors: No known data errors
root@tyd # zpool replace zroot gptid/e259f7a8-c5b2-11e3-b83d-e03f49b2dc0a ada1
root@tyd # zpool status
  pool: zroot
 state: DEGRADED
status: One or more devices is currently being resilvered.  The pool will
    continue to function, possibly in a degraded state.
action: Wait for the resilver to complete.
  scan: resilver in progress since Thu Jun 21 11:03:10 2018
    55.7G scanned out of 2.03T at 143M/s, 4h0m to go
        18.6G resilvered, 2.68% done
config:

    NAME                                            STATE     READ WRITE CKSUM
    zroot                                           DEGRADED     0     0     0
      raidz1-0                                      DEGRADED     0     0     0
        replacing-0                                 REMOVED      0     0     0
          3945605936303358747                       REMOVED      0     0     0  was /dev/gptid/e259f7a8-c5b2-11e3-b83d-e03f49b2dc0a
          ada1                                      ONLINE       0     0     0
        gptid/e38e6197-c5b2-11e3-b83d-e03f49b2dc0a  ONLINE       0     0     0
        ada0                                        ONLINE       0     0     0

errors: No known data errors

root@tyd # zpool status
  pool: zroot
 state: ONLINE
status: Some supported features are not enabled on the pool. The pool can
    still be used, but some features are unavailable.
action: Enable all features using 'zpool upgrade'. Once this is done,
    the pool may no longer be accessible by software that does not support
    the features. See zpool-features(7) for details.
  scan: resilvered 692G in 12h5m with 0 errors on Thu Jun 21 23:08:29 2018
config:

    NAME                                            STATE     READ WRITE CKSUM
    zroot                                           ONLINE       0     0     0
      raidz1-0                                      ONLINE       0     0     0
        ada1                                        ONLINE       0     0     0
        gptid/e38e6197-c5b2-11e3-b83d-e03f49b2dc0a  ONLINE       0     0     0
        ada0                                        ONLINE       0     0     0

errors: No known data errors
root@tyd # gpart bootcode -b /boot/pmbr -p /boot/gptzfsboot -i 1 ada0