OMG!の続きの続き

新しいLGA2066のMBはCPUクーラーが入手できずに依然として作業台の上でお休み中。
サーバーのHDDをoffline/onlineで一時アクセスは正常に戻るのですが、１日ほどすると再度一台目のアクセスランプがつきっぱなしになりI/Oが極端に遅くなります。　zpool statusしても、特にHDDの状態が悪いわけでもないように思われますが、取り敢えずHDDを替えてみて様子を見ることにしました。　Seagateの3TB(ST3000DM001)を使っていたので、同じものを探してみましたが既になく、ST3000DM007を購入。　大分薄くなっています。
で、下のプロセスでresilvering。数時間かかってreplaceしましたが、今度は何ともありません。　いったい何がおかしかったんでしょう？HDD?

1) tail -f /var/log/messages でシステムログを見ながら、新しいHDDを挿入して、電源を入れて、HDDに割り振られた番号（名前）を確認。
2) zpool replace を実行して新しいHDDに置き換える。
3) zfs boot しているので、置き換えが完了後、用心のため　gpart bootcode -b /boot/pmbr -p /boot/gptzfsboot -i 1 をしておく。　（この、の所が今一よくわかっていません。　ada0,ada1,ada2と３台あるので、片っ端からgpartを実行してみましたが、no such geom: ada?と出て、一台だけにしか書き込みはできませんでした。）

=================================================
root@tyd # zpool status
  pool: zroot
 state: DEGRADED
status: One or more devices has been removed by the administrator.
    Sufficient replicas exist for the pool to continue functioning in a
    degraded state.
action: Online the device using 'zpool online' or replace the device with
    'zpool replace'.
  scan: resilvered 468K in 0h0m with 0 errors on Fri Jun 15 12:05:25 2018
config:

    NAME                                            STATE     READ WRITE CKSUM
    zroot                                           DEGRADED     0     0     0
      raidz1-0                                      DEGRADED     0     0     0
        3945605936303358747                         REMOVED      0     0     0  was /dev/gptid/e259f7a8-c5b2-11e3-b83d-e03f49b2dc0a
        gptid/e38e6197-c5b2-11e3-b83d-e03f49b2dc0a  ONLINE       0     0     0
        ada0                                        ONLINE       0     0     0

errors: No known data errors
root@tyd # zpool replace zroot gptid/e259f7a8-c5b2-11e3-b83d-e03f49b2dc0a ada1
root@tyd # zpool status
  pool: zroot
 state: DEGRADED
status: One or more devices is currently being resilvered.  The pool will
    continue to function, possibly in a degraded state.
action: Wait for the resilver to complete.
  scan: resilver in progress since Thu Jun 21 11:03:10 2018
    55.7G scanned out of 2.03T at 143M/s, 4h0m to go
        18.6G resilvered, 2.68% done
config:

    NAME                                            STATE     READ WRITE CKSUM
    zroot                                           DEGRADED     0     0     0
      raidz1-0                                      DEGRADED     0     0     0
        replacing-0                                 REMOVED      0     0     0
          3945605936303358747                       REMOVED      0     0     0  was /dev/gptid/e259f7a8-c5b2-11e3-b83d-e03f49b2dc0a
          ada1                                      ONLINE       0     0     0
        gptid/e38e6197-c5b2-11e3-b83d-e03f49b2dc0a  ONLINE       0     0     0
        ada0                                        ONLINE       0     0     0

errors: No known data errors

root@tyd # zpool status
  pool: zroot
 state: ONLINE
status: Some supported features are not enabled on the pool. The pool can
    still be used, but some features are unavailable.
action: Enable all features using 'zpool upgrade'. Once this is done,
    the pool may no longer be accessible by software that does not support
    the features. See zpool-features(7) for details.
  scan: resilvered 692G in 12h5m with 0 errors on Thu Jun 21 23:08:29 2018
config:

    NAME                                            STATE     READ WRITE CKSUM
    zroot                                           ONLINE       0     0     0
      raidz1-0                                      ONLINE       0     0     0
        ada1                                        ONLINE       0     0     0
        gptid/e38e6197-c5b2-11e3-b83d-e03f49b2dc0a  ONLINE       0     0     0
        ada0                                        ONLINE       0     0     0

errors: No known data errors
root@tyd # gpart bootcode -b /boot/pmbr -p /boot/gptzfsboot -i 1 ada0

サーバーが死んでしまったが、復活させることが出来た！

２－３日前に夜間停電でシャック内の全ての機器が死んでいて、朝電源を入れて回りましたが、ファイルサーバーに使っていたFreeBSD 11.0-stableだけが立ち上がらない！　モニタ繋いでみてみると；
gplzfsboot: No ZFS pools located, can't boot
ZFS: unsupported feature: comdelphix: hole-birth
ZFS: unsupported feature: comdelphix: embedded-data
  :    :      :             :
と出ています。　「アイヤー。zfs をアップデートした覚えが、、、。参ったな。重要ファイルがいっぱいあるのに、、、」とググってみると、同じ問題を解決した人のブログを見っけ。　早速、FreeBSD 11.1-stableを探したが、見当たらないのでFreeBSD 11.1-releaseをダウンロード、DVDを作成。　
DVDから立ち上げLiveCDで；
gpart bootcode -b /boot/pmbr -p /boot/gptzfsboot -i 1 ada0
としてみるが
gpart: No such geom: ada0 と敢え無くダメ。　/dev/ada0としてもダメ。

ada0/ada1/ada2と３台繋がっているので、ダメもとで；
gpart bootcode -b /boot/pmbr -p /boot/gptzfsboot -i 1 ada1
とすると、ピンポーン！　何故だかわかりませんが、bootcodeをada1に保持されているみたいです（ada2かも？）　ここら辺のロジックがよくわかりませんが、 ま、取り敢えず動くようになり、めでたし、めでたし、、、、。

やはり１台じゃ不安、、、

昔からの8IPのネットワークを止めて、１IPのネットワークに契約し直した結果として独自ドメインもメールサーバも必要なく（自宅内のメールを全てgoogleに移行させ）なったので、それまで稼働していたサーバを止めて、バラして先週水曜にパーツとして売却してきた（収入はまだ未確定）が、週末のトラブルのような事態にはやはり独立して動くマシンが必要だと痛感。
で、２Uでi7でもう一台作る事にして作業開始。　これをデータサーバ、DHCPサーバとして使うことにして３TBのディスクを３台ZFSのraidz1で構成することにして、通常使っているPCはWindows8.1にすることにした。　今までの構成とは逆でFreeBSDは従、Windowsが主となることに、、、。
で、root-on-zfsが使える事になっているFreeBSD 10.0Rをインストールしてみたが、起動しなくなる！　おい、どうなってる？とググってみるとありますねー。

"Partitions not seen. When using GPT, FreeBSD will create a protective MBR. This MBR has one partition entry covering the whole disk. FreeBSD marks this partition active. This causes at least some UEFI implementations to ignore the GPT. To fix this the partition needs to be marked inactive."

I had the same problem using GPT partitions on an Asus z87-ws motherboard with FreeBSD 10-RCx. I had to enable/disable the active flag after sysinstall ends to make it work.

gpart set -a active adaX

今日帰ってやってみて、うまく行かなかったら何か別の方法を考えなければならないかもしれませんが、かなりの人が「これで解決」と言っているので、多分大丈夫でしょう、、、。

>大丈夫でした。 gpart set -a active ada0　で嘘のようにうまく立ち上がり、raidz1の3TB x 3のディスクサーバの出来上がり。　あ、設定を忘れてラックに入れてしまったので、もう一度取り出してsshでアクセスできるようにしておかないと、、、。

FreeBSDへはWindows上のXming（無償のX server）で対応できそうなので、これでもあまり今までと変わりなく使える事を期待しています。　ま、どうしても必要であればWindows上のVirtualBoxで動かせばいいわけだし、、、。

SmartSDRなど無線関係でWindowsを頻繁に使うようになり、だいぶ軟弱路線化している自分、、、。