著者:ym
BIOSは諦めてUSBのFreeBSDでarcconf
RAID1 + HotSpare 構成の HDD がすでに HotSpare 1 本のみで可動している状況でした。最悪なことに VMware の arcconf が動かない環境なので、USB ブートで FreeBSD を起動し FreeBSD の arcconf で操作する形をとりました。
まずは HDD 状態をチェック！そこで HotSpare 1 本のみで可動している状況が発覚しました。
やっぱ、VMware にも arcconf いれて 遠隔 arcconf ができる状況にしておかないとだめですね。かといって先日試しにAdaptec RAID ドライバを入れ直ししてみたけど、vmfs として認識してくれず断念したところです。
早速 HDD のシリアル番号と port# で故障 HDD を特定し、取り外し、新品 HDD を追加してリビルドを開始しました。あとは optimal になるのを待つ。
しかしこの HotSpare 設定って、どうゆう運用を想定した運用なのだろうか？
リビルド完了後も、HotSpare 状態のままらしいのです。
HotSpare は port# に紐づくのだろうか？
常に、このポート(SATAケーブル、スロット)は、HotSpare 専用だよ的な。
だとすると、リビルド完了後 HotSpare 表示の Online HDD を別のポートへ接続し直しして、可動させる必要があります。
著者:ym
VMFSとvoma
週末、金、土、日と、昼深夜問わず、障害に悩まされた週末でした。関係の無いサーバ 3 台の HDD 破損です。
でも今回は、ちょっと打ちどころが悪く影響が大きかった。ファイルシステムが破損し、復旧が出来ないファイルがいくつか出てしまいました。
VMFS を構成している、ハード RAID5 を SATA HDD で構成しているのですが、1本HDDが破損したのをきっかけに VMFS ファイルシステムへの影響が生じました。そのため、VMware を構成するファイルがいくつか破損。swap や nvram、 log ファイルなどすべて復旧が出来ない残骸が残ってしまったけど、幸いすべてのゲストOS vmdk ファイルは、無事でした。奇跡的です。データバックアップを取り、vmdk とバックアップから vmx ファイルを復旧し、どうにかゲストOSの起動にこぎつけました。
この後 VMFS ファイルシステムの復旧をしなくてはなりません。
しかし、voma ツールで壊れ具合を調べられそうだが、復旧方法はなさそう。なにか方法は無いのだろうか。
著者:ym
QNAPとSSDキャッシュ
買おう買おうと思いながらも、全然買わない。買えない状況ではありますが。
QNAP の家庭向けグレードに新製品が加わっていました。
4 スロットでは大すぎるけど、でも 2 スロットの RAID1 ではな、とも思っていたのでジャストな 3 スロット。
そういう使い方ではなく、RAID1 + 1 スロットをSSDキャッシュアクセラレーションとして使うこともできます。
勿論 1 本オフライン待機は必要ですが。
VMware上でFreeBSDのNAS化したサーバを動かしているものの、ほぼバックアップとして動いている状況。
さらにはクラウド・ストレージ＋PC接続DASという構成でほぼ生活に満足している現状があるので、なかなかNASの必要性を感じないのですが。
Docker含めて仮想化も充実してるし魅力的なアプリ機能が登載サれているので、いつか手を出したい所ですが、今の所見るだけ。
著者:ym
Adaptec RAID maxView Storage Manager でファームウェアバージョンアップ
遠隔でBIOS更新とか、ファームウェア更新というのは大変。
無事バージョンアップが完了しまいた。
FreeBSD で arcconf getconfig 1 をすると、kill -KILL も出来ないプロセスとなってしまう症状があるのでバージョンアップをしたのですが、これで解決できるとよいが。
著者:ym
RAID6でHDD3本故障した事例
NICOS カード会社のシステム障害が HDD 障害で 3 本同時に故障したとの報告。
- 2017年末のNICOSカードのシステム障害、15台のHDDで構成されたシステムで3台が同時故障 – スラド ハードウェア
- ニュース – 三菱UFJニコスのシステム障害の原因が判明、3個のHDDが同時に故障：ITpro
- NICOSカードのシステム故障による業務遅延等の影響と対応の状況について
スラドにも書かれている通り、RAID6 でも、リビルド中に他のHDDが故障する可能性は十分あるわけで。
そんななか、おおって思った情報が書き込まれていました。
HDD は壊れていなくても定期的に交換する。
なるほど、高可用性が要求されるシステムには有効でしょう。エンタープライズな HDD はまだまだ高いですが、ニアラインを大量に用意するとか、いっその事デスクトップ製品を、しかもSSDとかで週や月毎に交換するなど。
著者:ym
RAIDの開放とLowレベル初期化
RAID 崩壊するよ
RAID 構成だったディスクを取り外して単体構成に変更します。何時になってもこの作業は緊張します。
RAID 開放完了
が、実際 RAID 開放は一瞬です。あっという間に崩壊します。
Low レベルフォーマットまじでする？
さらに、別のサーバで RAID 利用する為に LOW レベルフォーマットを実行します。これが時間が掛かる。
実行したぞ
この作業、めちゃくちゃ時間がかかって大変な作業ですが、RAID を開放しただけでは、新しいサーバのディスクとして使用する際に問題となるので、この作業は必須！
著者:ym
RAID構成情報はRAIDコントローラに持っているのか？
RAID コントローラ自体が故障した場合、どうするか問題。
RAID を構成する上で、HDD を複数本と、RAID コントローラカードが必要になります。エンタープライズな RAID ストレージには RAID コントローラ自体が冗長制を持っているので問題は無いのですが、一般的なサーバで RAID コントローラが故障した時どうなるか。
弊社では Adaptec 社の RAID コントローラカードを使用しているので、改めて確認の為調査を行いました。
データを損失せずにSATAやSAS RAIDコントローラを交換する方法は-
HDD は 1 本壊れただけでは、冗長性がある為、取替るだけで復旧が行えます。
しかし RAID コントローラとなると、RAID を構成していた情報、例えば RAID5 で HDD 3 本で冗長、１本がホットスペア、RAID1+0 の 4 本構成、などの情報です。同じ HDD 本数だと、以前どのような構成だったかがわからなくなるのでは？
と考えますが、一般的な RAID は HDD に構成情報を持たせているので問題無し。
起動時に電源をしっかり通電させる。順番、本数、ファームウェアの相違、アップグレード、マイグレード条件を把握する。など作業を間違え無ければ HDD から構成情報が復元が行えるとのと。
今から作業を行う為、念のため確認でした。