着任一日目:機器のランプの確認
トラブルプロジェクトの場合、本来想定されているマシン室にのみ機器があることは少ない。
遅延をキャッチアップするために、全国各地からかき集められた中古のサーバーや、各会社の持っている有象無象のファイルサーバーが、プロジェクトルームの机の横や、別室に急造された臨時マシン室に鎮座していることが多い。しかも、それらが、たこ足配線でほこりまみれになっているケースもざらである。
この、おんぼろサーバー群がなかなか侮れない存在で、ランダムに故障しては、インフラエンジニアに徹夜対応を強いる存在である。もしも停止したサーバーが、プロジェクトのクリティカルパスとなる重要部分を担っていた場合、停止時間がそのままプロジェクト遅延となってしまうし、仮にそうでなかったとしても、サーバー停止がプロジェクトへ与える影響は甚大である。
サーバーが止まる原因はさまざまであるが、なかでも影響が大きいのはハードウェア障害である。
ハードウェア障害は、多くの場合、部品交換によってしか復旧できないため、一般的なミドルウェア障害のようにプロセス再起動で復旧するようなものと異なり、対応に時間と手間がかかる。また、突発的なサーバー停止の場合、部品交換によりハードウェア自体は復旧しても、中身のデータが破壊されていることもあるため、プロジェクトへのインパクトが大きい。
ただし、その一方で、ハードウェア障害の多くは、その予兆が異音発生やランプ点灯など、明確な形で見えることも多い。これについては、さほどの前提知識がなくとも、調査・対応を実施することが可能である。そのため、ハードウェア障害が発生しているか否かの調査作業は、インフラエンジニアが着任早々に、少ない時間で調査を実施する内容として適切なのである。
確認すべきランプは、まずディスクのランプである。正常に稼働しているディスクの場合、緑色に点灯・点滅、もしくは橙色に点滅している。しかし、もしもこれが橙色に連続点灯している場合は、そのディスクは故障している可能性が高い。
ディスクのランプを確認する上での注意事項として、外側から目に見える形で装着されているディスク以外に、隠れた場所にディスクが装着されている場合がある、ということが挙げられる。このようなケースの場合、ディスクのランプだけが外に露出している構成になっているサーバーの場合は確認しやすいが、ランプごとカバーで覆われていたり、サーバーにまるまる内蔵されていたりすることもよくあり、見逃されやすい。全てのディスクについて、漏れないように確認する必要がある。
また、機器前面のヘルスチェックランプについても、赤色点灯もしくは橙色点灯している場合は何らかの故障が疑われる。もちろん、「POWER」などと記載されたランプは電源ランプなので、無視してよい(注1)。
あとは、サーバー裏面の電源ランプや、ファンの稼働状況についても、確認しておいたほうがよい。ディスク故障と電源故障、ファン故障は、ハードウェア障害のありがち御三家である。
ファンについては、きちんと回っていることはもちろんのこと、通風口がほこりでふさがれていないかについても確認ポイントである。常にエアコンによるエアフローが発生しているマシン室と異なり、トラブルプロジェクトの場合、追加メンバーの座席確保が優先され、せっかく追加調達されたマシンの置き場所が、階段の脇であったり、会議室のテーブルの下であったり、ひどい場合はカーペットの上であったり、水回りの流しの下であったりする。
カーペットの上というのは、実はサーバーにとっては非常に悪い設置場所である。カーペットはほこりが非常にたまりやすいため、その上にじか置きされたサーバーの場合、通風口はたちまちのうちにほこりで詰まってしまうのだ。
ほこりがうっすらと通風口に積もっている程度であれば、掃除機で注意深く吸い取ってやればよいが、仮にサーバーの通風口が既にほこりでいっぱいの状態であった場合、むやみやたらに掃除すると逆に障害の原因となってしまうため、注意が必要である。このようなサーバーでは、外部だけではなく、内部にもほこりが堆積していることが多いため、下手に掃除したり、移動したりしてしまうだけで、舞い上がったほこりがサーバー内部の重要な部品をショートさせてしまい、かえって障害の原因となってしまう。このような、不適切な環境に置かれてしまったほこりまみれのサーバーは、不発弾のように注意深くメンテナンスを行う必要があるのだ。
着任一日目でこのようなひどい状態のサーバーの掃除作業にまで手を出してしまうと、一日一時間で実施可能な範囲を超えるばかりか、不要なサーバー故障を招いてしまうこともある。そのため、このような場合は、ほこりまみれのサーバーを危険物としてリストアップするのみに止め、プロジェクトマネージャーなり、機器担当者なりに速やかにアラートを上げ、対処してもらうことを推奨する。
IBMのSystem xシリーズのサーバーでは、CPUやメモリなど重要な部品に異常が発生した場合、Light-Path診断パネルのLEDに状態が表示されるため、それを用いた簡易診断が可能である。
