東京の大規模停電大変でしたね

全く関係のない土地の話でしたが、東京で起きた大規模停電、みなさん大変だったと思います。

ふと頭に浮かんだのがむかーーし昔、とある企業のシステム担当してたときのこと。

今回みたいにバンっと長時間電源が落ちてしまうときは正直諦めがつくのですが、困ったのは落雷などでちょっとだけ停電する「瞬停」。もちろんシステムにはUPSが付いていて停電時には自動的に働いてくれるのですが、瞬停のときは別。今のUPSはおそらく瞬停にも対応しているのかもしれないけど、当時のUPSは検知せず(うちの使ってたUPSがダメだったのかも)、UPSは停電ですよ~となっていないのにサーバーやスイッチ類だけがシャットダウンしてしまうという現象がありました。

当然通電がすぐに再開されるので勝手に起動してくるのですが、問題はサーバー機器の起動順序。A B Cという機器があったとして手動だとAを起動してBを起動してC・・・という風に認識する順で起動できるのですが、同時に自動起動が始まった場合このようにはいかないということです。もちろんUPSには設定をして、時間差できっちり起動順ができるようにはしていたのですが、その時は停電ではないわけですから同時に起動が始まったのです。

・・・そして案の定認識できないデバイスができて機器は動いているのに動作しない・・・という現象があろうことか休みの日などに限って何度かありました。

幸い早朝などで最初にシステムへアクセスしたスタッフから連絡を受け復旧することができましたし、稼働時間外に起きたことなので問題はなかったのですが、もしもデータのやりとりが発生していたときに発生したらと思うといつもヒヤヒヤでした。

今回の停電は昼間時間帯だったのでおそらくデータの激しいやりとりが行われていたことだと思います。そんなさなかに停電されたら・・・いくらデータベースはきちんと受け渡しができないとデータの転送が完了されない構造とはいえ、何件かは不整合が発生することもあるものです。これがまたややこしくて「全部」じゃなくて「数件」なのが大変なところです。データですから1件でもロスは許されないですからね。

恐らく今でもデータ復旧に汗を流しているシステム保守会社やシステム担当者はいるのでしょう。復旧後はデータが正常に流れてきてしまいますから余計やっかいです。

今日の停電は「もうそんな世界には戻りたくないなぁ・・・」と思った事故でした。


スポンサーリンク

シェアする

ページ先頭へ