ココログ・「30時間メンテ」という名の炎上事件

ココログの歴史に、「30時間メンテ」という最悪な１ページが刻まれてしまいました。とりあえず、呆れて何も言えなかった・・・。事の発端は、全プランにおける「ＤＢ（データベース）サーバのレスポンス改善」を目的とした不定期メンテナンスでした。

○お知らせココログ
『【メンテナンス内容変更】メンテナンス実施のお知らせ：2006年03月09日（木）10:00-15:00』
【 http://info.cocolog-nifty.com/info/2006/03/200603091000150_170a.html 】

○「お知らせココログ」の記事を一部抜粋

2006年03月09日（木）10:00-15:00の5時間、DBサーバーレスポンス改善のため、メンテナンスを行います。
（※）フリーのメンテナンス内容に変更がありますので、ご注意ください。
========================================================
　詳細情報
========================================================

◇日時：2006年03月09日（木）10:00-15:00の5時間

◇ご利用いただけなくなるサービス：

　○ベーシック・プラス・プロ
　　　・管理画面、トラックバック、コメント
　　　・ココログの新規登録、解除
　　　・ココログ出版
　　　・ココログデザイン

　○フリー
　　　・管理画面、トラックバック、コメント（※）
　　　・ココログの新規登録、解除（※）
　　　・ココログデザイン

　（※）当初、ココログデザインのみと告知をしておりましたが、管理画面の操作、ならびに新規登録・解除などもできなくなりますので、ご注意ください。

◇目的：DBサーバーレスポンス改善

メンテ実施日時の「2006年03月09日（木）10:00-15:00」は会社で仕事中なので、「帰宅した頃には普通に使えるだろう」と軽く見ていました。まあ、当然ですよね。しかし！　その帰宅後、ピークタイムの23:00頃やそれを過ぎた翌日2:00頃になっても、「ただいま、混み合っております。」という画面が表示されるばかり。さらに3:30頃には「メンテナンス中です。」という画面に変わりました。そこでようやく事態を把握。「ああ、メンテでまた失敗したな？」と・・・。

翌夜、つまり3/10現在は、レスポンスの改善は対して見込めないものの（何がどう変わった？）、一応普通に使えるようにはなっていました。しかし！　なんと私の知らない昼間に、まだその状況が続いていたというんです。これには驚きました。16:00頃にようやく復旧したということで、「2006年03月09日（木）10:00-2006年03月10日（金）16:00」を単純計算すると、他でも言われている通り確かに「30時間メンテ」。特に影響を受けたのは「ベーシック／プラス／プロ」で、「フリー」では投稿ができた模様です。こうしてココログ史上に、「ユーザによる記事投稿が極端に少ない30時間」が発生してしまったというわけです。

そしてなんと、「20060310障害情報報告ブログ」という障害報告用の臨時blogまで珍しく出現したそうで、事態は相当ヤバかったと思われます。

○関連blog「20060310障害情報報告ブログ」（TypePad上）
【 http://cocolog2006.typepad.jp/blog/ 】
○関連記事・20060310障害情報報告ブログ・「はじめに」
【 http://cocolog2006.typepad.jp/blog/2006/03/post_761a.html 】
○関連記事・20060310障害情報報告ブログ・「第１報　13:40時点でのご報告をいたします。」
【 http://cocolog2006.typepad.jp/blog/2006/03/1340__a88f.html 】
○関連記事・20060310障害情報報告ブログ・「第２報　16:10時点でのご報告をいたします。」
【 http://cocolog2006.typepad.jp/blog/2006/03/1610_f4bb.html 】

「はじめに」の記事は「事件への序章」であるので置いといて、まずは「第１報　13:40時点でのご報告をいたします。」の記事より、そこで書かれている「現在までの経緯」に、私の体験を入れて展開します。

○「第１報　13:40時点でのご報告をいたします。」・現在までの経緯

3/09 21:00　メンテナンス完了。ココログサービス開始
3/09 21:15　管理画面のレスポンスが悪化する状況が発生。原因究明作業を開始

> 3/09 23:00　「ただいま、混み合っております。」のまま。
> 　　　｜　　　（この間、仮眠。）
> 3/10 02:00　「ただいま、混み合っております。」のまま。

3/10 03:15　状況改善のため復旧作業を行うが、復旧の目処が立たず

> 3/10 03:30　「メンテナンス中です。」に切り替わる。
> 3/10 04:00　「メンテナンス中です。」のまま。
> 　　　｜　　　（以後、07:00まで睡眠。）

3/10 05:15　サービスを停止し、メンテナンスを開始。
　　　　　　　シックスアパート社様も交えて緊急対策チーム結成し、
　　　　　　　再度原因の調査を始める
3/10 13:20　現在、ログやサーバー設定から推測できる点については
　　　　　　　全て検証を終わっておりますが、原因が特定できていないため、
　　　　　　　擬似的に負荷がかかる状況を再現し、
　　　　　　　負荷増大の原因となっている箇所を特定する作業を実行中です。

> 3/10 16:00　一部制限をかけて再開（未確認）。
> 3/10 22:00　帰宅後、正常動作を確認。

（“> ”の部分が、私の体験部分。）

続いて、「第２報　16:10時点でのご報告をいたします。」の記事より、重要な告知のみを抜粋します。

○「第２報　16:10時点でのご報告をいたします。」の記事を一部抜粋

擬似的に負荷をかけ状況のデータを解析しながら、併せてデータベースの最適化を行いました。
その結果、ココログをご利用いただける状態になったと判断したため、3/10 16：00 より、一部制限をかけて再開いたしました。

上記「一部制限」は管理ページへの同時ログイン数の制限です。
今後、負荷状況を監視しながら、徐々に通常のログイン数に戻していく予定です。

さて・・・。「シックスアパート社様を交えた」って、相当ヤバイことになってたの？　以前もやったメンテ内容じゃなかったの？　で、最大の問題。今回の原因の詳細を述べよ。

これらの記事でのコメントやトラックバックを読んでいると、どれだけ酷い状況だったかが手に取るように把握できました。こういった「書き込みが殺到し収拾がつかなくなる状態」のことを、ネット用語で「炎上」と呼びます。某有名新聞サイトでも最近使われたこの用語。良い機会なので覚えておくと良いでしょう。きっと、再び使う日は近い？（望んでいないけど）

本音を・・・。最近私は、書きたい記事が時間的理由でなかなか書けない状況にあったけど、この日は早めに帰れて気合いも充分に備わっていたので、「今日はテレビや音楽やネットの話題で６記事は書くぞ！」というすごい意気込みでいました。それなのに、ココログがこんなんじゃあ、せっかくの意気込みもみるみるうちに弱まっていき・・・。トラブルの最中は、仮眠を取ったり草稿を書いたりして、何とか気持ちを抑えていました。それで、朝出社して夜帰宅したらこんな事態が起こっていたことが分かって、本件を最優先にしてこのような記事を長文で書き連ねる始末（苦笑）。何だかなあ・・・。

こうなると、現時点で最も不安視してしまうのは、3/28に行われる予定のココログのバージョンアップ（「ベーシック／プラス／プロ」のTypePad 1.6化）です。

○関連記事・ココログスタッフからのお知らせルーム
「3月28日、ココログベーシック／プラス／プロ・バージョンアップのお知らせ」
【 http://staff.cocolog-nifty.com/room/2006/02/328_4ae5.html 】

HTMLの構成やスタイルシートの定義変更等があるので、blogの再構築の瞬間に引火して炎上騒ぎになることはもう間違い無さそう。ココログ消防団（スタッフ）の「事前防止活動（移行ガイドの用意と充実）」や「完全消火体制（トラブルの早急かつ確実な対処）」はもはや必須です。システム面だけではなくユーザへの随時告知も含めて、準備は万全に整っていますか？　もう半年以上もいろんなトラブルに巻き込まれてきたけど、今回のバージョンアップがスムーズにいかないものなら、今度こそココログ離れが本格化するかもしれませんよ？　私もココログブランドが好きでココログを続けてきたけど（しかも「プロ（有料）」プラン）、このバージョンアップの経緯次第で他のblogサービスへの引越しを本気で考え始めるかも？　それだけ、事態は大きくなっています。

ココログは、何かが良くなると、何かが悪くなる。

もはやこれが定説になろうとしています。「ココログの歴史」という本がココログブックスで登場するなら、その見開きやカバー部分に記載されるくらいのものだと思う・・・。

ココログスタッフ様へ。3/28前後は本気で頑張ってください！

○関連記事『ココログ・「ココログフリー」スタート＆サービス改善』
【 http://adstv-web.cocolog-nifty.com/studio/2005/11/post_99f8.html 】
○関連記事『ココログ・「ベーシック／プラス／プロ」のバージョンアップ日が決定』
【 http://adstv-web.cocolog-nifty.com/studio/2006/02/post_c8f4.html 】