0.障害
002）X-DD、X-Masterにログインできない
- 発生日時： 2024年5月23日（木）10時20分ごろ
- 復旧日時： 2024年5月23日（木）11時05分ごろ
- 障害概要
- X-DD、X-Masterにログインエラー
003）X-DD、X-Masterの一部機能が使えない
- 発生日時： 2024年5月23日（木）11時05分ごろ
- 復旧日時： 2024年5月23日（木）12時10分ごろ
- 障害概要
- X-DD：出荷準備票から出荷登録、ローカルID設定、使用場所設定にてエラー発生
- X-Master：貸出先登録変更、お客様運送会社登録変更にてエラー発生
1.障害状況
2024年5月23日10:20頃より12:00頃まで約1時間40分において、X-DDおよびX-Masterの多くの機能がシステムエラーとなり利用できませんでした。
- 2024年5月23日10:20頃よりX-DDへのログインが出来なくなり、X-Masterにおいてもエラーが発生しました。同日11:05頃よりX-DDのログインは復旧しましたが、X-DDおよびX-Masterにおいて、画面遷移時やボタン操作時にシステムエラー画面が表示されて利用できない状態が継続しました。
- 上記障害への対応作業実施により、同日12;00頃にX-DD、X-Masterの正常動作を確認し、通常の稼働状態に復旧しました。
- X-DDの外部連携APIにおいても同時間帯においてエラーが発生し利用できませんでした。
2.障害原因
2024年5月23日10:10頃より開始したデータベース操作用ユーザ(以降、DBユーザ)削除の処理に伴い障害が発生しました。不要なDBユーザとの判断にて削除処理を実行しましたが、不要なDBユーザではなく、システム処理に必要なDBユーザであり、削除により障害が発生しました。
3.経緯
| 日時 | 障害経緯／■原因詳細 |
2024年5月23日 10:10 | 5月5日実施のメンテナンス終了に伴い不要となったDBユーザの削除処理を開始。 ■削除対象DBユーザは、5月5日実施のメンテナンス終了後は不要になると誤認識をしており、削除対象DBユーザは各システム機能が実行するビューやトリガーを動作させるために必要なユーザであった。 |
| 10:20 |
|
| 10:21 | サポートセンターより、X-DDのエラー発生の連絡。その後、複数のお客様よりエラー発生および処理に時間がかかるとの連絡も受領。 |
| 10:25 | 開発ベンダー（上記X-Web保守運用ベンダーと同一）による障害調査の開始。 |
| 10:50 | X-Portalに障害発生のお知らせを掲載。 |
| 11:05 | 障害原因がユーザ削除によるため、削除DBユーザの戻し作業を実施完了。X-DDのログイン可能を確認。X-Masterでの検索処理復旧を確認。 |
| 11:14 |
|
| 12:00 |
■DBユーザ削除から戻し作業において、対象DBユーザには、トリガー権限（データ更新などで必要な特定の処理で実行するプログラム）が必要であったが、11:05時点の障害対応時点では付与が出来ておらずエラーの発生が継続していた。 |
4.根本原因、今後の対応（再発防止策）
4.1 本番変更作業におけるプロセス改善
障害の直接原因となったDBユーザ削除作業が、本番システムにおける変更作業にも関わらず、変更作業に対するリスクや障害発生時の影響に対する危機意識が不足し、必要な確認作業や影響分析が出来ていませんでした。
⇒今後の本番環境へ変更作業を実施する場合において、作業内容および手順に対する承認プロセスを改善し、またその承認プロセスを適切に運用することにより、影響分析等必要な準備作業の実施・確認を徹底します。（プロセス改善対応完了予定日 6月14日）
4.2 リグレッションテストの徹底
DBユーザ削除の事前確認において、各アプリケーションにおける動作確認が不足していました。
⇒今後のDBユーザ削除・変更やアプリケーションを構成する要素(データベース、コンテナ等の各種サービス群)の変更作業を実施する場合には関連するテストシナリオのリグレッションテストを実施することを徹底します。（次回以降の本番変更作業時より実施）
この度の障害に関しまして、心よりお詫び申し上げます。システムの正常化に努め、今後、同様の事態が発生しないよう徹底いたします。
以上