1: 2019/11/26(火) 21:03:20.86
無停電機能を外したまま電源設備を更新、楽天などに影響した九電系データセンター障害の原因判明
2019/11/26 14:55
九州電力の通信子会社QTnet（福岡市）のデータセンターで障害が発生した問題について、2019年11月26日に停電の原因が判明した。11月23日朝、電源設備の更新作業中に通常時の電源が遮断したことで予備電源に切り替わったが、電源の切り替え時に作動する無停電機能を外して作業していた。その結果、7秒間ほど電源が停止し、利用各社のシステム障害につながった。
まだ22社が復旧できていない
[画像タップで拡大表示]
今回の障害で、事業継続を安定させる目的で使うはずのデータセンターに、想定外の盲点があると明らかになった格好だ。QTnetによると、影響を受けた約260の企業・自治体の中で、2019年11月26日10時時点で22社が復旧できていないという。
今回の障害の影響で、クレジットカードの楽天カードやスマホQR決済の楽天ペイが11月23日朝に利用できなくなった。楽天ペイは11月25日朝に一時的に使えなくなったり、楽天カードは現在も一部機能が利用できなかったりと、発生から3日経過後も電源停止の影響が残っている。
無停電機能を外したまま電源設備を更新、楽天などに影響した九電系データセンター障害の原因判明
九州電力の通信子会社QTnet（福岡市）のデータセンターで障害が発生した問題について、2019年11月26日に停電の原因が判明した。11月23日朝、電源設備の更新作業中に通常時の電源が遮断したことで予備電源に切り替わったが、電源の切り替え時に作動する無停電機能を外して作業していた。
4: 2019/11/26(火) 21:04:28.62
>>1
賠償金大変だこれ
賠償金大変だこれ
69: 2019/11/26(火) 21:14:07.50
>>1
つまり掃除のおばちゃんがコンセント引っ掛けたってこと？
つまり掃除のおばちゃんがコンセント引っ掛けたってこと？
88: 2019/11/26(火) 21:16:37.45
>>69
それならまだ理解できるんだけど、保守担当者(プロ)が抜いたっぽいね、この書き方見ると
それならまだ理解できるんだけど、保守担当者(プロ)が抜いたっぽいね、この書き方見ると
137: 2019/11/26(火) 21:22:06.51
>>88
書類上、保守担当が居た事になってるだけで、
実作業は安い素人外注で、立会もなしの作業と思われ
書類上、保守担当が居た事になってるだけで、
実作業は安い素人外注で、立会もなしの作業と思われ
98: 2019/11/26(火) 21:17:50.11
>>69
DCにその辺に持ち込むのは作業PCで普通はラックの下に通常と非常電源あるだろ…
UPSとかありえん。
普通のPCでもサーバで使ってんのか？
DCにその辺に持ち込むのは作業PCで普通はラックの下に通常と非常電源あるだろ…
UPSとかありえん。
普通のPCでもサーバで使ってんのか？
126: 2019/11/26(火) 21:20:18.11
>>69
ラグナロクオンラインのサーバーがそれで飛んだことあったな(´・ω・`)
ラグナロクオンラインのサーバーがそれで飛んだことあったな(´・ω・`)
91: 2019/11/26(火) 21:17:11.90
>>1
知識の乏しい15次下請けあたりが作業してんだろうなぁ。南無阿弥陀仏。
知識の乏しい15次下請けあたりが作業してんだろうなぁ。南無阿弥陀仏。
159: 2019/11/26(火) 21:23:31.76
>>1
日本のITって今や馬鹿しかいねえよなw
日本のITって今や馬鹿しかいねえよなw
170: 2019/11/26(火) 21:25:02.78
>>1
ライバル会社に頼まれたとかは？
ライバル会社に頼まれたとかは？
名無しさんのおすすめ
2: 2019/11/26(火) 21:03:34.15
素人か
3: 2019/11/26(火) 21:03:53.30
転落ペイ
5: 2019/11/26(火) 21:04:43.10
結局人なんだよなあ
36: 2019/11/26(火) 21:09:10.29
>>5
つつもたせ的な何かと読んでしまった
つつもたせ的な何かと読んでしまった
6: 2019/11/26(火) 21:05:05.33
じゃあ人為ミスだな
大事なサーバーをUPSに繋げないなんてどういう神経してるんだろ
大事なサーバーをUPSに繋げないなんてどういう神経してるんだろ
7: 2019/11/26(火) 21:05:07.66
予備電源、予備電源
8: 2019/11/26(火) 21:05:10.99
ゆとり乙
10: 2019/11/26(火) 21:05:35.86
さすが元国内信販（KCカード）
12: 2019/11/26(火) 21:06:02.73
楽天がやらかした➡まあそんなもんだろ
QTがやらかした➡えっマジか？
13: 2019/11/26(火) 21:06:05.62
バカジャネーノ
14: 2019/11/26(火) 21:06:06.11
血液同然のインフラでこのざまじゃねえーｗ
11: 2019/11/26(火) 21:05:43.96
電源ヨシ！
56: 2019/11/26(火) 21:12:52.55
>>11
このやろお～ぅ！w
このやろお～ぅ！w
151: 2019/11/26(火) 21:23:04.28
>>11
www
どこのとはいわないが工場で働いていた時の事おもいだしわらいしちゃったよ
足元良しッ電源良しッと指差し呼称しながら電源は入っていなかった
www
どこのとはいわないが工場で働いていた時の事おもいだしわらいしちゃったよ
足元良しッ電源良しッと指差し呼称しながら電源は入っていなかった
166: 2019/11/26(火) 21:24:17.14
>>151
下手すると、チェックリスト、作業手順書も無いかも？
下手すると、チェックリスト、作業手順書も無いかも？
15: 2019/11/26(火) 21:06:14.15
こんなレベルじゃ危なくて利用できない
16: 2019/11/26(火) 21:06:16.70
アホじゃねーの
17: 2019/11/26(火) 21:06:38.88
これって現場では予見できない事なのか？
担当者が特に無能だったわけではなく、システムの盲点で相当に気付きにくいものなの？
賠償金発生するんかな？
22: 2019/11/26(火) 21:07:27.60
>>17
災害じゃなく誤ってシャットダウン⇒システム障害
賠償だろ
29: 2019/11/26(火) 21:08:39.26
>>17
できるでしょ
無停電電源装置をカットするのがおかしい
できるでしょ
無停電電源装置をカットするのがおかしい
19: 2019/11/26(火) 21:06:59.97
三木谷激怒
20: 2019/11/26(火) 21:07:06.16
セブンイレブン同様にアプリが原因だったんだろ
21: 2019/11/26(火) 21:07:18.87
予備系無いのかよ
23: 2019/11/26(火) 21:07:46.62
何のためのＵＰＳなんだか
24: 2019/11/26(火) 21:07:47.28
障害で儲けるスタイル
25: 2019/11/26(火) 21:07:57.24
素人か。。
なら仕方ないな
なら仕方ないな
26: 2019/11/26(火) 21:08:03.68
また楽天障害やってんのか何回目だよ
27: 2019/11/26(火) 21:08:24.89
馬鹿なの？
28: 2019/11/26(火) 21:08:33.51
楽天ポイントだいぶ損した
30: 2019/11/26(火) 21:08:42.66
素人しか現場にいなかった
31: 2019/11/26(火) 21:08:47.61
無停電とは
32: 2019/11/26(火) 21:08:52.75
だめじゃん
分かっていても分かっていなくても
繋がっている機器を外していいわけねーだろ
33: 2019/11/26(火) 21:09:04.73
人が育ってないんだろうな
54: 2019/11/26(火) 21:12:38.00
>>33
変わりの人材なんて幾らでも居る！ → 結果
これが今の日本の姿
変わりの人材なんて幾らでも居る！ → 結果
これが今の日本の姿
34: 2019/11/26(火) 21:09:05.23
これって
データセンタ全体の電源が停止
で
楽天のサーバーはUPSがなかったから
即死
ってこと？
データセンタ全体の電源が停止
で
楽天のサーバーはUPSがなかったから
即死
ってこと？
39: 2019/11/26(火) 21:10:01.27
>>34
作業するのに間違えてUPS外したんじゃねーかな、データセンターだから楽天は被害者
作業するのに間違えてUPS外したんじゃねーかな、データセンターだから楽天は被害者
37: 2019/11/26(火) 21:09:29.60
プロとは思えぬ
40: 2019/11/26(火) 21:10:07.25
主電源+補助電源+予備電源
というシステムでないのか
というシステムでないのか
41: 2019/11/26(火) 21:10:08.11
昔だが、DC法定点検で一応待機してたが、UPSどころか非常電源刺さってなくて落ちて偉いことになった。
42: 2019/11/26(火) 21:10:12.52
俺ソフト屋だからハードのことわかんねーよ、ってな?
43: 2019/11/26(火) 21:10:30.48
何のためのDCか分からんような話だな。
もうQTnetは新規のホスティングは取れず、既存客は当分タダで運用だろ。
もうQTnetは新規のホスティングは取れず、既存客は当分タダで運用だろ。
44: 2019/11/26(火) 21:10:30.42
やったのって、下請けの下請けの下請けの・・・
46: 2019/11/26(火) 21:10:53.55
九電とかQTnetはお堅いイメージがあるけどなあ
下請けにパワハラ的な丸投げか？
下請けにパワハラ的な丸投げか？
53: 2019/11/26(火) 21:11:57.95
>>46
貯水槽清掃のあれも孫請けかなんかだったしね
貯水槽清掃のあれも孫請けかなんかだったしね
50: 2019/11/26(火) 21:11:38.48
名前のとおりに楽天すぎないか
51: 2019/11/26(火) 21:11:39.23
ヤフージャパン子会社の
サーバーデータをバックアップごと消しちゃいましたﾃﾍｯ
っての思い出すな
サーバーデータをバックアップごと消しちゃいましたﾃﾍｯ
っての思い出すな
57: 2019/11/26(火) 21:12:55.63
受けるｗｗｗ
大事な設備なのに金払わないで適当な業者にやらせたのかな
大事な設備なのに金払わないで適当な業者にやらせたのかな
58: 2019/11/26(火) 21:13:07.56
UPS外して作業?
UPS故障でもしない限りなくね?
UPS故障でもしない限りなくね?
62: 2019/11/26(火) 21:13:20.66
Googleみたいにサーバーごとに直接UPS接続してればこんなことにはならなかった
65: 2019/11/26(火) 21:13:38.10
つーか非常電源ないのか？
66: 2019/11/26(火) 21:13:40.73
ペイが付くやつらはなんかやらかさないといけない決まりでもあるのか
68: 2019/11/26(火) 21:13:56.25
QTnetは迷惑かけてる全ユーザーに損害賠償しろ！って楽天に言われてるんだろなー、いくらかかるんだろな
70: 2019/11/26(火) 21:14:31.10
担当者が足ひっかけてそのままにしたんだろ
74: 2019/11/26(火) 21:15:04.18
てきとーな作業ならともかく、予備電源外して作業なんてあり得ない
82: 2019/11/26(火) 21:15:50.07
下請け任せにしてるんだろう
89: 2019/11/26(火) 21:16:53.42
逆にスゲー
無停電電源外すとかw発想が無いからな
むしろそいつを楽天で雇ったらどうだ？
無停電電源外すとかw発想が無いからな
むしろそいつを楽天で雇ったらどうだ？
93: 2019/11/26(火) 21:17:23.77
誰に何をされたんだろうwww
94: 2019/11/26(火) 21:17:30.45
楽天は取引先を変えるかな
元スレ：http://asahi.5ch.net/test/read.cgi/newsplus/1574769800/