カテゴリ:Fの悲劇( 8 )

原因の究明で・・・

仕事始めのトラブルの原因を調査するためと称して、先週金曜日の俺の当直の日に作業は行われた。

作業は21時から一時間の予定で行われた。
「もしも同じようにストップすればその間は出力して」
ということだったので覚悟はしていた。
「まぁ1時間ならいいか」
と・・・・・。
それが甘かった!!

新しく導入された高額機器のサービスマン多数も同席する中、予定通りに作業は行われ、そして予定通り(?)にシステムは止まった・・・・・。
時刻は21時30分。

「再現された。これからは出力して」<上司
「・・・って、確認できたんなら、もう元にもどすんでしょ?」
「・・・・・どうかなぁ・・・・・・」
その会話を傍で聞いていた「F」の担当数名がなにやらヒソヒソ相談を始める。
「分かったんだから復帰だよな!」
と、ほんの少しだけ(w)大きな声で言ってみる自分(爆)

ちょうどその時、怒涛のように仕事がくることが分かっていたので
「(なんとかしてくれ)」と言う気分だった。

15分後
「戻ったから」<上司
「はい」
と言ったのも束の間。
「オーダーが出てきませんが・・・・。戻れば見えるはずですよね」
「え゛っ・・・・・聞いてみる」<上司











その後何の連絡も無いまま、次々と入る注文にてんてこ舞いに。









結局何の連絡も無いまま、23時完全復旧。








その後はデータのマッチングに1時間以上を費やし、ただでさえ過酷な当直を地獄の底へ突き落としてくれた「F」の担当者に感謝しきり・・・・・(ウソ)

進行状況とか何も言わないのがこの業界のルールなのかなぁ?????



原因ですが、
新たに加わった機器のリモートメンテ用のルーターが、サーバーのARPテーブルを書き換えて、デフォルトゲートウェイを自分にしちゃったみたい。
このルーターのリダイレクト機能が悪いようですが、こんなことってあるの???

それ以上に、復旧に時間がかかりすぎる!!!

どう思います?
by kyoikyoi | 2008-02-02 20:34 | Fの悲劇

仕事始めで・・・またかよ・・・。

まったくもう・・・・・勘弁してよ・・・・・・。

一年の計は元旦にあり・・・なんて言いますよねぇ。
仕事の場合は、仕事始めにありなんでしょうか??

いそいそと出勤すると、なにやら不穏な空気・・・。
「ちょっと集まって」
と、上司のお声がかかり、いつもの賀詞交換とは違うなぁと思いました。

「システムがダウンしているので伝票で運用します。それからデータも送れないので、出力するように」

・・・・・・・・な・・なにぃ・・・・・・(汗)

ペーパーレスは10年くらいになるのに加えて、出力無しになってから2年。

思いっきりアナログになれと・・・・・(涙)

データを飛ばすだけの設定なので出力するには別の命令与えないといけないのです。
その上、転送エラーのジョブが溜まりすぎて(だと思う)出力まで出来なくなってきました。

もう終わりだぁ・・・・・と思ってから30分後。

「動いてるんじゃないの?」と、誰かが。

ちょっと不安定だけど情報は受け取れる。

端末を再起動すると動く動く!!!

あ~良かったw

その後は順調に仕事をこなして、担当していた装置のリカバリー(ダウン中のデータのマッチング)もすぐ終わって、さてと時間を見れば、やや残業w。

良くこの時間で終わったなぁ・・・・・・と思ったのもつかの間。

「時間あるならこっちをお願い」と上司の優しげな声。

山のように積まれた伝票を手入力して、全てのデータのマッチング・・・と言う作業なのですが、あわせるデータが見つからない。
「どこ行っちゃったんでしょうね?」
「システム科に行って聞いてきて」

なんてことやっているうちに何とか全てのデータが本来の形になり、やれやれでしたw。

原因はまだ聞いてませんが、復旧までの時間が6時間って長すぎでしょ!!
困るなぁ・・・・・。


今年一年を象徴しているなら、怖い一年だなぁ(爆)
by kyoikyoi | 2008-01-04 21:57 | Fの悲劇

システム障害の原因が判明!!






って言っても、根本的な原因ではないのだが・・・・・。

今日も止まった「F」のPACSシステム。
月一から週一に格上げかと考えたら、毎日になるかもしれない!と思って・・・・・いや、思わない・・・・考えたくない・・・・・・・・・・。

で、・・・・・・。
画像受信サーバーが4台あって、そのうち一般撮影(普通のレントゲン写真ね)のデータを受けるサーバーが止まっちゃうのがいけないことが分かった。
で、何で止まるのか。
画像を受ける前に送られてくる信号を受けてから、次の信号を待つらしいんだけど、その次の信号が来るまでの時間が長いといけないらしい。
これでタイムアウトになって、以後の信号全てを受けられない状態になる.
・・・・・そういう仕様だそうです・・・・・。
そこがとんでもなくチープだと思うのだが、とりあえず今回はタイムアウトの設定を12秒から30秒に延ばしたらしい。
それでもだめなときは、リトライかけられるようになったらしい・・・・・。

「これでもう絶対大丈夫です!!」
と言い張るFのSE。

っていうかさぁ、そんなことするのに4回もシステム止まらないとできないのか??
なんていうか、ことごとく責任を他社に押し付けてんだろ?
K社からの回答が来ないので対応できませんでしたって言うけどさ、実際そういう状況で今日の作業ができてんだから、先に今日やったことをしてほしかったなぁ!!

第一、リトライくらいできるように最初から作っとけよ。
これが100M以上もするシステムの基本仕様だとは到底考えられない。

他ではこのようなことは起きてないもので・・・・・なんて言ってないでさぁ、このくらいのことは想定内じゃないとおかしいでしょ?違う?





とは言っても、信号(パケット)が遅れる原因を考えないといけないですね。
当初(今日も)K社の装置に原因があると言いたげでしたが、突然信号を送る間隔が長くなるのは考えにくい。
だって、ただ送ってるだけだから。

ネットワークの途中にボトルネックになってる部分があるか、他のデータを優先して流そうとする(割り込めない)部分が存在するのか・・・って考えたら、怪しいところがある。
それをSEに伝えると・・・・・
「・・・・・ええ・・・・・実はそんな気がします・・・・・」と。


なめんじゃねぇ!!!!!!
そう思うのならそこを何とかしろ!!!!!
(とは言ってません。念のため)





障害発生から5時間も経って作業にかかる「F」。
どんな言い訳も通用しないよ・・・・・・・・・。
とりあえず1時間以内にしようよ。
頼むからさ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・。
by kyoikyoi | 2006-05-29 21:21 | Fの悲劇

毎月恒例の・・・。




導入10日くらいで画像配信がストップした、「F」のPACSシステム。
翌月上旬も同じ不具合でストップ。

「もう起きないはずじゃなかったの?」
の問いかけに
「すみません」
を繰り返すのみ・・・・・・・・・・。

2ヶ月続いたから、今月もあるぞ~って思ったてら、ほんとに止まりやがんの!!(昨日)

しかも、担当SEは全く顔出さない。
10時30分から14時30分まで混乱は続いた。


HOST1:[10741]通信エラー[60000.0]通信装置を確認してください.
HOST1:[1064]通信エラー[ABLEGSV_STRSCP,5000,274D].通信装置を確認してください.

このメッセージ100万回見た気分です・・・・・(涙)。







なんとかなんねぇのか!!!!!!!!!




因みに、今回の原因をまだ聞いてません。
「いつもと同じ」なんて言われたら切れそう・・・・・。
by kyoikyoi | 2006-05-23 16:18 | Fの悲劇

おいっ!





「F」!!
さすがは、M銀行を止め、TS取引所をパニックにしただけの事はある・・・・。

今日10時ころから、突然画像が配信できなくなった。
他の部門で仕事をしていた自分は、10時半ころ戻って分かった。
「画像が送れないからフィルムで出して・・・」
「・・・・・ナニ・・・・・」

K社の機器からはエラーメッセージが出まくり、うざったいったらありゃしない。
しかも、既に新サーバーに送る設定なのでフィルムに出すのは二度手間。
患者の待ち時間は旧システム以上か・・・・・。

でも幸いだったのは自分の今日の持ち場。
混乱している部署以外で1日のほとんどを費やしたので実害は少ない。
(あくまでも自分の話・・・・・スマソ)

なんでも、送信できない(したことになってない)のは一部のみで、他のほとんどの機器はOKとか。
そこで、二種類の機器がトラブっていることが判明。
原因を同じと見ている上司と、そうは言い切れない自分の意見の対立があって、問題の切り分けにかかる。

既に「F」側も原因究明に動いているものの、遅々として復旧しない。

午後4時ころから自分はこの問題に付きっ切りとなった。

既存のネットワークをそのまま残して、新サーバーへ繋げたため、問題の所在がはっきりしない。
pingは一部を除き通る。
pingの通らない機器に関して先に解決を図ると、どうやら機器自体の問題のようだった。
この機器のサービスマンに連絡を取り、復旧を試みる作業と平行して、もう一方の機器郡の解決の為、こちらのサービスマンにも連絡を取る。
結局前者は電話でのやり取りのみで、最終的には復旧した。
問題は後者。
サービスマンが二人で来てくれた。

実は昼ころにも来てもらっていたらしいのだが、「異常ありません」で帰ったらしい。
どこをどう検証して異常がなかったんですか・・・・と上司に聞くと、「知らない」と・・・。
「・・・・・・・・・・・・・・・・・・・ナニ・・・・・・・・・・・・・・・・・・・・・」
で、もう一度来てもらうことになりました。







解決しました。



19時半ころ。




Kのサービスマンはしきりに「自分のところは問題ない・・・はず」を繰り返していた。
そんな折、次々と画像を表示させている「F」のSE。
いつの間にか普通に画像が見られるようになってるので、「直ったの?」と聞くと、
「・・・・・ええ・・・・・」と。
「で、原因は何?」
「言いにくいのですが・・・・・・当初からインターフェースばかり疑ってまして、先ほど気がついたのですが、画像を受け取ってから付帯情報をつけるアプリケーションが機能してませんでした」
「・・・・ん・・・・・??なんで」
「理由は分かりません・・・・」
「今後起こらないように対策は」
「ありません。もう起こりません」
「・・・・・あ、そう・・・・・・」

問題の発生した理由が分からないのに「もう起きません」は、何の根拠があるのか??




なんか変じゃない。

これからのこと考えると・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・寝よ。



送れなかった画像を再送して確認し、設定を元に戻して帰宅したのは20時を回っていた。
稽古にいけなかったジャン!
by kyoikyoi | 2006-03-14 22:08 | Fの悲劇

無事?終わった初日



最後のほうで突然サーバーに接続できなくなり、焦りましたが今日は終わった。
何点か問題が見つかりましたが、徹夜で頑張ってもらいましょう!<FのSE

しかし何でこんなにややこしいシステムなんだろう?
もっと現場を知れ!と言いたい。

SEと現場の距離を再び感じました。

うちの職場が特殊なのか???
by kyoikyoi | 2006-03-06 20:55 | Fの悲劇

明日から・・・・・。


職場で新システムが稼動します。
心配です・・・・・。

以前のシステムよりも増えた端末。
加えて新しく導入した画像配信システム(PACS)。
職場はモニターだらけ(笑)。
どのモニター(端末)がなにやら訳分かりません(爆)。

画像確認用の高精彩モニターの台数が少ないのがもっとも不安です。
診療に影響なければいいのですが、予算の関係でこれでもギリギリだったそうです。
(モニター1台でHP2買えるくらい高いものも・・・・・)

頼むぜ!F!!。

まだ職場ではFの作業が続いてました。
今日は日直で出勤してましたが、今日になって繋がる機器もあったりして、明日のこと考えると・・・・・飲んで寝ようw。

昨日は鶴見で講習会があって、懇親会では紹興酒1本空けちゃいましたw。
物理屋さんの意見は細かくて現場に対応してない気がしました。
生物学者の見解が突破口を開くかも・・という意見を何人かにしたところ、賛同を得られました。
でも、物理屋さんに真っ向勝負かける生物学者さんっているのかなぁ?
放射線の人体に対する影響って難しいです・・・・・いろんな意味で。
by kyoikyoi | 2006-03-05 18:05 | Fの悲劇

今週のこと・・・。



練習会の疲れを引きずっていたところに、ストレスの多い残業が重なり、口唇ヘルペスになりました。
(以下、愚痴の嵐につき心して参られよ)

月曜日はへろへろ。筋肉痛でロボットのような動き・・・・。
加えて、コケたときの手首のダメージで左手が使えない。
かなり苦痛でした。
火曜日は筋肉痛もほぼ消えて、手首の痛みも和らぎ、なんとか普通に暮らせたものの、「接続試験」に立ち会うようにご命令が・・・。
就業時間後から始まった、接続試験。
来月から稼動する新システムの予行練習の前の試験。
新しいサーバーに各機器を接続して、テキスト情報の受け渡しや画像転送が問題なく出来るかというもの。
素人考えでは「そんなもん30分くらいで終わるだろ」と考えていた。
・・・甘かった・・・
機器メーカーのサービスマンがなにやら慌てている。
「どうしたの?」
「必要なLANケーブルが施設されてないんです」
「???」
「何とか試験できるようにやってみます」
「よろしく」
この作業で1時間半。
その間、新システムを導入しているFの人間は、自分とこのずさんな工事が原因で苦労している機器メーカーのサービスマンに声をかけるわけでもなく、固まっておしゃべり。
「・・・・・・・」言うまい。
作業開始から2時間が経過したところで、「ちょっと時間かかり過ぎだ」と感じて、Fの人間に一言。
「2時間経ったけど、後どのくらいで出来るの」
「分かりません」
「!?で、今何やってるの」
「画像が来ないんですよ」
「!!?どういうこと!」
「ですから、Kさんのところの機器からの画像が・・・・」
「!!!!それは分かってる!!何が原因で来ないんだ!」
「ネットワーク中に見えないんです」
「!具体的に言って!」
「・・具体的にですか?」
「!!!!!そう!!!!!」
「具体的には、10.**.***.**というスイッチのゲートウェイの先へ行けない・・・」
「!!!!!!そんなこと今頃やってんのか!!!!!!!。自分たちが入れたスイッチだろう!!!何で最初から調べてこないんだ!!!!!!!!!!」
「・・・・はい、準備不足で・・・すみません・・・」
「?!#$&%・・・・・!!」
その後、その最初からへらへらしていた人物は、ちょうど通りかかった営業マンを呼び止め、親指を俺のほうに向けて何度か振った。
その営業マンは今来たばかりで、ことの詳細を知らないのに、まっすぐ自分の前に立ち、ひたすら頭を下げていた。
・・・・・・・こういう会社なのね・・・・・・F。
「いいよ君に怒ってるんじゃない」

いい加減痺れを切らしたK社のサービスマンが、少し離れたところで集まり始めた。
自分もそばに行って「ねぇ、Fってどこでもこう?」
声に出せずにうなずく仕草。
・・・・・・・・・・ちょっと大き目の「独り言」が、つい口から出てしまった。
(天下のFも長くないな・・・)
その後、今までが嘘のように動き回るFの社員。
余計に腹が立った!

K社の営業マンから
「今日は何時になるか分かりません。お待ちいただいても出来ない可能性もあります。お帰りいただいてよろしいかと思いますが・・・・」

上司もそうしようということなので、20時ころ帰宅。
家では家内が自分の誕生日祝いを待っててくれました。
済まないねぇ・・・。

水曜日は別の機器メーカーとの接続試験。
いくらなんでも今日はすんなり行くだろう・・・甘かった・・・。
頭文字は同じF社の機器はネットワークの切り替えだけで1時間半かかってた。
「ずいぶん大変なんだねぇ」
「ええ・・・・」
ひたすらマニュアル見ながら休むこともなく必死で作業していたので、労いの言葉しかない。
作業開始から2時間後、「繋がりましたw」「情報の受け渡しに問題ありません」「画像転送OKです」
「やれやれ、お疲れさん・・・・ん?どうしたの」
「いや、左右のある情報がうまく受けられません」
「なんだぁ?」
「Fさんからの情報に、左右のデータが入ってないんです」
「それで番号が合わなくて受けられないのね」
「はい」
システム側のFの社員の言い分は
「マスターはこちらからお渡ししたものを使って頂いてますよねぇ?」
「もちろんです」
「そんなの当たり前だろう。他に使えるマスターがあるのか?」と自分。
「どこかですりかえられてるとしか考えられませんねぇ」と、システムのF社側。
これの問題だけで1時間かかった。
原因は・・・・。
機器メーカーに渡されていたマスターは、変更前の古いもので、その後のWGで加えられた変更点を反映した新しい(本当の)マスターを機器メーカーに送っていなかったのが原因。
!!!!!おい!F!長くないぞ!!!!
等とは言わずに笑って帰りました。(引きつってたかも)

結局、すべてのトラブルの原因はF。
PCメーカー改めトラブルメーカーにしてあげる。

(F社に関係深い方がこれを読んだら、さぞや気を悪くすることでしょう。それに関しましてはお詫び申し上げます)

あーすっきりしたw。
by kyoikyoi | 2006-02-16 22:49 | Fの悲劇