挽回しなければ

ここ数日、急な物事の展開や、取引先のサーバーのトラブルの対応で、遅れては居たのですが、昨日は、無駄に体が寒くなると言う現象が発生し、アウト。

結果見れば、連日20時間ぐらい、緊張感ある中で働いて、完全な燃料切れだったのかも。

目が回り吐き気がし出したので、20時で仕事を止めて、アイスを食べたら、数時間で収まりました。



参考までに、サーバートラブルの様子を公開します(あくまで)



・1から2月前ぐらいに、緊急停止。
その時は、なぜか、ISPではなく、●TTから、連絡。
その時は再起動で復帰
(ここ、理由判る方います?トラフィックでも、仮に違法コンテンツ掲載でも、ISP飛び越えて、回線屋の方が来る事例。ちなみに、うちが世話になっている業者では、聞いた事がないという事でした。)

・そこから2週間ごと、上記と同様の事が数回起こる。

・その上で、メールトラブルも発生。

・トラブルの周期が短くなり、ついに、再起動だけでは、直らなくなる

・末期は、毎日。

・最後は1日に3度も、落ちるようになる


その上で
・設定も、運用も、こちらに、全く知らされて無く、落ちた結果、前後の様子しか判らない
・現在運用している人間が、全くなれて居ない
・その上で、上記の人間が、操作ミス、勘違いが非常に多い

この複数要因が原因で時間掛かっていました。

現場で、直接コントロール出来ていたら、もっと早かったのですが、遠隔で、その上で、正確な情報が無かったので、一つずつ、要因を消していくしかありません。

この会社では、もう一つサーバーが運用され、もう一つは、20倍以上の負荷が掛かっていて、サーバーのスペックも、2世代は、落ちたスペックです。
このサーバーの違いは、運用しているアプリが異なるのと(ECサイトをやっている)、外部の人間が接続するサーバーという事でした

これ考えると
・接続関連
・人為的ミス
・アプリ
・攻撃
この4つかなと言う大まかな要因に切り分け、トラブルシューティングです
この段階では、管理者の、設定ミスを疑っていました。

まずは、設定と、運用しているアプリの情報をまとめて貰うのをやってもらい、並行して、接続を、サーバーの方で、やっていたので(ppoe)ルーターを導入しました。

導入直後、非常に快適になったのですが、当日の夜→早朝にかけて3度落ちる。
と言う状況になりました。

これで、過負荷と接続という部分も無くなりました。

次に、今度は、アプリ動かす以外の余計な物の設定の排除をしました。
設定者が、消え去り、その後、スパゲッティーコードのごとく、つぎはぎで、サーバーの設定を、色々変更して、現状の管理者では、ほとんど理解してなかったからです。


そして、若干落ち着きを取り戻しました。


なかなか、情報も、時間掛かりそうなので、次の指示。

ウイルスチェックをして貰いました。


その結果は、

uirus.JPG



























こんなの出てきたんですが、どうすれば良いですか?




それみて、全てを悟りました。

それが原因だと。


今回のは、同じような環境のサーバーがもう一台有り、そっちの方が負荷があるのに、落ちてない。
そのサーバーとの差を考えるのが早道と考えていました。

その上で、アプリか?設定ミス、ひょっとしたらという思いも、すこしありました。

変な名前のプロセスが、動いていたのは、気付いていたのですが、それよりも、まず、問題の切り分けが先だと思いが強かったのと、直前に、管理者の設定ミスで、この数ヶ月、停滞していた事が、1点判明していたので、その部分から、洗おうと必死でした。

しかし、動いていたプロセス名、電話で、こんなウイルスが見つかったんですが、と聞いた時に、全てがつながりました。

ああ、相手も判らないような奴がつなぐ(FTP)サーバーだったんだって


サルベージも、したいところですが、まずは、安定運用という事で、暫定的に削除して、様子見、並行して、情報まとめるのと、新しいサーバー構成と管理構成を構築すべく、動いています。

本当の理由は、サルベージ後に、又公開する予定。



ちなみに、今現在は、落ち着いてCPU10%前後の使用、ロードアベレージも0.3前後で安定しています


さて、今日も頑張ろう






トラックバック(0)

このブログ記事を参照しているブログ一覧: 挽回しなければ

このブログ記事に対するトラックバックURL: http://www.kaiman.net/cgi/mtn/mtn2/mt-tb.cgi/781

コメントする

このブログ記事について

このページは、が2011年2月20日 10:01に書いたブログ記事です。

ひとつ前のブログ記事は「色々と動く」です。

次のブログ記事は「食べログ 洋食屋ゆうき」です。

最近のコンテンツはインデックスページで見られます。過去に書かれたものはアーカイブのページで見られます。

Powered by Movable Type 4.29