らくの日記

etchのkernelに脆弱性が見つかり新しいパッケージがリリースされた。「もしかしたらNICの暴走も解消されるかも」と、淡い期待のもとまずはスタンバイサーバをアップグレード。。。したら起動しなくなってしまった。。。
error 15 と表示されてgrubメニューすら表示されない。MBR(マスターブートレコード)が壊れてしまったらしい。とりあえず本番サーバでgrubブートFDを作成し、スタンバイサーバをFD起動してMBRを再設定。
　
本番サーバでgrubブートFD作成
FATフォーマット済みのFDを挿入
mount -t vfat /dev/fd0 /floppy/
grub-install –root-directory=/floppy/ ‘(fd0)’
cp /boot/grub/menu.lst /floppy/boot/grub/
grub
root (fd0)
setup (fd0)
quit
　
スタンバイサーバをFD起動
grubメニューが表示されたところでeを押しメニューをedit
再起動
grub
root (hd0,0)
setup (hd0,0)
quit
再起動
　
とりあえず無事復旧＆新しいkernelで起動。
しかし、NICの問題は解消されなかった。。。残念。

GW最終日は雨。
予定していた自転車のメンテは先送り。
Amazonから届いた漫画三昧の一日。

天気が良いのでナッキーを連れて近所を散策。寒くも無く、暑くも無く、花粉も無い。今は良い季節だね～

WordPress以外のCMSも4月に相次いでバージョンアップしていた。
自宅サーバの該当ソフトを全て更新。
　
Nucleus CMS v3.3 の日本語版をリリース
http://japan.nucleuscms.org/bb/viewtopic.php?t=3147
　
Joomla!1.0.12JPをリリース
http://www.joomla.jp/
　
Movable Type 3.35 日本語版の提供を開始
http://www.sixapart.jp/movabletype/news/2007/04/17-1400.html

サーバOS更新作業などで延ばし延ばしにしていたwordpressをバージョンアップ。
2.1.2→2.1.3
http://wordpress.xwd.jp/japan/2007/04/05/me213/
wordpressは毎月のようにバージョンアップを繰り返しているのでサーバ管理者としては辛い。ソースもガラッと変わるので独自に修正を加えるのも一苦労。それ故に新しい技術が取り入れられ多機能で使いやすいのが。。。
　
心地よい疲労感を楽しむ余裕も無く、本日も出勤。

メールの検索環境が必要であれば、.forwardを設定してGmailにコピーを送るのが手っ取り早い。とは言っても、既に受信した過去メールが沢山あったり、お仕事のメールなどをフリーのWebmailに転送するのに抵抗感があったりするとその方法は使えない。
と、言う事で、自分は昔ながらのnamazuを使ってる。しかし、etchに切り替えたら以下のエラーでインデックスが作成できなくなってしまった。（etchの障害は聞き飽きた？）
　
*** glibc detected *** free(): invalid pointer: 0x00002b3feeb84b33 ***
　
Google様に聞いてみると、etch環境でワカチ処理にkakasiを使っていると発生するらしい。（同様の問題に苦労している人は結構いた。原因はglibcのバグ？）
要するにkakasiを使わなければ良いので、選択肢はchasenもしくはmecabになる。chasenのワカチは細切れで好みではない。残る選択肢であるmecabを使用する事に。さっそくインストール
aptitude install mecab libmecab-dev
/etc/mknmzrcを修正。
$MECAB = “/usr/bin/mecab -Owakati -b 8192”;
$WAKATI　€ = $MECAB;
その後、実行。。。恐ろしく遅い。
perlモジュールを使用していないのが原因のようだ。しかし、何故かdebianのパッケージにmecab-perlが存在しない。不本意だがソースからコンパイル。
http://mecab.sourceforge.net/ からmecab-perl0.93(etchのmecabが0.93なので)をダウンロード。
tar zxvf mecab-perl-0.93.tar.gz
cd mecab-perl-0.93
perl Makefile.PL
make
make install
/etc/mknmzrcを修正
$WAKATI = “module_mecab”;
無事、高速で動作。

ゴールデンウィークに丹沢日帰り登山をする事に。先日神保町で購入した地図でコースを確認。キツイ感じ。まあ、ゆっくり登れば何とかなるかな。どちらかと言えばもゴールデンウィークの混雑が心配。
　
サーバのバージョンアップも一段落。久しぶりにのんびりした週末。外出は犬の散歩２回と夕方の選挙だけ。丹沢大丈夫か？

etchに切り替えてからメール送信できなくなったとの連絡有り。今まで通り送信できているユーザも居たのですっかり安心してしまっていたが、調べるとpop-before-smtpの初期設定に問題がある事が判明。
　
courierから使用する場合、/etc/pop-before-smtp/pop-before-smtp.conf の以下のコメントを外せば良いのだが、ここに落とし穴が。。。
　
# For Courier-POP3 and Courier-IMAP:
$pat = ‘^[LOGTIME] (?:\[|\S+ )(?:pop3|imap|couriertcp)(?:d|d-ssl|login)\]?: ‘ .　€　€’LOGIN, user=\S+, ip=\[[:f]*(\d+\.\d+\.\d+\.\d+)\]’;
$out_pat = ‘^[LOGTIME] (?:\[|\S+ )(?:pop3|imap|couriertcp)(?:d|d-ssl|login)\]?: ‘ .　€'(?:LOGOUT|DISCONNECTED), user=\S+, ip=\[[:f]*(\d+\.\d+\.\d+\.\d+)\]’;
　
この状態でpop3認証させても、/var/lib/pop-before-smtp/hosts.db は更新されない。で、syslogを確認すると、pop3loginではなくcourierpop3loginと、なっていた。これじゃ駄目じゃん。。。と、言う事でさっそく修正。
　
# For Courier-POP3 and Courier-IMAP:
$pat = ‘^[LOGTIME] (?:\[|\S+ )(?:courierpop3|imap|couriertcp)(?:d|d-ssl|login)\]?: ‘ .　€’LOGIN, user=\S+, ip=\[[:f]*(\d+\.\d+\.\d+\.\d+)\]’;
$out_pat = ‘^[LOGTIME] (?:\[|\S+ )(?:courierpop3|imap|couriertcp)(?:d|d-ssl|login)\]?: ‘ .　€'(?:LOGOUT|DISCONNECTED), user=\S+, ip=\[[:f]*(\d+\.\d+\.\d+\.\d+)\]’;
　
これで/var/lib/pop-before-smtp/hosts.db は更新されるようになった。でも、まだ他にも落とし穴がありそうなので継続調査。
　
ちなみにpop3sで接続していたユーザはsyslogがcouriertcpdとなっていたので問題無しだった。

先日ショートさせてしまった電源をネット通販。本日到着。さっそく交換。。。しかし、電源は入ったが起動しない。調べていくとハードディスクも壊れたようだ。マザーボードとCPUとメモリが無事だっただけでもラッキーと考えよう。

雪のナッキーから、美人ちゃんにテーマをバトンタッチ。
　
あれ？
過去日記の写真が消えた。。。明日考えよう。

しかし、まだ固定IPを確保できていないので本番サーバの切り替えは先。
しばらくはニューファミリーも並存。

etchに切り替えたらJoomla!のphpshopでアイテムが表示されなくなってしまった。phpのソースを解析するとバグを発見。LEFT JOINしたいテーブルを最初に記述してしまっている。これでは正常に動作しない。さっそく修正したところ、無事動作。しかし、何故sargeの時には動作していたのだろう？　条件分岐でこの行は実行されていなかったのだろうか？？
　
修正箇所
administrator/components/com_phpshop/html/shop.browse.php
　
//2行削除
// $list　€ = “SELECT DISTINCT $fieldnames FROM #__pshop_product, #__pshop_category, #__pshop_product_category_xref,#__pshop_shopper_group “;
// $count　€ = “SELECT $count_name FROM #__pshop_product, #__pshop_category, #__pshop_product_category_xref,#__pshop_shopper_group “;
　
//2行追加
　€$list　€ = “SELECT DISTINCT $fieldnames FROM #__pshop_category, #__pshop_product_category_xref,#__pshop_shopper_group,#__pshop_product “;
　€$count　€ = “SELECT $count_name FROM #__pshop_category, #__pshop_product_category_xref,#__pshop_shopper_group,#__pshop_product “;

予想外の出来事
・本番サーバのHDDを差し替え、ケースを閉める際にDVD電源ケーブルをはさみショートさせてしまった。急遽、スタンバイサーバを本番サーバに切り替え稼動。時間を浪費しただけでなく、スタンバイサーバが無くなってしまった事により、後続の作業に暗い影が。。。

・mysqlのりストアが何故かエラーになってしまう。
ERROR 1071 (42000) at line 129: Specified key was too long; max key length is 1000 bytes
スタンバイサーバでは何の問題も無く出来ていたのだが、スタンバイサーバの状態確認が出来ない。。。
google様に聞いてみると、UTF8を使用するとバイト数が大きくなるためmysqlのキー長の上限に引っかかってしまうらしい。１０あるDBを一つずつ手作業で復元＆エラーが出たDBのSQLを確認し対策を施しながら復元する事６時間。

・マザーボードのNICが数時間で暴走する。ドライバかkernelの問題と思われるが原因が特定できない。とりあえず、状態確認をして暴走したら再起動するスクリプトを3分間隔で実行。

・Joomla!で使用しているphpshopのアイテムが表示されない。これも原因が特定できない。とりあえずソースの解析を始めたのだが苦戦。継続作業中。

と、ここまでは悪い事を書いたが、レスポンスは劇的に改善した。何とかこの状態で安定稼動に持って行きたい。

etchへの切り替えは１～２時間作業と思っていたのだが大苦戦。
利用者の皆様にご迷惑をお掛けして申し訳ありません。。。

etchの準備が整った。
明日早朝切り替え予定。

自宅サーバへの接続数が増えたのは嬉しい事なのだが、負荷に耐えられなくなっている。特にネットワーク負荷がパツンパツン。。。今月中になんとか改善したい。
　
1.本番サーバをetchにアップグレード
2.Bフレッツファミリータイプからハイパーへ切り替え
3.2回線を利用したネットワーク負荷分散
　
今週の目標は1.

暗礁に乗り上げていたスタンバイサーバのetch化。再インストールからやり直したらあっけなく解決。原因は何だったのだろう？
とりあえず、etchの動作確認の目処が付いたので、本番サーバの移行作業洗い出しでもするかな。
　
何て事を考えていたら、etchが正式リリースされたようだ。
ナイスタイミング！！

ネットワークの負荷分散に合わせてBフレッツニューファミリータイプをハイパーへ切り替える事に。さっそくNTTへ連絡。

今日は都内出張。
せっかく都心に行ったので帰りにお買い物。
　
・山登り用の地図
・スノボのビンディングのビス
・サーバ用ハードディスク＆マイクロSD
　
神保町や新宿なら良い物が安く手に入る。。。と、思ったのだが、近所の本屋、スポーツ用品店、電気屋と品揃えも価格も変わらず。さらに言えばネット通販のほうが安かった。
都心に行く楽しみが減ったようだ。

スタンバイサーバのetch化は完全に暗礁に乗り上げた。amavis-newのエラーが解消されない。諦めて、インストールからやり直す予定。
それでも駄目な場合、debian以外のディストリビューションを試してみるのも良いかな？
　
Ubuntu Linux
http://www.ubuntulinux.org/

IPエイリアスでの負荷分散は考えていたよりも奥が深かった。論理的にネットワークを分ければ自動的に正しいGateWayを選択してくれると思ったのだが、そう甘くは無かった。応答パケットが正しくないGateWayに向かってしまい苦戦。
調べてみると、routeの機能だけでは設定できないらしい。iprouteのマルチホーミングで実現できるようだ。
　
と、言う事でさっそく設定。
　
構成
　サーバにNICが1枚
　　eth0　192.168.1.10
　　IPエイリアスで192.168.1.11を設定
　ルータ2台　それぞれISPに接続しNATでポートフォワード
　　1台目のルータは192.168.1.1
　　2台目のルータは192.168.1.2
　
・iprouteをインストール
aptitude install iproute
・ipエイリアスを設定
/sbin/ifconfig eth0:0 192.168.1.11
・iprouteで戻りパケットの交通整理
ip route flush table main
ip route add 192.168.1.0/24 dev eth0 src 192.168.1.10
ip route add 127.0.0.0/8 dev lo
ip route add table main default via 192.168.1.1
ip rule add from 192.168.1.11 table 1 prio 10000
ip route add table 1 default via 192.168.1.2
　
バッチリ動作！！
でも、本番環境の切り替えは後日。

スタンバイサーバにetchを入れてみた。
良い点も悪い点も予想通り。
マザボのギガLANもsoundもSATAもすんなり動作。
Apache2.2は動作せず、設定を修正。
予想外なのはamavisd-new。
どんなに設定してもエラーを吐いて動かない。
「(!!) TROUBLE in check_mail: mime_decode-1 FAILED: MIME::Parser: can’t open tmpfile: Invalid argument」
ネットで調べると、libmime-perlの特定バージョンとの組み合わせでバグがあるようなのだが。。。みんな動いてるの？

２回線を利用した負荷分散について考えてみた。
IPエイリアスを使用して１枚のNICに２つのIPを付与してそれぞれの回線からの接続を正しく返してやればＯＫという結論に達した。と、いう作業方針が決まれば実行してみたくなる。
でも、明日は年休取ってハイキング。朝4時半起床予定。。。でも、やってみたい。。。やっちゃった。。。ハマッタ。。。後始末のため0時過ぎまで作業。

etchにアップグレードすれば、以下の利点がある
・マザボのギガNICとSoundが使える
・SATA対応のkernelでHDDが速くなりそう
逆に問題もある
・まだ正式リリースしていないので不安定
・Apache2.0からApache2.2になるので非互換調査が必要
・BIND8からBIND9になるので非互換調査が必要
・他にもpostfixやamavisなどの非互換も不安
まずはスタンバイサーバでテストしてみよう。

Bフレッツは２回線まで同時に使用できる。
ルータは２つある。
プロバイダも２つ契約している。
これを使ってネットワークの負荷分散を行えば良いという発想に至った。来週から準備開始。

ギガ対応のルータ ETG-Rが届いたので、さっそく交換したところ、負荷に耐えられずあっと言う間にダウン。なんじゃコリャ～？？
スループット660Mbps(約80MByte)が宣伝文句のこのルータ。たかだか3Mbps(約400KByte)に絶えられないとはどういう事？
大きなデータを単発で扱うのは得意だが小さなデータを沢山扱う事ができないという事なのか？
とりあえず使用を断念。

ギガビット対応のルータとスイッチングハブを注文。機種はIO-DATA ETG-Rと同じくETG2-SH5WH。
こうなると、サーバ側もギガビット対応にしたくなるのが人情。サーバのマザーボード(GA-8I945GMF)はギガビットのNIC(Marvell8053)が内蔵されているのだがsargeのkernel(2.6.8)では認識せず別のNICを挿している。何としてもこれを認識させたくなった。と、言う事で調べてみるとsk98linのドライバを使ってえば良いらしい。
さっそく作業開始。
http://www.skd.deからドライバをダウンロード
aptitude install kernel-headers-2.6.8-2-386
aptitude install kernel-source-2.6.8
aptitude install kernel-tree-2.6.8
/usr/src に解凍して
ln -s kernel-headers-2.6.8-12-em64t-p4-smp linux
リンク作成後に
./install.sh
スクリプト実行。。。エラーで止まる。
いろいろ調べたが原因がわからない。
諦めて手作業でkernelコンパイル。。。これも駄目。
何でだろう？
いっその事、etchに上げてしまうか？？？

やはり、よ～く考えればルータが怪しい。と、言う事でサーバが重たい時間にローカルからルータへpingを打ってみた。
60 packets transmitted, 59 received, 1% packet loss, time 884966ms
rtt min/avg/max/mdev = 0.370/45.608/1071.505/136.836 ms
平均 45ms
最も遅いときは 1071ms
と、言う事でルータを買いかえる事に。
　
しかし、ボトルネックが
１．メモリ不足によるCPU高負荷
それが解消されると、
２．ルータ
それが解消されると、
３．ISP もしくは サーバ側のNIC
と、なるのは目に見えているような。。。

メモリが届いたのでさっそく挿した。これで4G！と、思ったのだが何故か3.3Gまでしか認識しない。4枚とも同じメーカーの同じロット。2枚であればどの組み合わせ、どのスロットでも2Gと、認識する。なぜか4枚だと駄目。。。謎。
とりあえず3.3Gでもメモリが増えた事には変わりないので良しとしよう。freeコマンドでSwap状況を確認するとほぼ0に落ち着いた。メモリ不足によるSwapが原因の高負荷状態は解消された。
　
CPUの使用率も50%前後、htmlの表示も速くなった。しかし、外からアクセスした際に画像表示が遅い。で、調べていくとアサヒネットで帯域制限をかけているようだ。これではいくらサーバが頑張ってもどうしようも無い。ISPの乗換えを検討する必要があるようだ。
　
・Bフレッツのニューファミリーもしくはハイパー
・固定IPが使える
・月額4,000円以内
・逆引き変更ができる（必須ではない）
　
インターリンクかドルフィンあたりかな？

よくよく考えたらルータがボトルネックになっている可能性も。
ISP切り替え前にルータを変えてみるか。

ソフト的な対策は可能な限り行った。しかしまだサーバは高負荷な状態が続いている。
と、言う事でハード的な対策も行う事に。まずはメモリ2G発注。現在2Gなので合わせれば使用中のマザーボードの限界である4Gになる。これで駄目ならCPU交換か？

朝起きて自宅サーバにアクセスしたら無応答。。。ダウンした！と、思ったらCPU100%でかろうじて動いていた。とは言ってもこれではダウンしているのと大差無い。ここ最近のサーバ高負荷を小細工で回避しようと思っていたが許容範囲を超えてしまったようだ。
と、言う事で本腰を入れて抜本的に負荷対策。
○Apacheの画像ログ取得を止める。
○アクセスの多いphpをperlに書き換える。
○perlをmod_perlで動作させる。
○SSIを動作させる拡張子を限定する。
○ファイルの存在チェックや画像サイズチェックのプログラムを見直す。
○WP-Cacheを使いWordPressをキャッシュ動作させる。
これで、どうだ！

サイトが重い。
Apacheのパラメータを再調整。

WordPressの開発はとても活発。それ故に新しい機能が次々と追加されていく。
　
しか～し、毎週バージョンアップされてはサーバ管理者には厳しいものがある。と、言う事で今日も差し替え。