過去ログの表示に使っているreadc.cgiが度重なる関数の追加でえらく複雑化してしまい、
現在は、インクルードしている関数を抜いて1400行ぐらいなんだけど
構造がおそらく今まで作ったスクリプトで一番複雑化していると思う。
表示に関する部分というのは殆ど完成していて、スッキリしている。
ところが、度重なる修正を加えたdatを取り寄せる部分(自鯖|p2|bg)はとってもごちゃごちゃ。
if文なんかでは、こんな風になってるところもあった。
if (($a == ‘1′ || $b == ‘2′ || $c == ‘3′) && $d != ‘4′) {
}
こんなにもぐちゃぐちゃでは、ぱっと見てどんな動作になるのかさっぱり解らない。
はっきり言って、今はとりあえず動いてるから・・・ で何とかしてる状態。
この辺りを書き直さないと後々困りそうだな。
と言うか現状困っているんだった。
今日を入れてあと3日とな！？
ASKS変換のクローラーをgzip対応にして、通信を高速化してみた。
gzencodeはココから調達、、、
gzdecode Function in PHP
http://www.tellinya.com/read/2007/08/28/83.html
ものによっては、半分から4分の3ぐらいまで速くなった。
もっと前から導入すれば良かったなぁ。
今年は、GTFPを買ってから色々とゲームやグラボを買って
PCのグラフィック面がパワーアップしたり
本格的？な過去ログ倉庫の作成をしたりと
自分の作りたいものが作れるようになってきた気がする一年でした。
来年はちと忙しくなりそう。
90631スレの圧縮作業が終了しました。
といっても、30秒の時間制限に引っかかるスクリプトをリロードして、何回も実行しただけですが。
結果から言うと、8,177,208KBまで減りました。
つまり約8GB、ほぼ半分です。
容量の少ないスレッドが多かったため、目標の4GBは無理でしたが
これで、あと半年は戦えるのではないかとおもいます。
それと、今回圧縮を掛けたことで、全ての過去ログの保存位置が統一され、
今後、作業をするときにも便利になりました。
readc.cgiで読まれたスレッドのステータス表示は以下のようになっています。
・自宅サーバーからgzで圧縮されたスレッドを読み込んだとき
tanabota.gz
・XREAにキャッシュされているdatから読み込んだとき
tanabota.tmp
・自宅サーバーからdatを読み込んだとき(今後はもうないはず)
tanabota.info
# 何かおかしいと思ったら、停電でIPが変わっていた模様。
# Google仕事してるな。
試しにex23.2ch.net以下のdatファイルを全部gz化してみました。
んで、dfした結果、以下のように。
16,980,600KB→16,602,624KB
4407ファイルを圧縮しただけでおよそ380MB減りました。
これはちょっと期待できるかも。
さらにnews23.2ch.net以下のdatファイルを全部gz化してみました。
ココだけで14555ファイルもあったりします。
dfしてみると・・・
16,603,188KB→15,581,924KB
1GBも一気に減った。すげー。
次は、wwwww.2ch.netです。
ココも10000ファイルぐらいあります。
15,581,924KB→14,641,032KB
これまた、1GB近く減りました。やべー。
現在、非圧縮で扱っている過去ログ倉庫のdatを
gzで圧縮して、転送量と使用容量を減らそう という計画
参考値
使用前：112203byteのdatファイル
使用後：39675byteのgzファイル(w5)
対応
・現状のスクリプトに関数を組み込む
利用方法
1)readc.cgiで読まれ、XREA側にファイルがあった場合にgz化を進めていく
自宅サーバーに転送後、自宅サーバー側で圧縮前のdatがあるか確認する必要がある。
2)readc.cgiで読まれ、自宅サーバーから転送する際に圧縮していく
CPUに掛かる負荷が不明
自宅サーバーから読み出すスクリプトを対応させれば良いだけなので対応は容易
3)1と2の両方を実行する
組み込みが面倒になるかも
4)新規取得時に圧縮
現状
現在のdatファイル数は9万(11.9GB)
一日で増える容量は約150MB
参考値から計算すると、約3分の1となるため、
一日で増える容量は約50MB、総容量は約4GBとなる。
# 追記
早速、2と幻の4を適用してみた。
良い感じにgz化され始めた。
サーバー名の問題は一旦終了と言いつつも
なんだか気になってしまうので、今日も作業をしてしまった。
結果としては、過去に使われていたサーバー名をリスト化して、
それに記載されていない場合は、実際にサーバーに接続するという手法を取ってみることに。
前回同様、根本的な解決にはならないけど、
明らかに存在しないサーバーは弾けるでしょう。
先日のサーバー名の件、とりあえずはwww.ex17.2ch.netという形で呼ばれたら、
ex17.2ch.netに直して記録するように修正しました。
駄菓子菓子、存在しないサーバー名の場合はまだ未対応、、、
何故かというと、移転前のサーバーが、一体いつまで使用されていたかという
記録を残していないためで、これを実現するには色々と面倒なんですよね。
というわけで、サーバー名の件はこれにて、一旦終了ということで
# 支援物資とサポート兵のバッヂもらったー。
# Strike at Karkandのハイスコアが51になった。
# なかなか時間が取れなくてまだ8時間しかやってないや
# 足が疲れるレースゲーと違って、目が疲れる。
最近、アレルギーの影響か、どうも思考が停止してるらしく
この前書いた、過去ログの件で間違ったサーバー名で呼ばれた場合
サーバー名を修正してリダイレクトするようにしたのだけれど
それだと、全くサーバー移転のことが考えられてないんですよね。
現在、ニュー速はnamidame.2ch.netなわけですが、
news23.2ch.netにあったスレッドもnews20.2ch.netにあったスレッドも
全部、namidame.2ch.netにしてしまうということです。
今年は、どうもイネ科のアレルギーがきついみたいで、
普通に生活しているだけで目やにで視界が曇るぐらい。
とりあえず、そのサーバー名の件は一旦元に戻して、
12月10日あたりまでにはどうにかしたいと思います。
脳がキビキビする感じがしない。
パキパキしてる。
