過去ログ倉庫gz化計画

現在、非圧縮で扱っている過去ログ倉庫のdatを
gzで圧縮して、転送量と使用容量を減らそう という計画

参考値
使用前:112203byteのdatファイル
使用後:39675byteのgzファイル(w5)

対応
・現状のスクリプトに関数を組み込む

利用方法
1)readc.cgiで読まれ、XREA側にファイルがあった場合にgz化を進めていく
 自宅サーバーに転送後、自宅サーバー側で圧縮前のdatがあるか確認する必要がある。

2)readc.cgiで読まれ、自宅サーバーから転送する際に圧縮していく
 CPUに掛かる負荷が不明
 自宅サーバーから読み出すスクリプトを対応させれば良いだけなので対応は容易

3)1と2の両方を実行する
 組み込みが面倒になるかも

4)新規取得時に圧縮

現状
現在のdatファイル数は9万(11.9GB)
一日で増える容量は約150MB

参考値から計算すると、約3分の1となるため、
一日で増える容量は約50MB、総容量は約4GBとなる。

# 追記
早速、2と幻の4を適用してみた。
良い感じにgz化され始めた。

フォローする