Archive
メンテ
Windows用クローラー2
一昨日書いたToDoはこんな感じだったんだけど、概ね消化することができた。
- 巡回スレッド数の設定 → 実装完了
- 取得する最低レス数の設定 → 設定部分は終了あとは実装だけ
- 定期実行 → 実装完了
作業を進めるに当たって、一つ問題があって、DOSプロンプトを消すことが出来ない状態。
つまり、ふたばブラウザの双助だったり、ニコニコ動画のローカルプロクシNicoCacheみたいな状況。
どうにかこれを打開できないか考えてみたのだけれど、WinBinderを使うとGUIウィンドウがハングするし
タスクトレイに入れられるらしいPHP-GTK2は、PHP5で動かない。
PHP CompilerというPHP5に対応したコンパイラも有るんだけれど、これはPHP-GTKのエラーが出て動かない。
うーん、どうしたものか。
ユーザー側でタスクトレイに入れるソフトを使うという手も有るけど…。
もうちょっと情報を集めてみよう。
Windows用クローラー
PHPのソースは、bamcompileを通せばWindowsで動いたりするのですが、
PHP4系の関数しか使えず、PHP5の便利関数(streamget_contentsとか)が使えなくて結構不便です。
まぁ、大したことではないので、その辺りはサクッと対処してWindows用クローラーをでっち上げてみた。
設定ファイルを読み込んで、リストされている板からスレッドを全部ダウンロードする方式。
つまり、ぶっこぬき方式で、あまりサーバーには優しくない。
試しにキー局の実況板とニュース速報VIP、ニュース速報で回してみたところ、
取得を始めたのが7時46分で終わったのが8時19分とかなり時間が掛かった。
取得したスレッド数は、合計1,285スレッドで47.3MBなので、1スレッド辺り1.54秒ぐらい。
それほど遅いって言うわけでもないけど、1回の巡回が33分ってのは良くないなぁ。
実況板だけに絞ればそれなりに回ってくれそうだし、大晦日の本番に備えてここらは調整してみよう。
ちなみに、このバイナリはそのうち配布するかも。
今更ながらLunascapeに乗り換え
CMS?
なんだそれ…?
MGOの拡張パックがもうそろそろ発売されるわけですが、気になるのがその値段。
MEME EXPANSION単体は1200円。2個のEXPANSIONパックがセットになったGENE & MEME EXPANSIONが1500円と、
何故か300円しか値段に差がないこと。
しかも、MEME EXPANSION(1200円)はGENE EXPANSION(1200円)購入済みの人しか買えないという
新規ユーザーに優しく、継続ユーザーには厳しいなんだか良くわからない値段設定。
せめて、もうちょっと値引きしてMEMEを800円ぐらいに、GENE & MEMEを1800円ぐらいにするべきだったんじゃないかなぁ…。
XREA+の有効期限を無料で90日間増やしてもらった。
9月下旬に発生したDNSキャッシュサーバーの障害について、ユーザー掲示板で対象ユーザーは
10月15日頃までに「無料でXREA+の有効期限を90日間延長する」とされていたのだけれども、
待てども、待てども、一向に期限が追加されないのでサポートに問い合わせてみた。
すると、次の日の朝、サポートから「対応しました。再度ご確認ください。」と
メッセージが返ってきており、90日間の期限が延長されていた。
対応するならちゃんとアナウンスした時期にちゃんと実行して欲しいのだけれど、
ただユーザーがのんびりしているだけではダメなんだなと、改めて思った。
# ひととおり作りたいものが終わってしまったので、
# 次に作りたいものが見つかるまでひたすら更新作業をすることにします。
クローラーのスクリプトを自動作成に切り替え
板毎に手動でwgetなんちゃらと書いて定期的に呼び出していたものを
ディレクトリリストを読み込んでシェルスクリプトを自動で作成するように切り替えた。
と同時に、クロールスケジュールもこのディレクトリリストから作成するようにして、
転記ミスが発生しないようにした。
いよいよ1割近い板を巡回するようになったわけですが、
転送量もさほど増えないし、巡回スレッド数も2500~3000スレ/日とそれほど増えている様子はない。
2chのdatに割いているのはプライマリの46.57Bとデイリーバックアップ用途の36.55GB。
プライマリの使用容量は27%なので、およそ12.5GB…
あれ、おかしいな2ヶ月前から2.5GBぐらいしか増えてない。
これは案外HDDが持つかしれない。