YNET Weblog

最近、Googleを支える技術 とか、プラネットグーグルなんて本を読んでいるのですが、
スケールが大きすぎてどうも自分の所では規模も、技術も足りず、生かせそうに無い気がします。

さて、 XREA から色々な機能を自宅サーバーに移植したクローラーですが、
どうやら、順調に動いているようです。

あまたがボーっとしているときにはあまり重要なところをいじらない方が良いのだけれど、
ちょっと気になったことがあったので、クロールの調整をしてみました。 

それと、以前からXREAでは使用していたディレクトリ名→サーバー名の解決をする関数を
自宅サーバー向けに書き直して、クローラーに組み込んでみました。

これで、いつサーバーが変わっても設定ファイルを書き直さなくて良いわけです。

変更前は1日に収集しているスレッド数が約8000スレッドほどだったのですが、
明日は一体どれくらいに増えるのか？ 　楽しみです。