クロールの調整
あまたがボーっとしているときにはあまり重要なところをいじらない方が良いのだけれど、
ちょっと気になったことがあったので、クロールの調整をしてみました。
それと、以前からXREAでは使用していたディレクトリ名→サーバー名の解決をする関数を
自宅サーバー向けに書き直して、クローラーに組み込んでみました。
これで、いつサーバーが変わっても設定ファイルを書き直さなくて良いわけです。
変更前は1日に収集しているスレッド数が約8000スレッドほどだったのですが、
明日は一体どれくらいに増えるのか？ 楽しみです。