雲雀は高く空を舞い このページをアンテナに追加 RSSフィード

「ひよこは高く空を舞い」について

2009-01-15

[]エントリーを得るよ(3) リクエストの回数を減らした エントリーを得るよ(3) リクエストの回数を減らした - 雲雀は高く空を舞い を含むブックマーク はてなブックマーク - エントリーを得るよ(3) リクエストの回数を減らした - 雲雀は高く空を舞い エントリーを得るよ(3) リクエストの回数を減らした - 雲雀は高く空を舞い のブックマークコメント

とりあえず、リクエストごとに40秒くらい待つことにした。待ち時間を20秒から40秒でランダムに作成してその時間待ってから、次のリクエストに進む。

一回リクエストすると処理に20秒くらいかかるので、大体1分に1回アクセス。これが多いのかどうなのかはよく分からないや。

ただ、昨日の13時ころからアクセスし始めて、ここ数時間なんとなくエラーを返す回数が増えてきているような気がする、んだよね…。

[]エントリーを得るよ (4) - クローラー案 過去編 エントリーを得るよ (4) - クローラー案 過去編 - 雲雀は高く空を舞い を含むブックマーク はてなブックマーク - エントリーを得るよ (4) - クローラー案 過去編 - 雲雀は高く空を舞い エントリーを得るよ (4) - クローラー案 過去編 - 雲雀は高く空を舞い のブックマークコメント

今のところは、2008年12月までの全エントリを得ようとしていて、そのために2種類のクローラを使ってる

  • ha_dzu_kiクローラー
    • ハヅキのfriends timeline (ハヅキのfollowingページ)を新しいほうから順番に取得
    • ハヅキがfollowしているidのidポストとパブリックポスト両方取得できる
  • Publicクローラー
    • Public timelineを新しいほうから順番にかあるいは、乱数で適当に指定したページを取得

一回のリクエストで200エントリまで取得するようリクエストできるんだけど、リクエストに対してだいたい180エントリくらいが返ってくるとか、あるいはエラーが返ってきて取得できないことがあるので、これらのクローラを適当に動かして重複してエントリを取得して、最終的にそれをまとめる、というようにしてエントリの取得を行う。

今後の予定として、エントリでなくidを取得するようなクローラを作成して、それを元にidページのエントリを取得するようなクローラを作る、予定。

これで、2008年12月以前のエントリがごっそり手に入る…それでどうしよう。

[]エントリーを得るよ (4) - クローラー案 未来編 エントリーを得るよ (4) - クローラー案 未来編 - 雲雀は高く空を舞い を含むブックマーク はてなブックマーク - エントリーを得るよ (4) - クローラー案 未来編 - 雲雀は高く空を舞い エントリーを得るよ (4) - クローラー案 未来編 - 雲雀は高く空を舞い のブックマークコメント

2009年以降のエントリについても同様、かな。

ハヅキクローラをメインで働かせつつ、パブリッククローラおよびIDポストクローラをランダムモードで働かせる、とすればいいかしら。

1日あたり多くて6000エントリくらいなので、6000/200 = 30回もリクエストすれば一日分は取得できる、と思うので、こちらに関してはリクエスト回数を減らせる。よかった。

2009-01-15 - 雲雀は高く空を舞い を含むブックマーク 2009-01-15 - 雲雀は高く空を舞い のブックマークコメント

と思ったらこんなものがw

確かにここのところ考えてるのは解析について、じゃなくてクローリングについて、だった><

やりたいのはそっちじゃないんだったなぁ。大事なことを忘れるところでした。

[]アクセス制限来た>< アクセス制限来た>< - 雲雀は高く空を舞い を含むブックマーク はてなブックマーク - アクセス制限来た>< - 雲雀は高く空を舞い アクセス制限来た>< - 雲雀は高く空を舞い のブックマークコメント

403 forbiddenになってしまいました。アクセス過多だったかーと思って、とりあえず止めて、はてなにメールを出してみた。

で、ふと思ったんだけど、実はFirewallの仕業とかだったらどうしよう。

[]エントリーを得るよ (5) エントリーを得るよ (5) - 雲雀は高く空を舞い を含むブックマーク はてなブックマーク - エントリーを得るよ (5) - 雲雀は高く空を舞い エントリーを得るよ (5) - 雲雀は高く空を舞い のブックマークコメント

とりあえず、管理室とはてなにメール送りつつdaily crowler。

ハヅキのタイムラインが1日当たり6000entryくらい?ということで、40分に一度程度エントリを取得すればよいかしら。…て考えると、今までやってたリクエストはちょっと噴飯ものかな…。ライブドアみたいにちょっと前のをまとめて配布してくれれば…。

ハヅキのタイムラインだけに注目するか、それにプラスしてパブリックタイムライン+idページ探索をするかは迷いどころ。

ただ、それぞれを40分に1度動かすようにすれば、1時間に4.5回アクセス。だめかな。

さて。 さて。 - 雲雀は高く空を舞い を含むブックマーク はてなブックマーク - さて。 - 雲雀は高く空を舞い さて。 - 雲雀は高く空を舞い のブックマークコメント

どうしたものかねぇ。

ゲスト



トラックバック - http://chick.g.hatena.ne.jp/allegro/20090115
テクノラティプロフィール