Googleクローラーの修正をしました。主にGoogle Newsが問題でしたが、Google Searchにも手を入れて高速化しています。また、何らかの理由で途中で止まったとしても、そこまでのデータが保存されるようにしました。再度クローリングする際に、止まったページを表示してからRunしていただければ、そこから再スタート(指定のページ数を取得)します。
Googleクローラーの修正をしました。主にGoogle Newsが問題でしたが、Google Searchにも手を入れて高速化しています。また、何らかの理由で途中で止まったとしても、そこまでのデータが保存されるようにしました。再度クローリングする際に、止まったページを表示してからRunしていただければ、そこから再スタート(指定のページ数を取得)します。