不特定多数のWebサイトへ対してクローラーを実行したいと考えています
・どれぐらいの頻度までなら許容されるでしょうか？
・「業界団体が作成した指針」や「目安となる数値」などはあるでしょうか？
・例えば、検索エンジンはこの件について、何らかの資料を公開していたりするでしょうか？

注意した方が良いこと(あるいは、お作法的なこと)について
・クローラーを実行するに辺り、マナー(あるいは、暗黙の了解)はあるでしょうか？
・サイト管理者が拒否したら、次からはアクセスしない？　みたいな
(そもそもどうやってクローラー拒否するのかよく分かっていないのですが…)