Webクロールをリンクをたどって再帰的に行う場合にはホップフィルタを設定する

デフォルトではホップ数が指定されていないので再帰的なクロールがされない
シードで指定したURLのみがクロールされる

再帰的にクロールするためには最大ホップ数を指定する

Jobの編集ページから ホップフィルタ タブを選び

タイプの最大ホップ数 'link'：
に最大ホップ数を設定する