wgetコマンドでApacheのファイル一覧以下のファイルをダウンロード
wget -e robots=no -i server.list -nc -S -w 10 --random-wait -r -A pdf -np
以下、メモ書き。
-e: `.wgetrc'形式のコマンドを実行。 このコマンドでrobots.txtを読みに行かない。
-i:ファイルに書かれたURLよりダウンロードを行う。 ファイルは1行ごとにURLが書かれている。
-nc: 存在しているファイルを上書き保存しない。 再帰ダウンロード中に通信が切れても途中から再開できる。
-S: サーバーからの応答を表示。 エラーが出た時の確認用。
-w [秒数]: 待機秒数。
--random-wait: 待機秒数を 0.5*[秒数]〜1.5*[秒数]の間でランダムに変える。
-r: 再帰ダウンロードを行う。取得したHTMLのリンクをたどる。
-A [拡張子1[,拡張子2 ...]]: コンマ区切りでダウンロードしたいファイルの拡張子を指定。
-np: 親ディレクトリを取得対象にしない。これで「Parent Directory」を取得対象から外す。