なかなか除外コマンドが適用されず、苦しんだためメモとして残しておく。
wgetコマンドにおいて、-rオプションと--reject-regexオプションの順番が異なる場合に実行結果が変わるのは、wgetがオプションを処理する順序に依存しているためです。具体的には、wgetはコマンドラインで指定された順序に従ってオプションを解釈し、それぞれのオプションの効果を順番に適用します。
オプションの順序とその影響
1. -r の前に --reject-regex を指定した場合:
bashコードをコピーするwget --reject-regex "pattern" -r "https://example.com"
この場合、wgetはまず--reject-regexを解釈し、その後に-r（再帰的ダウンロード）を実行します。結果として、指定されたパターンに一致するファイルやディレクトリを除外しながら、再帰的にダウンロードを実行します。
2. -r の後に --reject-regex を指定した場合:
bashコードをコピーするwget -r --reject-regex "pattern" "https://example.com"
この場合、wgetは最初に-rオプションを解釈して再帰的ダウンロードを開始し、その後に--reject-regexを適用します。実際には、wgetは最初に-rオプションで再帰的にダウンロードを開始し、その後のプロセスで--reject-regexによるフィルタリングが行われることになりますが、ダウンロードの進行状況やタイミングによって、パターンが適切に適用されない可能性があります。
なぜ差異が生じるのか
wgetはオプションを指定された順序に基づいて実行します。--reject-regexはフィルタリングを行うためのオプションであり、-rオプションによってダウンロードが再帰的に進行する前に適用されるべきです。
--reject-regexが先: この場合、指定されたパターンに基づいて、最初からダウンロード対象のフィルタリングが行われます。これにより、不要なファイルやディレクトリのダウンロードが未然に防がれます。-rが先: 再帰的ダウンロードが先に実行され、wgetが探索するディレクトリやファイルのリストがすでに決定された後に--reject-regexが適用されるため、意図したフィルタリングが行われない場合があります。つまり、フィルタリングが遅れて適用されるため、不要なファイルが一部ダウンロードされてしまう可能性があります。
結論
wgetコマンドで-rオプションと--reject-regexオプションの順序が実行結果に影響する理由は、wgetがコマンドライン引数を解釈する順序に依存するためです。--reject-regexはフィルタリングを行うため、-rオプションで再帰的にダウンロードを始める前に指定するのが一般的に望ましいです。これにより、不要なファイルのダウンロードを防ぐことができます。
