URLを含むテキストファイルのカールページソース

URLを含むテキストファイルのカールページソース

最大100個のURLを含むテキストファイルがあります。以下を使用してページソースを取得できます。

cat /path/to/url.txt|xargs curl -o /path/to/output.txt

output.txtこれにより、すべてのURLのページソースがダウンロードされますが(コマンドラインに示すように)、リストの上部にあるURLのページソースのみが保存されます。

各URLのページソースを同じテキストファイルまたは必要に応じて別々のテキストファイルに保存するにはどうすればよいですか?

ありがとう、

答え1

GNU Parallelを使用すると、複数のURLを並列に取得でき、出力の混在について心配する必要はありません。

cat /path/to/url.txt | parallel curl > /path/to/output.txt

答え2

for i in $(cat urls.txt); do curl "$i" >> output.txt; done

答え3

1行に簡単なURLリストを使用すると、操作を実行してすべてを単一のファイルに出力する必要があります。

while read in; do xargs curl -K "$in" >> /path/to/output.txt; done < /path/to/url.txt

関連情報