
最大100個のURLを含むテキストファイルがあります。以下を使用してページソースを取得できます。
cat /path/to/url.txt|xargs curl -o /path/to/output.txt
output.txt
これにより、すべてのURLのページソースがダウンロードされますが(コマンドラインに示すように)、リストの上部にあるURLのページソースのみが保存されます。
各URLのページソースを同じテキストファイルまたは必要に応じて別々のテキストファイルに保存するにはどうすればよいですか?
ありがとう、
答え1
GNU Parallelを使用すると、複数のURLを並列に取得でき、出力の混在について心配する必要はありません。
cat /path/to/url.txt | parallel curl > /path/to/output.txt
答え2
for i in $(cat urls.txt); do curl "$i" >> output.txt; done
答え3
1行に簡単なURLリストを使用すると、操作を実行してすべてを単一のファイルに出力する必要があります。
while read in; do xargs curl -K "$in" >> /path/to/output.txt; done < /path/to/url.txt