file.csv
s3の別のフォルダ(より正確にはS3バケット内のファイルパス)に移動する必要があるファイルのリストであるというファイルがあります。
ファイルには53,00,000個のファイルが一覧表示されます。以下を試しましたが、各操作に時間がかかります。
cat file.csv | xargs -I {} aws s3 mv s3://Bucket1/{} s3://Bucket2/{}
次の方法でプロセスをスピードアップしようとしています。
cat file.csv | xargs -P50 -I {} aws s3 mv --recursive s3://Bucket1/{} s3://Bucket2/{}
...しかしうまくいかないようです。
私も次のことを試しました。
while read line; do
echo ${line} | \
xargs -n1 -P100 -I {} \
aws s3 mv s3://Bucket1/{} s3://Bucket2/{} --recursive
done < file.csv
しかし、それも動作しないようです。
xargs
入力ファイルを読み込んで複数のaws cliコマンドを実行するには?