aws cliを使用したxargs catファイル(Amazon s3 move)

aws cliを使用したxargs catファイル(Amazon s3 move)

file.csvs3の別のフォルダ(より正確にはS3バケット内のファイルパス)に移動する必要があるファイルのリストであるというファイルがあります。

ファイルには53,00,000個のファイルが一覧表示されます。以下を試しましたが、各操作に時間がかかります。

cat file.csv | xargs -I {} aws s3 mv s3://Bucket1/{} s3://Bucket2/{}

次の方法でプロセスをスピードアップしようとしています。

cat file.csv | xargs -P50 -I {} aws s3 mv --recursive s3://Bucket1/{} s3://Bucket2/{}

...しかしうまくいかないようです。

私も次のことを試しました。

while read line; do
  echo ${line} | \
    xargs -n1 -P100 -I {} \
      aws s3 mv s3://Bucket1/{} s3://Bucket2/{} --recursive
done < file.csv

しかし、それも動作しないようです。

xargs入力ファイルを読み込んで複数のaws cliコマンドを実行するには?

関連情報