file.csvs3の別のフォルダ（より正確にはS3バケット内のファイルパス）に移動する必要があるファイルのリストであるというファイルがあります。 ファイルには53,00,000個のファイルが一覧表示されます。以下を試しましたが、各操作に時間がかかります。 cat file.csv | xargs -I {} aws s3 mv s3://Bucket1/{} s3://Bucket2/{} 次の方法でプロセスをスピードアップしようとしています。 cat file.csv | xargs -P50 -I {} aws s3 mv --recursive s...
私は苦労しています。Contaboのオブジェクトストレージ。 「S3 Object Storageの読み取りと書き込み」権限を持つユーザーを介して「Backup」というawsプロファイルを設定しました。 この設定ファイルで次のシェルスクリプトを実行しました。 echo "Bucket: "$BUCKET echo "Key: "$KEY echo "Profile: "$PROFILE echo "Region: "$REGION echo "Endpoint: "$ENDPOINT aws --profile $PROFILE --region $REG...
S3 バケットのファイルを EC2 インスタンスにコピーします。 EC2 インスタンスと S3 バケットは同じリージョン us-east-2 にあります。 S3 バケットでは ACL が無効になっており、パブリックアクセスが許可されます。 # /usr/local/bin/aws s3 cp s3://Bucket_name/Trail_SW/server_dec.tar.gz /tmp --source-region us-east-2 fatal error: An error occurred (403) when calling the HeadOb...
私のアプリケーションには、合計10TBを超える数千のファイルが含まれています。 このデータをどこか（おそらくAWS S3）にバックアップする必要があります。 私の考えでは： バックアップ中のデータ圧縮 バックアップを単一ファイルとして保存 たとえば、gzipで圧縮されたtarファイルです。 サイズのため、gzip圧縮tarファイルが大きすぎてローカルで作成できません。 私がすることができます： これらすべてのフォルダとファイルを単一の圧縮ファイルとしてAWS S3にストリーミングしますか？ 圧縮ファイルをS3からマイディスクに再ストリーミングし、元のフ...
私のFlaskアプリはサービスとして実行されていますが、s3bucketインストールフォルダからビデオファイルを読み取ることはできません。 OpenCVはロードが失敗してもエラーを発生させませんが、ゼロフレーム配列を返します。したがって、私たちはs3バケットパスから読み取ることができないことを知っています。 サービスプロファイル [Unit] Description=service After=network.target [Service] User=ubuntu Group=www-data WorkingDirectory=/home...
S3 cpコマンドにいくつかのファイル名を含めたいが失敗し続けるシナリオがあります。これは私のコマンドです： - DATE=$(date '+%Y%m%d') /usr/local/bin/aws s3 cp "/test/copy" "s3://test-bucket/test/copy/" --include "TEST_$DATE.REQHE" --include "TEST_$DATE.ERRMSG_REQHE" コマンドの実行中に次のエラーが発生します。 - upload failed: ./ to s3://test-bucket/test/...
私はS3の読み書きで非常に基本的な時間コマンドを実行しています。問題は、システムIOの影響を受けずにメモリでテストしたいということです。友達が/dev/nullをパイプとして使うことを提案しましたが、私のフォルダには1000個のファイルがあり、サイズは約1GBです。 私のbashコマンドは次のようになります。 time aws s3 cp folder s3://mybucket/folder メモリ書き込み時間だけを測定することを提案するものはありますか？ 非常にありがとう ...
かつて、rsnap物理ハードドライブを使用して10台の重要なマシン（CentOS / RHEL）をバックアップしたことがあります。 ターゲットがAWS / S3バケットになるようにこのバックアップを移行したいと思います。 車輪を再構築する必要がありますか、またはS3に（毎日/毎週/毎月）バックアップできる商用/無料ソフトウェア/スクリプトシステムはありますか？ ...
次の名前のファイルを含む s3 バケットがあります。 example_test_20200612010000 example_test_20200612020000 example_test_20200612020000 example_control_20200612010000 example_control_20200612020000 example_control_20200612020000 このようなファイルは数分ごとにこのs3バケットに入ります。どのテストファイルが新しいものか（まだ処理されていない）を確認する必要があります。私のロジ...
サイズを求めようとしています。S3フォルダそしてそれを保存データベースへの流入 以下は私のコードです #!/bin/bash -x FILESIZE=$(mktemp) s3cmd du -r "s3://path1/path2/" | awk '{print $1}' >> "$FILESIZE" cat "$FILESIZE" echo curl -i -XPOST "http://localhost:8086/write?db=S3check&precision=s" --data-binary "ecmwftrack,bu...
S3 Spacesから最新の150ファイルをダウンロードしたいです。このコマンドを使用しました s3cmd get s3://obs/site1/uploads/large/ /home/ankit -r | tail -n150 しかし、私が望む効果はありません。代わりに、すべてのファイルのダウンロードを開始します。 たとえば：私が命令した場合： 入力する s3cmd ls s3://obs/site1/uploads/large/ 出力 2020-04-30 20:04 0 s3://obs/site1/uploads/...
S3バケット内のサブフォルダの合計サイズを取得するためにbashスクリプトを作成しようとしています。 私のバケツs3://パス1/パス2/サブフォルダ path2フォルダ内には、次のような多くのサブフォルダがあります。 2019_06 2019_07 2019_08 2019_09 2019_10 2019_11 2019_12 Bashスクリプトから各サブフォルダのサイズを取得する必要があります。 私はこのようなスクリプトを書いた。 ** #!/bin/bash FILES=$(mktemp) aws s3 ls "s3...
S3バケット内のサブフォルダの合計サイズを取得するためにbashスクリプトを作成しようとしています。 私のバケツs3://path1/path2/subfolders path2フォルダ内には、次のような多くのサブフォルダがあります。 2019_06 2019_07 2019_08 2019_09 2019_10 2019_11 2019_12 Bashスクリプトから各サブフォルダのサイズを取得する必要があります。 私はこのようなスクリプトを書いた。 #!/bin/bash FILES=$(mktemp) aws s3 ls "s3://p...
名前に含まれる日付に基づいてs3リポジトリのディレクトリをソートしたいと思います。 私が走るとき s3cmd ls s3://xyz/private/backups/mails/daily/ | awk '{print $2}' 次のディレクトリを一覧表示します。 s3://xyz/private/backups/mails/daily/01_Apr_2020/ s3://xyz/private/backups/mails/daily/02_Apr_2020/ s3://xyz/private/backups/mails/daily/03_Apr_...
이것은 나에게 혼란스러운 행동입니다. aws s3sync 명령이 실행되는 동안 스크립트에 종료 신호를 보냈고 sigterm 오류를 처리했지만 오류 트랩도 awssync 명령에 의해 트리거되었으며 그 이유를 이해할 수 없습니다. 더욱 혼란스러운 점은 명령이 오류를 발생시키고 계속된다는 것입니다. 스크립트: #! /bin/bash trap 'echo GOT ERROR, exiting' ERR trap 'echo GOT SIGTERM!' SIGTERM while true; do date +%F...