サーバー1からサーバー2への10TBファイル転送速度のテスト中に停止しました。

サーバー1からサーバー2への10TBファイル転送速度のテスト中に停止しました。

私はAWSを介してあるサーバーから別のサーバーに10TBのファイルを転送することをテストしています。

ファイルシステムをマウントしました。

lsblk
file -s /dev/sdb
mkfs -t xfs /dev/sdb
mkdir /data
mount /dev/sdb /data
cd /data

次のコマンドを使用して10TBのデータファイルが生成されました。

dd if=/dev/nvme1n1 of=test10t.img bs=1 count=0 seek=10T

(これは正しいですか、それとも10TBサイズのサンプルファイルをダウンロードするための別の良いオプションはありますか?)

ls -laSh10TBのファイルがダウンロードされたことを示します。ただし、次df -hのように表示されます。

Filesystem      Size  Used Avail Use% Mounted on
devtmpfs        464M     0  464M   0% /dev
tmpfs           472M     0  472M   0% /dev/shm
tmpfs           472M  596K  472M   1% /run
tmpfs           472M     0  472M   0% /sys/fs/cgroup
/dev/nvme0n1p1  8.0G  8.0G   16K 100% /
tmpfs            95M     0   95M   0% /run/user/1000
/dev/nvme1n1     11T   79G   11T   1% /data
tmpfs            95M     0   95M   0% /run/user/0

10TBのサイズは十分に利用されません。誰かがこれを説明できますか?

また、次のコマンドを使用してあるサーバーから別のサーバーにSCPを実行する場合:

scp -i <password-of-second-server> <10TB file> ec2-user@<ip-address of other server>:~

ファイルが転送されていることを示します。ただし、ファイル容量が大きいため、まだ転送が完了していない状態で、100GBを超えると転送速度が遅くなります。 server1 から server2 に移動中です。 server1 cliでは、平均進行状況が1時間あたり約25 GBで進行中であることが示されています。これが私の要件を達成するのに役立つ正しい方法であれば、誰でも私を案内して校正できますか?

答え1

あなたが使用しているのでscp...おそらく問題の原因は、リモートホストが接続アクティビティを表示できず、タイムアウトしたためです。

sshd_configリモートホストで次の項目を確認します。

ClientAliveInterval 250
ClientAliveCountMax 16

あなたができるもう1つのことは、コマンドを使用して10TBファイルを分割することですshar。次に、scp各Sharファイル。

関連情報