私はAWSを介してあるサーバーから別のサーバーに10TBのファイルを転送することをテストしています。
ファイルシステムをマウントしました。
lsblk
file -s /dev/sdb
mkfs -t xfs /dev/sdb
mkdir /data
mount /dev/sdb /data
cd /data
次のコマンドを使用して10TBのデータファイルが生成されました。
dd if=/dev/nvme1n1 of=test10t.img bs=1 count=0 seek=10T
(これは正しいですか、それとも10TBサイズのサンプルファイルをダウンロードするための別の良いオプションはありますか?)
ls -laSh
10TBのファイルがダウンロードされたことを示します。ただし、次df -h
のように表示されます。
Filesystem Size Used Avail Use% Mounted on
devtmpfs 464M 0 464M 0% /dev
tmpfs 472M 0 472M 0% /dev/shm
tmpfs 472M 596K 472M 1% /run
tmpfs 472M 0 472M 0% /sys/fs/cgroup
/dev/nvme0n1p1 8.0G 8.0G 16K 100% /
tmpfs 95M 0 95M 0% /run/user/1000
/dev/nvme1n1 11T 79G 11T 1% /data
tmpfs 95M 0 95M 0% /run/user/0
10TBのサイズは十分に利用されません。誰かがこれを説明できますか?
また、次のコマンドを使用してあるサーバーから別のサーバーにSCPを実行する場合:
scp -i <password-of-second-server> <10TB file> ec2-user@<ip-address of other server>:~
ファイルが転送されていることを示します。ただし、ファイル容量が大きいため、まだ転送が完了していない状態で、100GBを超えると転送速度が遅くなります。 server1 から server2 に移動中です。 server1 cliでは、平均進行状況が1時間あたり約25 GBで進行中であることが示されています。これが私の要件を達成するのに役立つ正しい方法であれば、誰でも私を案内して校正できますか?
答え1
あなたが使用しているのでscp
...おそらく問題の原因は、リモートホストが接続アクティビティを表示できず、タイムアウトしたためです。
sshd_config
リモートホストで次の項目を確認します。
ClientAliveInterval 250
ClientAliveCountMax 16
あなたができるもう1つのことは、コマンドを使用して10TBファイルを分割することですshar
。次に、scp
各Sharファイル。