☰

Rsync --dry-runに送信された正しいバイトは表示されません。

tag-icon • tag-icon rsync
Rsync --dry-runに送信された正しいバイトは表示されません。

実際の同期に十分なスペースがあることを確認するために適切rsynなオプションを使用しようとしています。--dry-runテスト目的でディレクトリを同期しようとしていますDocuments。ディレクトリのサイズは

  x@x:~$ du Documents
  ...
  640760    Documents/

同期するファイルコンテナのサイズは次のとおりです。

  x@x:~$ df /media/veracrypt2
  Filesystem             1K-blocks  Used Available Use% Mounted on
  /dev/mapper/veracrypt2      9928  1191      8737  12% /media/veracrypt2

次に、次のコマンドを実行しますrsync。

x@x:~$ rsync -ar --dry-run --stats Documents/ /media/veracrypt2

Number of files: 665 (reg: 560, dir: 105)
Number of created files: 664 (reg: 560, dir: 104)
Number of deleted files: 0
Number of regular files transferred: 560
Total file size: 649,731,108 bytes
Total transferred file size: 649,731,108 bytes
Literal data: 0 bytes
Matched data: 0 bytes
File list size: 0
File list generation time: 0.001 seconds
File list transfer time: 0.000 seconds
Total bytes sent: 19,429
Total bytes received: 2,115

sent 19,429 bytes  received 2,115 bytes  43,088.00 bytes/sec
total size is 649,731,108  speedup is 30,158.33 (DRY RUN)

なぜ19,429バイトしか転送されないのかわかりません。コンテナが空であるため、そのディレクトリ内のすべてのファイルをDocuments転送する必要があります。これは649,731,108を意味します！ ？

私はまた、次のScriptsサイズの小さなディレクトリを試してみました。

 du -h Scripts/
 32K    Scripts/test/Logs
 56K    Scripts/test
 116K   Scripts/Logs
 264K   Scripts/color_schemes
 580K   Scripts/

ここからディレクトリ全体をコピーできるはずです。このディレクトリを実行すると、rsync次の結果が表示されます。

sending incremental file list
./
after_install.sh
install-crafter.sh
install-eclipse.sh
mk_autostart_app.sh
package_backup.sh
pandora.sh
sync_script.sh
trackpoint_speed_sens.sh
wallpaper.sh
Logs/
Logs/LOG_SYNC.log
Logs/LOG_SYNC.log~
Logs/LOG_WALLPAPER.txt
Logs/Log_sync.log
Logs/PANDORA.log
Logs/test
color_schemes/
color_schemes/kile.kateschema
test/
test/sync_script.sh
test/Logs/
test/Logs/Log_sync.log

Number of files: 25 (reg: 20, dir: 5)
Number of created files: 22 (reg: 18, dir: 4)
Number of deleted files: 0
Number of regular files transferred: 18
Total file size: 360,658 bytes
Total transferred file size: 353,166 bytes
Literal data: 0 bytes
Matched data: 0 bytes
File list size: 0
File list generation time: 0.001 seconds
File list transfer time: 0.000 seconds
Total bytes sent: 900
Total bytes received: 95

sent 900 bytes  received 95 bytes  1,990.00 bytes/sec
total size is 360,658  speedup is 362.47 (DRY RUN)

それでは、ここで送信されるデータはなぜ928バイトにすぎませんか？この値は、ターゲットにコピーする必要があるバイト数を示すべきではありませんか？

答え1

--dry-runモードでは、rsyncどのファイルを転送する必要があるかが決まりますが、そのデータは実際には転送されません。当然そうする必要がないからです。これは、データ転送ロジックの一部である増分マッチングを実行しないことを意味します。

数字がこれを反映する理由は…まあ…コードに記載されている内容です。実際統計は「可能な」統計ではありません。

ソースツリーのフォルダrsync -avvv --log-file=rsync.log --no-whole-file --stats doc doc2と通常の同期の違いは次のとおりです（タイムスタンプの削除、PIDの違い、およびヒープ統計を含む）。docrsync--dry-run

 delta-transmission enabled
 recv_generator(doc,1)
 recv_generator(doc,2)
+set modtime of doc to (1463404939) Mon May 16 16:22:19 2016
 recv_generator(doc/README-SGML,3)
 recv_generator(doc/profile.txt,4)
 recv_generator(doc/rsync.sgml,5)
 send_files(2, doc)
 cd+++++++++ doc/
 send_files(3, doc/README-SGML)
+send_files mapped doc/README-SGML of size 672
+calling match_sums doc/README-SGML
+sending file_sum
+false_alarms=0 hash_hits=0 matches=0
+>f+++++++++ doc/README-SGML
+sender finished doc/README-SGML
 send_files(4, doc/profile.txt)
+send_files mapped doc/profile.txt of size 1935
+calling match_sums doc/profile.txt
+sending file_sum
+false_alarms=0 hash_hits=0 matches=0
+>f+++++++++ doc/profile.txt
+sender finished doc/profile.txt
 send_files(5, doc/rsync.sgml)
+send_files mapped doc/rsync.sgml of size 11843
+calling match_sums doc/rsync.sgml
+sending file_sum
+false_alarms=0 hash_hits=0 matches=0
+>f+++++++++ doc/rsync.sgml
+sender finished doc/rsync.sgml
 recv_files(1) starting
 recv_files(doc)
 recv_files(doc/README-SGML)
+got file_sum
+set modtime of doc/.README-SGML.hkH0u5 to (1463404939) Mon May 16 16:22:19 2016
+renaming doc/.README-SGML.hkH0u5 to doc/README-SGML
 recv_files(doc/profile.txt)
+got file_sum
+set modtime of doc/.profile.txt.Wdf4x9 to (1463404939) Mon May 16 16:22:19 2016
+renaming doc/.profile.txt.Wdf4x9 to doc/profile.txt
 recv_files(doc/rsync.sgml)
+got file_sum
+set modtime of doc/.rsync.sgml.JSte5H to (1463404939) Mon May 16 16:22:19 2016
+renaming doc/.rsync.sgml.JSte5H to doc/rsync.sgml
 generate_files phase=1
+set modtime of doc to (1463404939) Mon May 16 16:22:19 2016
 send_files phase=1
 recv_files phase=1
 generate_files phase=2
 send_files phase=2
 send files finished
-total: matches=0  hash_hits=0  false_alarms=0 data=0
+total: matches=0  hash_hits=0  false_alarms=0 data=14450
 Number of files: 4 (reg: 3, dir: 1)
 Number of created files: 4 (reg: 3, dir: 1)
 Number of deleted files: 0
 Number of regular files transferred: 3
 Total file size: 14,450 bytes
 Total transferred file size: 14,450 bytes
-Literal data: 0 bytes
+Literal data: 14,450 bytes
 Matched data: 0 bytes
 File list size: 0
 File list generation time: 0.001 seconds
 File list transfer time: 0.000 seconds
-Total bytes sent: 153
-Total bytes received: 793
-sent 153 bytes  received 793 bytes  378.40 bytes/sec
-total size is 14,450  speedup is 15.27 (DRY RUN)
-[sender] _exit_cleanup(code=0, file=main.c, line=1196): about to call exit(0) (DRY RUN)
+Total bytes sent: 14,723
+Total bytes received: 1,435
+sent 14,723 bytes  received 1,435 bytes  4,616.57 bytes/sec
+total size is 14,450  speedup is 0.89
+[sender] _exit_cleanup(code=0, file=main.c, line=1196): about to call exit(0)

初期テスト実行と1）実際の同期を実行した後2）ファイルを編集した後のテスト実行の違いは次のとおりですrsync.sgml。テスト実行は、増分マッチングが実行されないことを示しています。

 received 3 names
 recv_file_list done
 get_local_name count=4 doc2
-created directory doc2
 delta-transmission enabled
 recv_generator(doc,1)
 recv_generator(doc,2)
 recv_generator(doc/README-SGML,3)
+doc/README-SGML is uptodate
 recv_generator(doc/profile.txt,4)
+doc/profile.txt is uptodate
 recv_generator(doc/rsync.sgml,5)
 send_files(2, doc)
<...>
 Number of files: 4 (reg: 3, dir: 1)
-Number of created files: 4 (reg: 3, dir: 1)
+Number of created files: 0
 Number of deleted files: 0
-Number of regular files transferred: 3
-Total file size: 14,450 bytes
-Total transferred file size: 14,450 bytes
+Number of regular files transferred: 1
+Total file size: 14,476 bytes
+Total transferred file size: 11,869 bytes
 Literal data: 0 bytes
 Matched data: 0 bytes
 File list size: 0
-File list generation time: 0.010 seconds
+File list generation time: 0.001 seconds
 File list transfer time: 0.000 seconds
-Total bytes sent: 153
-Total bytes received: 793
-sent 153 bytes  received 793 bytes  1,892.00 bytes/sec
-total size is 14,450  speedup is 15.27 (DRY RUN)
+Total bytes sent: 157
+Total bytes received: 830
+sent 157 bytes  received 830 bytes  658.00 bytes/sec
+total size is 14,476  speedup is 14.67 (DRY RUN)
 [sender] _exit_cleanup(code=0, file=main.c, line=1196): about to call exit(0) (DRY RUN)

次に、ジョブについて - ターゲットに実際の同期に十分なスペースがあることを確認します。

という違いを見ると分かる

  • 書類は一枚ずつコピーされ、
  • 各ファイルは一時的な名前で書き込まれ、元のファイルに移動されます。

したがって、ターゲットに必要なスペースは次のとおりです。

  • sum( max(existing_size,new_size) for all files to be synced) + max( (new_size) for all files to be synced)

最初の項はある時点の「最終」データ量の最悪のシナリオであり、2番目の項は一時コピーのためのスペースです。

各ファイルサイズは、無駄なスペースを可能にするためにストレージサイズの倍数で埋めることができます（ターゲットFSに適しており、予想合計が差を作るのに十分高い場合）。

関連情報