大容量ファイルの事前キャッシュ

大容量ファイルの事前キャッシュ

動的スペクトルを生成するために大きなバイナリファイルを読み取る時間が重要なCPythonルーチンがあります。事前キャッシュを使用すると、最初のvmtouchファイルが2GBファイル全体をキャッシュするのに約14〜16秒かかりますが、次のファイルは少し遅くなります(〜52秒かかります)。

  1. ルーチンを処理するには2つの2 GBファイルが必要なので、これらのファイルをより迅速に事前キャッシュする方法はありますか?

システムの詳細:

揮発性メモリ:16GB
Ubuntuバージョン:18.04.5 LTS

最初のファイルvmtouch出力

vmtouch -vt First_Large_binary.bin
[OOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOO] 512000/512000

Files: 1
Directories: 0
Touched Pages: 512000 (1G)
Elapsed: 14.896 seconds

2番目のファイルvmtouch出力

vmtouch -vt Second_Large_binary.bin
[OOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOO] 512000/512000

Files: 1
Directories: 0
Touched Pages: 512000 (1G)
Elapsed: 52.126 seconds

関連情報