行番号に基づいて大容量ファイルを分割して実行し、最終出力をファイルに追加します。

行番号に基づいて大容量ファイルを分割して実行し、最終出力をファイルに追加します。

Rパッケージを使用しています。パッケージ内で実行するために必要な入力ファイルが大きいため(サイズ65 GB)、ファイルを行番号に従ってチャンクに分割し、最終出力を単一のファイルにマージすることにしました。また、PERLを使用してプロセス全体を完了したいと思います。

同じコードをどのように書くべきですか?

答え1

split -l numberoflines inputfile

大容量ファイルは、xaa、xab、xacなどに分割されます。

最後に、次のように接続できます。cat xa* >> final_output_file

65行ごとにファイルを分割するには、次のコマンドを使用します。

はい

split -l 65 inputfile

関連情報