24時間ごとに1つずつstdoutに動的に生成される大容量ファイルがあります。これらのファイルをテープに徐々に保存したいと思います。可能であれば、複数のテープにまたがる可能性のある単一のアーカイブに保存したいと思います。 Tarはアーカイブに追加し、次のテープをロードする機能を内蔵しているため、テープ管理に適しています。しかし、標準入力からデータを受け入れるのは非常に悪いです。私が何をしても、最終的にアーカイブの内容の代わりに特別なファイル（リンクまたは名前付きパイプ）がアーカイブに書き込まれます。 以下は私が試したサンプルコマンドです。最初の日には新しいア...
次の内容を含むファイルがあります。 # new file text in file 1 # new file text in file 2 # new file text in file 3 ここでのパターンはです# new file。 各ファイルをxx00、xx01、xx02に保存する代わりに、特定のファイル、、、にanother file保存file newしましたlast one。 この3つのファイルが現在のディレクトリに存在するので、それを配列として提供して上書きしたいと思います。 csplit -z infile '/# new file/' "...
私の限界が何であるかを知りたいです。文字システムazがあり、2番目の文字を1ずつ増やします（xay - > xaz - >（見たことはありませんが仮定）xba - > xbb） ...
100GBのファイルがあり、それを複数の部分に分割し、各部分を固定されたマーカーに分割しようとしているとします。マーカーは約20文字の固定文字列なので、一致させる正規表現は/ MARKER /です。 複雑度の低い正規表現を考慮して以下を実行すると、 csplit file /MARKER/ 私はcsplitがメモリスペースを低く保つためにファイルの小さな塊だけを読みたいと思います。本当にこうなりますか？それとも、ファイル全体をメモリに読み込み、メモリの内容全体を処理しますか？ ...
""区切り文字付きのテキストファイルでリンクされた非常に小さなファイルで構成される非常に大きなアーカイブがあります。小さなアーカイブの場合は、パターンをsplit 「」を使用してアーカイブし、結果ファイルを処理します。ただし、このアーカイブには約1億のファイルがあります。 1つのディレクトリにすべて入れるには多すぎるようです。作成したディレクトリにフォルダなどを移動するためのフォルダなどを作成しましたaa。abしかし、問題が発生しました。私が試したこと： split結果ファイルに対してコマンドを実行するコマンドはありません。だから手でしなければなりませんで...
Linuxでファイルを読み取ろうとしているときに「＆」文字が表示されたら、出力を別のファイルに書き込んでそのファイルを別のフォルダに送信し、次に「＆」が表示されるまで元のファイルを読み続けます。 XMLファイルの入力 - <Document> <tag1> <tag2> </Document> & <Document> <tag3> <tag4> </Document> & <Document> <tag5> <tag...
私の場合、大きなファイルはmyBigFile.tar.gz52GBのtar.gzで、2GBサイズのチャンクに分割し、27個の部分ファイルを持つようになりました。 私が最初から書いたコードは次のとおりです。 from time import sleep from glob import glob import filecmp import os CHUNK_SIZE = 2097152000 # bytes # CHUNK_SIZE = 1000000 # bytes # CHUNK_SIZE = 2 # bytes ORIGINAL_FILE_DI...
スキップ可能ないくつかの背景 約20年前、Web検索の費用がかかった時、Windows専用ユーザーだった時、CD/DVDが大容量記憶手段であり、友人や親戚とビデオファイルを共有するときにファイルを複数にコピーするには分割が必要な時もありました。 CD / DVDを別のコンピュータにコピーし、クリップを再結合するために使用しました。HJスプリット。魅力のように動作します。 やる気 scp20年が過ぎた今、私は最近Linuxでこれらのユーティリティが必要であることに気づきました。接続が遅いか信頼できないため、物理的に離れているLinuxシステム間でデータを簡単に...
次の例の内容を含むテキストファイルがあります。このファイルを複数のファイルに分割したいと思います。 [TXT] /path/to/[TXT] [BAT] /path/to/[BAT] [TXT] /path/to/blah/[TXT] [BAT] /path/to/blah/[BAT] csplitだから私は私が達成したいものを少なくとも部分的に達成するために使用できることを発見しました。 csplit -f 'paths-' -b '%04d.txt' 'path/to/filelist.txt' '/^\[(.*)]\t/' '{*}'...
Ubuntu 22.04では、この2つの方法でarchive_tgz sha256が異なることがわかりました。 tar czf /a/archive_tgz . tar czf /dev/stdout . | split -d -b 200M - /a/archive. && cat /a/archive.* > /a/archive_tgz これは正常ですか、それともファイルのブロックサイズに関連していますか？違いは何ですか？ ...
Ubuntuはzip形式でファイルをバックアップしましたが、サイズは6.5 GBです。 USBスティックに転送しようとすると、コピー時に「ファイルサイズが大きすぎます」というエラーが発生するため、分割する必要があります。 （理想的には、USBがmac/ubuntu/windows間で移動したいと思います。） コマンドを使用してsplitそれぞれ1GBのチャンクを作成し、正常にスティックにコピーしました。 結合したファイルを再利用しようとすると、cat x* >> backup.zip「ファイルサイズが大きすぎます」というエラーが表示されます。 ど...
できるだけ早くAWS S3にアップロードする必要がある4つの大容量バイナリファイル（それぞれ400 GB以上）を作成するプログラムがあります。 ファイルが完全に作成される前にアップロードを開始したいと思います。いくつかのアプローチを試しており、効果があると思われる方法の1つはを使用することですsplit。しかし、私の実装には改善の余地がたくさん残っているので、誰でも知りたいです。より適切な技術があります。 tail -f出力ファイルをパイピングすると、splitファイルを正常に分割できますが、tailファイルが完了したらプロセスを終了する必要があるため、最適...
私は特定のサイズのファイルが与えられた場合、すべてのバイトがディスク上で連続しているわけではないと思います。 （またはそうでしょうか？「ディスクデフラグ」というフレーズが存在するため、そうではないと思いません）。しかし、少なくともアプリケーションの観点からはそうです。つまり、head -c [-]n+を使用してtail -c [-]nファイルの一部を抽出し、連続したバイトシーケンスとして処理できます。 ファイルの長さが10バイトで、すべて同じバイトを含むとします。 $ cat someFile AAAAAAAAAA someFile.part1このように2...
Macで最新のcoreutilを入手するには？ 以下を使用してこの問題が発生しましたcsplit。 foo.txt: foo 1 foo 2 foo 3 $: csplit foo '^foo$' '{*}' # error Macではmanpage、がFreeBSDバージョンであり、このオプションを提供していないことをman csplitもう一度確認してください。実際、正確な分割数を事前に教えてください。その後、再実装するか、Macにログインできます。csplit'{*}'czplitGNU coreutils どのような方法がありますか？ ...
次のような非常に大きなファイルがあります。 >name1 ACGTACGTACGT ACGTACGTACGT ACGTACGTACGT ACGTACGTACGT >name2 ACGTACGTACGT ACGTACGTACGT ACGTACGTACGT >name ACGTACGTACGT ACGTACGTACGT ACGTACGTACGT ACGTACGTACGT ACGTACGTACGT ACGTACGTACGT ACGTACGTACGT ACGTACGTACGT >name4 ACGTACGTACGT ACGTACGTACGT ...