☰

複数ファイルのブロックのマージ

tag-icon • tag-icon shell-script files
複数ファイルのブロックのマージ

複数の大容量ファイルからチャンクをマージする必要があります。各行にはファイル名とバイトオフセットが含まれます。

# file  begin   end 
foo/a   11970   12010
foo/a   22995   23035
foo/b   45090   45130
foo/b   46035   46075
foo/b   48150   48190
foo/c   16200   16240
foo/c   17550   17590
foo/c   18540   18580
foo/c   26730   26770
foo/c   34245   34285

tail -cとを使用して抽出を実行できますが、head -cこれにより同じファイルが複数回再開されるため、プロセスが遅くなります。私が思いついたユニークな解決策は、各ブロックの先頭を見つけて最後まで印刷し、各ファイルを一度だけ開くプログラムを書くことです。

コメントありますか？

答え1

Perlはこのように動作するはずです。適切な場合は、ファイル名を変更してください。

#!/usr/bin/env perl

use strict;
use warnings;
use IO::Handle;

open(my $list_fh, '<', 'somefile') or die "Failed to open list file: $!";
open(my $out_fh, '>', 'outfile') or die "Failed to open out file: $!";
my $merge_fh = IO::Handle->new();
my $cur_fname = q{};
my $buff;

while ( my $line = <$list_fh> ) {
    next if $line =~ /^\s?#/;
    chomp($line);
    my ($fname, $begin, $end) = split(/\s+/, $line);
    if ( $cur_fname ne $fname ) {
        $merge_fh->close() if $merge_fh->opened();
        open($merge_fh, '<', $fname) or die "Failed to open file: $!";
        $cur_fname = $fname;
    }

    seek($merge_fh, $begin, 0);
    read($merge_fh, $buff, $end - $begin);
    print {$out_fh} $buff or die "Failed to write to $cur_fname: $!";
}

$merge_fh->close();
$out_fh->close();
$list_fh->close();

答え2

そしてzsh：

zmodload zsh/mapfile
while read -r f b e; do
  [ -f $f ] && printf %s ${${mapfile[$f]}[b+1,e+1]}
done < list.txt > merged

しかし、あまりにも情熱的ではありません。$mapfile使用しますmmapが、メモリ内のファイル全体を読み込みます。 （info zsh 'The zsh/mapfile Module'詳細より）。

そしてksh93：

PATH=/opt/ast/bin:$PATH export PATH
while read -r f b e; do
  [[ -f $f ]] && head -c "$((e-b+1))" < "$f" <#(($b))
done < list.txt > merged

ksh93 組み込みコマンドになるように PATH を設定しますhead(ディレクトリがなくても/opt/ast/bin)。<#((n))ksh93のフロントエンドですlseek。

PATH=/opt/ast/bin:$PATH export PATH
while read -r f b e; do
  [[ -f $f ]] && head -c "$((e-b+1))" -s "$b" < "$f"
done < list.txt > merged

ksh93オプションでデータをheadスキップします-s（lseek通常のファイルで内部的に使用されます）。ksh93組み込み関数を使用して構築した場合は機能しますhead。

関連情報