特定のパターンで3つのファイルの特定の行をマージします。

Question 1

これにより、awk以下を実行できます。

awk '/^ko[^:]/{fn=$1;next};/./{id=fn$1;if (!(seen[id]++)){print > fn}}' file[123]

各ヘッダー行では識別子ko*****をとして保存し、サブヘッダー行では^1を配列のインデックスとしてfn保存し、最初に表示される場合はその行を書き込みます。fn$1idseenidfn

^{1: また使用できますfn$0}

Answer

これにより、awk以下を実行できます。

awk '/^ko[^:]/{fn=$1;next};/./{id=fn$1;if (!(seen[id]++)){print > fn}}' file[123]

各ヘッダー行では識別子ko*****をとして保存し、サブヘッダー行では^1を配列のインデックスとしてfn保存し、最初に表示される場合はその行を書き込みます。fn$1idseenidfn

^{1: また使用できますfn$0}

Question 2

いくつかの魔法のスーパーマッシュアップコマンドがあるかもしれませんが、時には「線形」が理解し維持するのが最も簡単です。

したがって、ヘッダー行に基づいてファイル名を追跡してデータを追加するだけです。その後、sort -u結果を渡して一意の行を取得できます。

#!/bin/bash

# Clean out old results from previous runs
/bin/rm -f ko*

for file in $@
do
  filename=UNKNOWN
  echo Processing $file
  while read -r line
  do
    case $line in
      ko:*) printf "%s\n" "$line" >> $filename ;;
       ko*) filename=${line%% *} ; echo Switching to $filename ;;
        "") # Do nothing
            ;;
         *) echo Ignoring unknown line: $line
    esac
  done < $file
done

for file in ko*
do
  echo Making unique: $file
  sort -u -o $file $file
done

3つのソースファイルを使用して実行できます。

$ ./pattern_split file1 file2 file3
Processing file1
Switching to ko00980
Switching to ko00982
Switching to ko00983
Processing file2
Switching to ko00980
Switching to ko00982
Switching to ko00983
Processing file3
Switching to ko00980
Switching to ko00982
Switching to ko00983
Making unique: ko00980
Making unique: ko00982
Making unique: ko00983

3つの一意のファイルが作成されていることがわかります。最初を見てください：

$ cat ko00980
ko:K00001 E1.1.1.1; alcohol dehydrogenase [EC:1.1.1.1]
ko:K00079 CBR1; carbonyl reductase 1 [EC:1.1.1.184 1.1.1.189 1.1.1.197]
ko:K00121 frmA; S-(hydroxymethyl)glutathione dehydrogenase / alcohol dehydrogenase [EC:1.1.1.284 1.1.1.1]
ko:K00699 UGT; glucuronosyltransferase [EC:2.4.1.17]
ko:K00799 GST; glutathione S-transferase [EC:2.5.1.18]
ko:K07408 CYP1A1; cytochrome P450, family 1, subfamily A, polypeptide 1 [EC:1.14.14.1]
ko:K07409 CYP1A2; cytochrome P450, family 1, subfamily A, polypeptide 2 [EC:1.14.14.1]

これで解決策は次のとおりです。固まったデータファイルの悪意のあるデータをターゲットにした場合（ファイルが存在する場合はどうなりますかko123/456？破損する可能性がありますが、これは問題を解決する方法の概要です）。

Answer

いくつかの魔法のスーパーマッシュアップコマンドがあるかもしれませんが、時には「線形」が理解し維持するのが最も簡単です。

したがって、ヘッダー行に基づいてファイル名を追跡してデータを追加するだけです。その後、sort -u結果を渡して一意の行を取得できます。

#!/bin/bash

# Clean out old results from previous runs
/bin/rm -f ko*

for file in $@
do
  filename=UNKNOWN
  echo Processing $file
  while read -r line
  do
    case $line in
      ko:*) printf "%s\n" "$line" >> $filename ;;
       ko*) filename=${line%% *} ; echo Switching to $filename ;;
        "") # Do nothing
            ;;
         *) echo Ignoring unknown line: $line
    esac
  done < $file
done

for file in ko*
do
  echo Making unique: $file
  sort -u -o $file $file
done

3つのソースファイルを使用して実行できます。

$ ./pattern_split file1 file2 file3
Processing file1
Switching to ko00980
Switching to ko00982
Switching to ko00983
Processing file2
Switching to ko00980
Switching to ko00982
Switching to ko00983
Processing file3
Switching to ko00980
Switching to ko00982
Switching to ko00983
Making unique: ko00980
Making unique: ko00982
Making unique: ko00983

3つの一意のファイルが作成されていることがわかります。最初を見てください：

$ cat ko00980
ko:K00001 E1.1.1.1; alcohol dehydrogenase [EC:1.1.1.1]
ko:K00079 CBR1; carbonyl reductase 1 [EC:1.1.1.184 1.1.1.189 1.1.1.197]
ko:K00121 frmA; S-(hydroxymethyl)glutathione dehydrogenase / alcohol dehydrogenase [EC:1.1.1.284 1.1.1.1]
ko:K00699 UGT; glucuronosyltransferase [EC:2.4.1.17]
ko:K00799 GST; glutathione S-transferase [EC:2.5.1.18]
ko:K07408 CYP1A1; cytochrome P450, family 1, subfamily A, polypeptide 1 [EC:1.14.14.1]
ko:K07409 CYP1A2; cytochrome P450, family 1, subfamily A, polypeptide 2 [EC:1.14.14.1]

これで解決策は次のとおりです。固まったデータファイルの悪意のあるデータをターゲットにした場合（ファイルが存在する場合はどうなりますかko123/456？破損する可能性がありますが、これは問題を解決する方法の概要です）。

Question 3

それでは、ファイルの行をヘッダーに基づいて別々のファイルに移動しますか？

私はこのようなことがトリックを実行すると思います。

#!/usr/bin/env perl
use strict;
use warnings 'all'; 

#hash of output filehandles. 
my %output_files; 

#detect dupes
my %seen; 

my $ko_num = 'NULL'; 

#<> is the 'magic' filehandle. You can either use it to iterate STDIN
#or take a list of file names on the command line (just like sed/grep etc.)
while ( my $line = <> ) { 
   #see if the line starts with 'ko':
   if ( $line =~ m/(^ko\d+)/) {  
       $ko_num = $1;
       #open a new file - for overwriting (so we only do this once)
       open ( $output_files{$ko_num}, '>', $ko_num ) or die $! unless $output_files{$ko_num}; 
       #skip printing - could write a header here instead. 
       next;
   }
   #look for a 'K' number. 
   if ( my ($K_id) = $line =~ m/ko:(K\d+)/ ) {
       #skip it if we've already seen this combination of 'ko' number 
       #and k number.    
       next if $seen{$ko_num}{$K_id}++; 
       #print the output to this particular output file. 
       print {$output_files{$ko_num}} $line; 
   }
}
#close the filehandles. 
close ( $_ ) for values %output_files;

したがって、この方法で "myscript.pl file1.txt file2.txt file3.txt" を実行でき、拡張可能な方法で正しい操作を実行する必要があります。別々のファイルなのか単一ストリームなのかは関係ありません。

Answer

それでは、ファイルの行をヘッダーに基づいて別々のファイルに移動しますか？

私はこのようなことがトリックを実行すると思います。

#!/usr/bin/env perl
use strict;
use warnings 'all'; 

#hash of output filehandles. 
my %output_files; 

#detect dupes
my %seen; 

my $ko_num = 'NULL'; 

#<> is the 'magic' filehandle. You can either use it to iterate STDIN
#or take a list of file names on the command line (just like sed/grep etc.)
while ( my $line = <> ) { 
   #see if the line starts with 'ko':
   if ( $line =~ m/(^ko\d+)/) {  
       $ko_num = $1;
       #open a new file - for overwriting (so we only do this once)
       open ( $output_files{$ko_num}, '>', $ko_num ) or die $! unless $output_files{$ko_num}; 
       #skip printing - could write a header here instead. 
       next;
   }
   #look for a 'K' number. 
   if ( my ($K_id) = $line =~ m/ko:(K\d+)/ ) {
       #skip it if we've already seen this combination of 'ko' number 
       #and k number.    
       next if $seen{$ko_num}{$K_id}++; 
       #print the output to this particular output file. 
       print {$output_files{$ko_num}} $line; 
   }
}
#close the filehandles. 
close ( $_ ) for values %output_files;

したがって、この方法で "myscript.pl file1.txt file2.txt file3.txt" を実行でき、拡張可能な方法で正しい操作を実行する必要があります。別々のファイルなのか単一ストリームなのかは関係ありません。

特定のパターンで3つのファイルの特定の行をマージします。

答え1

答え2

答え3

関連情報