2つのファイルを最初の列と比較し、シェルスクリプトの2番目のファイルから重複行を削除します。

Question 1

次の目的で使用できますawk。

awk 'FNR==NR{a[$1];next};!($1 in a)' file1 file2 > file3

説明する：

FNR == NR：このテストは、レコード数がファイル内のレコード数と等しい場合に真です。 2番目のファイルNRはfile1 + number of lineと同じであるため、これは最初のファイルにのみ適用されますFNR。
a[$1]:file1 の最初のフィールドの配列要素インデックスを生成します。
next: 次のレコードに移動し、file1 は処理されなくなりました。
!($1 in a)：最初のフィールド（$ 1）が配列、つまりファイル1にあることを確認し、行全体をファイル3に印刷します。

次の例のいずれかに基づいて#awk Wiki。

Answer

次の目的で使用できますawk。

awk 'FNR==NR{a[$1];next};!($1 in a)' file1 file2 > file3

説明する：

FNR == NR：このテストは、レコード数がファイル内のレコード数と等しい場合に真です。 2番目のファイルNRはfile1 + number of lineと同じであるため、これは最初のファイルにのみ適用されますFNR。
a[$1]:file1 の最初のフィールドの配列要素インデックスを生成します。
next: 次のレコードに移動し、file1 は処理されなくなりました。
!($1 in a)：最初のフィールド（$ 1）が配列、つまりファイル1にあることを確認し、行全体をファイル3に印刷します。

次の例のいずれかに基づいて#awk Wiki。

Question 2

export LC_ALL=C
comm -13 <(sort f1) <(sort  f2)

についてのみ報告しますf2。

export LC_ALL=C
join -v2 <(sort f1) <(sort f2)

最初のフィールドが見つからない行は、f2すべての行の最初のフィールドとして報告されますf1。

（プロセス置換をサポートするシェルが必要です（例：ksh93、zshまたはbash）。

Answer

export LC_ALL=C
comm -13 <(sort f1) <(sort  f2)

についてのみ報告しますf2。

export LC_ALL=C
join -v2 <(sort f1) <(sort f2)

最初のフィールドが見つからない行は、f2すべての行の最初のフィールドとして報告されますf1。

（プロセス置換をサポートするシェルが必要です（例：ksh93、zshまたはbash）。

Question 3

楽しみのために、Perlソリューションは次のとおりです。

#!/usr/bin/perl

# create names lookup table from first file
my %names;
while (<>) {
    (my $col1)= split / /, $_;
    $names{$col1} = 1;
    last if eof;
}

# scan second file
while (<>) {
    print if /^(\S+).*/ && not $names{$1};
}

はい

$ ./showdiffs.pl file1  file2
0BDB FC600_R5_TP  FX.B   33554640    6044364  18    6033105  18    6044364   0
0BDC FC600_R5_TP  FX.B   33554640    6613536  20    6481974  19    6613536   0
0BDD FC600_R5_TP  FX.B   33554640    4435848  13    4057170  12    4435848   0
0BDE FC600_R5_TP  FX.B   33554640    6620868  20    6249518  19    6620868   0

詳細

上記のPerlソリューションは2つのループで構成されています。最初のループは、すべての行を読み取り、識別された各列を追加するfile1ハッシュを生成します。%names

$names{11AA} = 1;

次に、while2番目のファイルで2番目のループが実行され、正規表現をfile2使用して各行の列1を識別します。

^(\S+).*

行の先頭から始めて、空白以外のすべての項目を一致させ、一時変数に保存するように指示します$1。かっこで囲んで保存できます。.*行の他のすべてと一致すると言います。

行の次のビットは、ハッシュに保存した列の$11ビットを検索するように指示します%names。

$names{$1}

存在する場合は印刷したくありません。存在しない場合は印刷してください。

Answer

楽しみのために、Perlソリューションは次のとおりです。

#!/usr/bin/perl

# create names lookup table from first file
my %names;
while (<>) {
    (my $col1)= split / /, $_;
    $names{$col1} = 1;
    last if eof;
}

# scan second file
while (<>) {
    print if /^(\S+).*/ && not $names{$1};
}

はい

$ ./showdiffs.pl file1  file2
0BDB FC600_R5_TP  FX.B   33554640    6044364  18    6033105  18    6044364   0
0BDC FC600_R5_TP  FX.B   33554640    6613536  20    6481974  19    6613536   0
0BDD FC600_R5_TP  FX.B   33554640    4435848  13    4057170  12    4435848   0
0BDE FC600_R5_TP  FX.B   33554640    6620868  20    6249518  19    6620868   0

詳細

上記のPerlソリューションは2つのループで構成されています。最初のループは、すべての行を読み取り、識別された各列を追加するfile1ハッシュを生成します。%names

$names{11AA} = 1;

次に、while2番目のファイルで2番目のループが実行され、正規表現をfile2使用して各行の列1を識別します。

^(\S+).*

行の先頭から始めて、空白以外のすべての項目を一致させ、一時変数に保存するように指示します$1。かっこで囲んで保存できます。.*行の他のすべてと一致すると言います。

行の次のビットは、ハッシュに保存した列の$11ビットを検索するように指示します%names。

$names{$1}

存在する場合は印刷したくありません。存在しない場合は印刷してください。

Question 4

私たちはそれを考えてみましょう

ファイル＃1：file1.txt

ファイル＃2：file2.txt

次に、端末で次のコマンドを実行します。

fgrep -vf test1.txt test2.txt > output.txt

output.txt には望ましい結果が含まれます。

説明する：

fgrep : print lines matching a pattern (from manual page)
-v  : get only non-matching rows
-f : obtain PATTERN from FILE (from manual page)

Answer

私たちはそれを考えてみましょう

ファイル＃1：file1.txt

ファイル＃2：file2.txt

次に、端末で次のコマンドを実行します。

fgrep -vf test1.txt test2.txt > output.txt

output.txt には望ましい結果が含まれます。

説明する：

fgrep : print lines matching a pattern (from manual page)
-v  : get only non-matching rows
-f : obtain PATTERN from FILE (from manual page)

2つのファイルを最初の列と比較し、シェルスクリプトの2番目のファイルから重複行を削除します。

希望の出力

答え1

答え2

答え3

はい

詳細

答え4

関連情報