別のファイルの列をクロスチェックし、欠落している値を印刷する方法は？

システムがサポートしている場合プロセスの交換、フラグ（一致しない行を表示）、フラグ（ファイルからパターンを読み取る）grepと組み合わせて使用​​できます。ここで、「file」はファイルの最初のフィールドのみを印刷するコマンドです。たとえば、-v-f

$ grep -vf <(awk '{print $1}' file2) file1
variant_id  gene_id tss_distance    ma_samples  ma_count    maf pval_nominal    slope   slope_se    pval_nominal_threshold  min_pval_nominal    pval_beta
"chr1_666028_G_A_b38"   ENSG00000227232.5   636475  111 115 0.0950413   2.78462e-08 0.411513    0.0729864   0.0006160191.01823e-08  1.17701e-0

これがオプションでない場合は、最初のフィールドをファイルとして印刷し、次のものを使用できます。

$ awk '{print $1}' file2 > file2.names
$ grep -vf file2.names file1
variant_id  gene_id tss_distance    ma_samples  ma_count    maf pval_nominal    slope   slope_se    pval_nominal_threshold  min_pval_nominal    pval_beta
"chr1_666028_G_A_b38"   ENSG00000227232.5   636475  111 115 0.0950413   2.78462e-08 0.411513    0.0729864   0.0006160191.01823e-08  1.17701e-0

あるいは、すべてのバリアントIDをfile2に格納するのに十分なRAMがあると仮定すると（非常に古いハードウェアを使用しない限り、これを行う必要があります）、それを使用してファイルのawk最初のフィールドをすべて別のファイルに保存できます。

$ awk 'NR == FNR{a[$1]++;next}; !($1 in a)' file2 file1
variant_id  gene_id tss_distance    ma_samples  ma_count    maf pval_nominal    slope   slope_se    pval_nominal_threshold  min_pval_nominal    pval_beta
"chr1_666028_G_A_b38"   ENSG00000227232.5   636475  111 115 0.0950413   2.78462e-08 0.411513    0.0729864   0.0006160191.01823e-08  1.17701e-0

まず、両方のファイルを並べ替えます（もちろんヘッダーは除く）。次に、またはawkを使用してcut最初の列（ヘッダーを除く）を選択し、手続き型置換を使用して次にない列を選択しますcomm。file1file2

comm -23 <(awk 'NR>1 {print $1;}' file1) <(awk 'NR >1 {print $1;}' file2)

プロセス置換[1]のコマンドをスクリプトにリファクタリングすることで、少し簡単にすることができますcol1-nh（例：「最初の列、タイトルなし」）。

#! /bin/bash

file=$1

awk 'NR>1 {print $1;}' $file

コマンドは次のとおりです。

comm -23 <(col1-nh file1) <(col1-nh file2)

繰り返しますが、これはファイルの本文が次のように見なされます。ソート済み。しかしこれはあり、O(N logN)両方ですcol1-nh。commここでO(N)N は行数なので、言及したサイズのファイルを問題なく処理できる必要があります。提案された各ソリューションにかかる時間を確実に測定する必要があります。

[1] @terdonが呼び出しNR>1でそれを使用することを提案しましたが、もはや必要ではなく、コマンド自体が十分に単純であると思うかもしれません。awksed