2つの列のみを使用して2つのファイルを比較し、違いをソートせずに印刷する方法は？

Question 1

そしてawk：

$ awk -v FS="\t" -v OFS="\t" 'NR==FNR {trans[$2"|"$3]++; next;} FNR==1 {print} FNR>1 {if(!trans[$2"|"$3]) print}' file2 file1

まずfile2、2列と3列の値を読み、使用してリストのキーとして保存します。
読み込んだ場合は、file1ヘッダー行を印刷します。次の行では、前に作成したリストに2列と3列の値を持つキーが存在することを確認します。そうでない場合は、その行を印刷します。

Answer

そしてawk：

$ awk -v FS="\t" -v OFS="\t" 'NR==FNR {trans[$2"|"$3]++; next;} FNR==1 {print} FNR>1 {if(!trans[$2"|"$3]) print}' file2 file1

まずfile2、2列と3列の値を読み、使用してリストのキーとして保存します。
読み込んだ場合は、file1ヘッダー行を印刷します。次の行では、前に作成したリストに2列と3列の値を持つキーが存在することを確認します。そうでない場合は、その行を印刷します。

Question 2

ファイルの比較方法は明確に説明/定義されていません。

しかし、だからといって私があなたの心を読もうとするのを止めることはできません。

私が知る限り、ファイル2はある種のデータベースファイルまたは参照です。ファイル1には新しいデータが含まれていることがわかりました。

私が理解している「比較」：ファイル1の列2または3の値がすでにファイル2（つまり参照）にある場合は、それを印刷/含めないでください。それ以外の場合は印刷/含めてください。

良いニュースは、要求どおりに並べ替えが必要ないということです。

以下は、2つのパラメータを使用するスクリプトです。最初のパラメータは新しいデータファイル（例ではファイル1）です。 2番目はデータベースファイルです（例ではファイル2）。

#!/bin/bash

new_file=$1
db_file=$2

# Just checking the last parameter
if [ "x" = "x$db_file" ]; then
    echo >&2 "[ERROR] This scripts expect 2 file path as parameter."
    exit 1
fi

if [ ! -f $new_file ]; then
    echo >&2 "[ERROR] First parameter file doesn't exist."
    exit 2
fi

if [ ! -f $db_file ]; then
    echo >&2 "[ERROR] First parameter file doesn't exist."
    exit 3
fi


declare -A data_base

# Open both files and assign to file descriptor 10 and 11
exec 10< $new_file
exec 11< $db_file

# Step 1
# Building map of base data first (for the comparison to happen in next step)
first_line=1
while [ /bin/true ]; 
do
    read -u 11 db_file_col1 db_file_col2 db_file_col3 db_file_rest  || {
        break;
    }

    # Skipping the header so that it will appear in the diff as shown in the example
    if [  $first_line -ne 0 ]; then
        first_line=0
        continue
    fi


    # Creating map from Col 2 and Col 3 (keys) to the whole line (value)
    data_base[$db_file_col2]="$db_file_col1 $db_file_col2 $db_file_col3 $db_file_rest"
    data_base[$db_file_col3]="$db_file_col1 $db_file_col2 $db_file_col3 $db_file_rest"
done


# Step 2
# Actual comparison ... 
while [ /bin/true ]; 
do
    read -u 10 new_file_col1 new_file_col2 new_file_col3 new_file_rest  || {
        break;
    }

    if [ -z "${data_base[$new_file_col2]}" ] && [ -z "${data_base[$new_file_col3]}" ]; then
        echo "$new_file_col1 $new_file_col2 $new_file_col3 $new_file_rest"
    fi

done

たとえば、スクリプトを process.sh というファイルに保存し、「chmod 755 process.sh」を使用して実行可能にする場合は、次のようにします。

./process.sh file1 file2

正確な予想出力/結果につながります。

注：このスクリプトは、ファイル2の内容の2倍以上をメモリに保存します。十分なメモリがあることを確認してください。

Answer