列に基づいて2つのcsvファイルの違いを比較する

列に基づいて2つのcsvファイルの違いを比較する

file1.csvとfile2.csvという2つのファイルがあります。

以下はfile1.csvの内容です。

AL.jar;d8c06ebedd7954681f34ab5c94fdc4fb
AR.jar;9a553dd203d0979aa60004e19cc98c12
BI.jar;8022f6c5f83ba040394ff0b0a0323e8e
BV.jar;f53c4a8c988aa8806b54063ebc682803
CaseUtilities.jar;e5f653d899298f5e5d56f357b6f781c5
CO.jar;b2f7a0ab6e646d6793631e5c97e05096

ファイル2.csv

AL.jar;d8c06ebedd7954681f34ab5c94fdc4fb
AR.jar;4e6e584dd852684ba21ae63990e2a1a6
BV.jar;213d9df82095764702ef4929424a1a0c
CaseUtilities.jar;5b787f1f3d57922bd980ebbfe9a5343e
CO.jar;cfb994078ff4373c7e0f15de19830a3d
Common.jar;a09b520288870aa3888194ce59179dbd

内容に基づいて2つのファイルを比較する必要があります。

最初の列の値のみに基づいてdiffを作成したいので、結果は次のようになります。

AL.jar;d8c06ebedd7954681f34ab5c94fdc4fb                         AL.jar;d8c06ebedd7954681f34ab5c94fdc4fb
AR.jar;9a553dd203d0979aa60004e19cc98c12                         AR.jar;4e6e584dd852684ba21ae63990e2a1a6
BI.jar;8022f6c5f83ba040394ff0b0a0323e8e                         <NULL>
BV.jar;f53c4a8c988aa8806b54063ebc682803                        BV.jar;213d9df82095764702ef4929424a1a0c
CaseUtilities.jar;e5f653d899298f5e5d56f357b6f781c5              CaseUtilities.jar;5b787f1f3d57922bd980ebbfe9a5343e
CO.jar;b2f7a0ab6e646d6793631e5c97e05096                         CO.jar;cfb994078ff4373c7e0f15de19830a3d
<NULL>                                                          Common.jar;a09b520288870aa3888194ce59179dbd

私は次のコマンドを試しました

diff -y file1.csv file2.csv

ただし、以下の出力は予想とは異なります。

AL.jar;d8c06ebedd7954681f34ab5c94fdc4fb                         AL.jar;d8c06ebedd7954681f34ab5c94fdc4fb
AR.jar;9a553dd203d0979aa60004e19cc98c12                       | AR.jar;4e6e584dd852684ba21ae63990e2a1a6
BI.jar;8022f6c5f83ba040394ff0b0a0323e8e                       | BV.jar;213d9df82095764702ef4929424a1a0c
BV.jar;f53c4a8c988aa8806b54063ebc682803                       | CaseUtilities.jar;5b787f1f3d57922bd980ebbfe9a5343e
CaseUtilities.jar;e5f653d899298f5e5d56f357b6f781c5            | CO.jar;cfb994078ff4373c7e0f15de19830a3d
CO.jar;b2f7a0ab6e646d6793631e5c97e05096                       | Common.jar;a09b520288870aa3888194ce59179dbd

私の期待される出力を達成する方法を知りたいです!

答え1

awk -F "\"*;\"*" '{print $1}' file1.csv > file1   # get first column from file1.csv with awk as stream and redirect to file1 var
awk -F "\"*;\"*" '{print $1}' file2.csv > file2   # get first column from file2.csv with awk as stream and redirect to file2 var
diff -y file1 file2   # diff file1 and file2 bash vars

または単一のコマンドと同じです。

diff -y <(awk -F "\"*;\"*" '{print $1}' file1.csv)  <(awk -F "\"*;\"*" '{print $1}' file2.csv)

結果:

AL.jar                              AL.jar
AR.jar                              AR.jar
BI.jar                                <
BV.jar                              BV.jar
CaseUtilities.jar                       CaseUtilities.jar
CO.jar                              CO.jar
                                  | Common.jar

答え2

別の方法は、次のものを使用することですjoincolumnファイルが例に従ってソートされている場合...

join -t\; -e "<NULL>" -a 1 -a 2 -o 1.1 1.2 2.1 2.2 file1 file2 | column -t -s\;

出力

AL.jar             d8c06ebedd7954681f34ab5c94fdc4fb  AL.jar             d8c06ebedd7954681f34ab5c94fdc4fb
AR.jar             9a553dd203d0979aa60004e19cc98c12  AR.jar             4e6e584dd852684ba21ae63990e2a1a6
BI.jar             8022f6c5f83ba040394ff0b0a0323e8e  <NULL>             <NULL>
BV.jar             f53c4a8c988aa8806b54063ebc682803  BV.jar             213d9df82095764702ef4929424a1a0c
CaseUtilities.jar  e5f653d899298f5e5d56f357b6f781c5  CaseUtilities.jar  5b787f1f3d57922bd980ebbfe9a5343e
CO.jar             b2f7a0ab6e646d6793631e5c97e05096  CO.jar             cfb994078ff4373c7e0f15de19830a3d
<NULL>             <NULL>                            Common.jar         a09b520288870aa3888194ce59179dbd

joinデフォルトの動作は最初のフィールドをリンクすることであるため、2つの-t\;ファイルのすべての不一致を含むように区切り文字を設定し、空の-a 1 -a 2フィールドを入力して-e "<NULL>"出力フィールドを指定するだけです-o ......

join出力には同じ区切り文字があるため、column -tパイプを介して同じ区切り文字を使用して印刷形式を指定します。

出力はあまり正確ではありませんが、入力回数は少なく...

答え3

awkではいつでもこれを行うことができます。

$ awk -F';' '{ 
                if(NR==FNR){a[$1]=$0}
                else{b[$1]=$0} 
                ids[$1]++; 
             } 
             END{
                    for(id in ids){
                        printf "%s\t%s\n",a[id],b[id];
                    }
            }' file1.csv file2.csv | column -t
CO.jar;b2f7a0ab6e646d6793631e5c97e05096             CO.jar;cfb994078ff4373c7e0f15de19830a3d
BV.jar;f53c4a8c988aa8806b54063ebc682803             BV.jar;213d9df82095764702ef4929424a1a0c
Common.jar;a09b520288870aa3888194ce59179dbd         
AL.jar;d8c06ebedd7954681f34ab5c94fdc4fb             AL.jar;d8c06ebedd7954681f34ab5c94fdc4fb
AR.jar;9a553dd203d0979aa60004e19cc98c12             AR.jar;4e6e584dd852684ba21ae63990e2a1a6
BI.jar;8022f6c5f83ba040394ff0b0a0323e8e             
CaseUtilities.jar;e5f653d899298f5e5d56f357b6f781c5  CaseUtilities.jar;5b787f1f3d57922bd980ebbfe9a5343e

またはNULLサンプル出力に次を含めます。

$ awk -F';' '{ 
                if(NR==FNR){
                    a[$1]=$0;
                    b[$1]="<NULL>"
                }
                else{
                    b[$1]=$0;
                    a[$1] = a[$1] ? a[$1] : "<NULL>";
                } 
                ids[$1]++; 
             } 
             END{
                    for(id in ids){
                        printf "%s\t%s\n",a[id],b[id];
                    }
            }' file1.csv file2.csv | column -t
CO.jar;b2f7a0ab6e646d6793631e5c97e05096             CO.jar;cfb994078ff4373c7e0f15de19830a3d
BV.jar;f53c4a8c988aa8806b54063ebc682803             BV.jar;213d9df82095764702ef4929424a1a0c
<NULL>                                                Common.jar;a09b520288870aa3888194ce59179dbd
AL.jar;d8c06ebedd7954681f34ab5c94fdc4fb             AL.jar;d8c06ebedd7954681f34ab5c94fdc4fb
AR.jar;9a553dd203d0979aa60004e19cc98c12             AR.jar;4e6e584dd852684ba21ae63990e2a1a6
BI.jar;8022f6c5f83ba040394ff0b0a0323e8e             <NULL>
CaseUtilities.jar;e5f653d899298f5e5d56f357b6f781c5  CaseUtilities.jar;5b787f1f3d57922bd980ebbfe9a5343e

答え4

awk 'FNR==NR{arr[$0]=1;next} !arr[$0]{print}' checkagainst.csv sourcefile.csv > testinationfile.csv

関連情報