SedまたはAwk（またはその他）はcsvファイルから複数の列を削除します。

Question 1

CSVデータにはカンマを含むフィールドがあるため、単純なカンマ分割ではなく正しいCSVパーサーを使用する必要があります。また、データにはマルチバイト（utf8？）文字が含まれているため、これを処理できるものを使用する必要があります。

パールとミラー良い選択です。 CSVを印刷またはSQLデータベースにインポートする前にCSVファイルに対して追加の処理が必要な場合（各行が配列$row参照にある場合は何でもできます。あなたの場合はPerlを使用します）Perlスクリプト複数のソースファイルマージしたり、重複したアイテムを削除したり、インチ''の代わりに使用するなど、奇妙な形式のコンテンツを整理することができ、必要に応じていくつかのフィールドを切り取るだけです。"miller

使用ミラー:

$ mlr --csv --hi --ho cut -x -f 1,5,9  input.csv

PerlとPerlの使用テキスト::CSV基準寸法：

$ perl -MText::CSV -CSDA -e '
    my $file=shift;
    my $csv=Text::CSV->new();
    open(my $fh, "<", $file) or die "error opening $file:$!\n";
    while(my $row = $csv->getline($fh)) {
      foreach my $i (8,4,0) {splice @$row, $i, 1};
      $csv->say(STDOUT, $row)
    }' input.csv

splice注：Perl配列は1ではなく0から始まります。要素を削除するときのインデックス番号の再割り当ての問題を回避するために、Perl関数を使用して配列要素を逆順に削除しました。

また、注：これはPerlには含まれておらず、ディストリビューション（Debian、Ubuntu、Mintなどの派生製品など）Text::CSVにパッケージ化するか、apt-get install libtext-csv-perlcpan

Answer

CSVデータにはカンマを含むフィールドがあるため、単純なカンマ分割ではなく正しいCSVパーサーを使用する必要があります。また、データにはマルチバイト（utf8？）文字が含まれているため、これを処理できるものを使用する必要があります。

パールとミラー良い選択です。 CSVを印刷またはSQLデータベースにインポートする前にCSVファイルに対して追加の処理が必要な場合（各行が配列$row参照にある場合は何でもできます。あなたの場合はPerlを使用します）Perlスクリプト複数のソースファイルマージしたり、重複したアイテムを削除したり、インチ''の代わりに使用するなど、奇妙な形式のコンテンツを整理することができ、必要に応じていくつかのフィールドを切り取るだけです。"miller

使用ミラー:

$ mlr --csv --hi --ho cut -x -f 1,5,9  input.csv

PerlとPerlの使用テキスト::CSV基準寸法：

$ perl -MText::CSV -CSDA -e '
    my $file=shift;
    my $csv=Text::CSV->new();
    open(my $fh, "<", $file) or die "error opening $file:$!\n";
    while(my $row = $csv->getline($fh)) {
      foreach my $i (8,4,0) {splice @$row, $i, 1};
      $csv->say(STDOUT, $row)
    }' input.csv

splice注：Perl配列は1ではなく0から始まります。要素を削除するときのインデックス番号の再割り当ての問題を回避するために、Perl関数を使用して配列要素を逆順に削除しました。

また、注：これはPerlには含まれておらず、ディストリビューション（Debian、Ubuntu、Mintなどの派生製品など）Text::CSVにパッケージ化するか、apt-get install libtext-csv-perlcpan

Question 2

あなたはGNU sed（for）を使用しているので、-iGNU awkも持っているとします。 awkを使用するときにsedは必要ないので、すべてのsedコマンドを削除できます。この1 awkスクリプトを実行するだけです。磁気RE質問から）：

awk -v FPAT='([^,]*)|("([^"]|"")*")' -v OFS=',' '
    (NR > 5) && (prev !~ /^"/) {
        gsub(/ +/," ",prev)
        nf = patsplit(prev,p)
        out = sep = ""
        for ( i=1; i<=nf; i++ ) {
            if ( i !~ /^[159]$/ ) {
                out = out sep p[i]
                sep = OFS
            }
        }
        print out
    }
    { prev = $0 }
' file

たとえば、列1、5、17、35を削除したい場合は、またはにi !~ /^[159]$/変更します。i !~ /^([15]|17|35)$/i !~ /^(1|5|17|35)$/

スクリプトでハードコードするのではなく、スキップされたフィールドのリストを渡すことができるようにするには、上記の内容を次のように変更します。

awk -v skip='1,5,9' -v FPAT='([^,]*)|("([^"]|"")*")' -v OFS=',' '
    BEGIN {
        patsplit(skip,tmp)
        for ( i in tmp ) {
            skipFlds[tmp[i]]
        }
    }
    (NR > 5) && (prev !~ /^"/) {
        gsub(/ +/," ",prev)
        nf = patsplit(prev,p)
        out = sep = ""
        for ( i=1; i<=nf; i++ ) {
            if ( !(i in skipFlds) ) {
                out = out sep p[i]
                sep = OFS
            }
        }
        print out
    }
    { prev = $0 }
' file

テストが完了し、結果に満足したら、入力ファイルを更新するようにawk変更します（例：）。awk -i inplacesed -i

上記の場合と処理にはGNU awkがFPAT必要patsplit()です-i inplace。

バラよりawkを使用してcsvを効率的に解析する最も強力な方法は何ですかCSVを解析するためにawkを使用する方法に関する追加情報。

Answer

あなたはGNU sed（for）を使用しているので、-iGNU awkも持っているとします。 awkを使用するときにsedは必要ないので、すべてのsedコマンドを削除できます。この1 awkスクリプトを実行するだけです。磁気RE質問から）：

awk -v FPAT='([^,]*)|("([^"]|"")*")' -v OFS=',' '
    (NR > 5) && (prev !~ /^"/) {
        gsub(/ +/," ",prev)
        nf = patsplit(prev,p)
        out = sep = ""
        for ( i=1; i<=nf; i++ ) {
            if ( i !~ /^[159]$/ ) {
                out = out sep p[i]
                sep = OFS
            }
        }
        print out
    }
    { prev = $0 }
' file

たとえば、列1、5、17、35を削除したい場合は、またはにi !~ /^[159]$/変更します。i !~ /^([15]|17|35)$/i !~ /^(1|5|17|35)$/

スクリプトでハードコードするのではなく、スキップされたフィールドのリストを渡すことができるようにするには、上記の内容を次のように変更します。

awk -v skip='1,5,9' -v FPAT='([^,]*)|("([^"]|"")*")' -v OFS=',' '
    BEGIN {
        patsplit(skip,tmp)
        for ( i in tmp ) {
            skipFlds[tmp[i]]
        }
    }
    (NR > 5) && (prev !~ /^"/) {
        gsub(/ +/," ",prev)
        nf = patsplit(prev,p)
        out = sep = ""
        for ( i=1; i<=nf; i++ ) {
            if ( !(i in skipFlds) ) {
                out = out sep p[i]
                sep = OFS
            }
        }
        print out
    }
    { prev = $0 }
' file

テストが完了し、結果に満足したら、入力ファイルを更新するようにawk変更します（例：）。awk -i inplacesed -i

上記の場合と処理にはGNU awkがFPAT必要patsplit()です-i inplace。

バラよりawkを使用してcsvを効率的に解析する最も強力な方法は何ですかCSVを解析するためにawkを使用する方法に関する追加情報。

Question 3

sed1、5、9列を削除するために使用されます。

$ sed -E 's/^[^,]*,(([^,]*,){3})[^,]*,(([^,]*,){3})[^,]*,/\1\3/' input_file
2608577312,"Metal drill bits HSS-PointTeq",AC,"HSS PointTeQ 17,0 mm (reduced shank)",197,102.78,,102.78,,102.78,,,,

sedすべてのコマンドを1つのコマンドにリンクできます。

$ sed -Ei.bak '1,4d;$d;/^"/d;s/ +/ /g;s/^[^,]*,(([^,]*,){3})[^,]*,(([^,]*,){3})[^,]*,/\1\3/' input_file

Answer

sed1、5、9列を削除するために使用されます。

$ sed -E 's/^[^,]*,(([^,]*,){3})[^,]*,(([^,]*,){3})[^,]*,/\1\3/' input_file
2608577312,"Metal drill bits HSS-PointTeq",AC,"HSS PointTeQ 17,0 mm (reduced shank)",197,102.78,,102.78,,102.78,,,,

sedすべてのコマンドを1つのコマンドにリンクできます。

$ sed -Ei.bak '1,4d;$d;/^"/d;s/ +/ /g;s/^[^,]*,(([^,]*,){3})[^,]*,(([^,]*,){3})[^,]*,/\1\3/' input_file

Question 4

選択した列だけが必要なので、awk別の良いオプションかもしれません。必要な列のみを選択する方法は次のとおりです。

データ：

os_user:~$ cat csv_file.csv 
Tom,Jerry,23,US
luca,brasi,55,UK

フィールド区切り記号と印刷機能を使用して、必要な列を選択します。

os_user:~$ awk -F"," '{print $1","$3}' csv_file.csv 
Tom,23
luca,55

インデックスはawk1から始まります。上記のデモでは、列1と3が印刷されました。また、条件付き行の削除、データ処理などのために、より複雑なプログラミングを実行できます。

詳細については、次を参照してください。 AWKリファレンス

編集者注：質問に言及されていませんが、いくつかの列にカンマがあることを知りませんでした。コメントありがとうございました Ed Morton に感謝します。正しく処理する必要がありますが、上記の解決策はこれを考慮しません。

Answer