コマンドラインからcsvファイルを解析するのに問題があります。

Question 1

複雑なCSVファイル、特にフィールドに引用符区切り文字（この場合はカンマ）を含む可能性があるファイルを処理する場合は、正しいCSVパーサーを使用すると多くの問題を減らすことができます。csvtool

$ echo 'hostname,hostname.domain.com,hostname.domain.com,windows,6.2.9200,1.2.3,location,environment,"[""role1"", ""role2"", ""role3""]","[""recipe1"", ""recipe2"", ""recipe3""]",2019-01-10 06:06:31' | 
    csvtool col 1-9 -
hostname,hostname.domain.com,hostname.domain.com,windows,6.2.9200,1.2.3,location,environment,"[""role1"", ""role2"", ""role3""]"

または (引用符を削除)

$ echo 'hostname,hostname.domain.com,hostname.domain.com,windows,6.2.9200,1.2.3,location,environment,"[""role1"", ""role2"", ""role3""]","[""recipe1"", ""recipe2"", ""recipe3""]",2019-01-10 06:06:31' | 
    csvtool col 1-9 - | tr -d '"'
hostname,hostname.domain.com,hostname.domain.com,windows,6.2.9200,1.2.3,location,environment,[role1, role2, role3]

たとえば、スタンドアロンCSVパーサーを取得できない場合は、csvtoolPerlとPythonの両方のCSVモジュールがあります。

perl -MText::CSV -lpe '
  BEGIN{$p = Text::CSV->new()} 
  $_ = join ",", map { $_ = s/"//gr } ($p->fields())[0..8] if $p->parse($_)
'

Answer

複雑なCSVファイル、特にフィールドに引用符区切り文字（この場合はカンマ）を含む可能性があるファイルを処理する場合は、正しいCSVパーサーを使用すると多くの問題を減らすことができます。csvtool

$ echo 'hostname,hostname.domain.com,hostname.domain.com,windows,6.2.9200,1.2.3,location,environment,"[""role1"", ""role2"", ""role3""]","[""recipe1"", ""recipe2"", ""recipe3""]",2019-01-10 06:06:31' | 
    csvtool col 1-9 -
hostname,hostname.domain.com,hostname.domain.com,windows,6.2.9200,1.2.3,location,environment,"[""role1"", ""role2"", ""role3""]"

または (引用符を削除)

$ echo 'hostname,hostname.domain.com,hostname.domain.com,windows,6.2.9200,1.2.3,location,environment,"[""role1"", ""role2"", ""role3""]","[""recipe1"", ""recipe2"", ""recipe3""]",2019-01-10 06:06:31' | 
    csvtool col 1-9 - | tr -d '"'
hostname,hostname.domain.com,hostname.domain.com,windows,6.2.9200,1.2.3,location,environment,[role1, role2, role3]

たとえば、スタンドアロンCSVパーサーを取得できない場合は、csvtoolPerlとPythonの両方のCSVモジュールがあります。

perl -MText::CSV -lpe '
  BEGIN{$p = Text::CSV->new()} 
  $_ = join ",", map { $_ = s/"//gr } ($p->fields())[0..8] if $p->parse($_)
'

Question 2

デフォルトでは、awkフィールドは空白として定義され、これが表示される出力を取得する理由を説明します。カンマを使用してフィールドを区切るには、以下を使用する必要があります-F。

awk -F, '{...}'

コンマで区切られた出力を印刷するには、変数を設定するawk必要があります。OFS

awk -F, -vOFS=, '{...}'

[role1, role2, role3]ここで本当に難しいのは、これを単一のフィールドとして扱おうとするのに3つのフィールドがあるということです。そこにカンマがあり[role1、role2、で分けられますrole3]。常に3つのフィールドがあることを知っていれば簡単です。

$ awk -F, -vOFS=, '{print $1,$2,$3,$4,$5,$6,$7,$8,$9,$10,$11}' file
hostname,hostname.domain.com,hostname.domain.com,windows,6.2.9200,1.2.3,location,environment,[role1, role2, role3]

しかし、今追加した生データに基づいて正しいCSVパーサー常に良いアプローチですが、awk元の入力データから実行するだけです。

$ awk -F']' -vOFS=, '{gsub(/"/,"");print $1"]"}' file
hostname,hostname.domain.com,hostname.domain.com,windows,6.2.9200,1.2.3,location,environment,[role1, role2, role3]

]秘密は、これをフィールド区切り文字として使用し、awk最初のフィールドのみを印刷するように指定することです。これにより、最初の項目まですべての内容が印刷されます]。その後、もう一度追加します]（フィールドの作成時に削除されたため）。gsubすべての引用符を削除します。

Answer