☰

テキストファイルをJSONに変換

tag-icon • tag-icon text-processing json
テキストファイルをJSONに変換

カールを使用してTP-Linkルーターからいくつかの統計を取得しています。その情報をテキストファイルに入れました。ただし、この情報を他の場所で利用できるようにするにはJSON形式が必要です。テキストファイルの形式は次のとおりです。

[0,0,0,0,0,0]0
enable=1
interval=10
action=0
[1,0,0,0,0,0]1
ipAddress=3232235848
macAddress=EC:0E:C4:4F:XX:XX
totalPkts=201
totalBytes=22914
currPkts=0
currBytes=0
currIcmp=0
currUdp=0
currSyn=0
currIcmpMax=0
currUdpMax=15
currSynMax=0
[2,0,0,0,0,0]1
ipAddress=3232235829
macAddress=00:16:E8:22:XX:XX
totalPkts=972
totalBytes=98730
currPkts=0
currBytes=0
currIcmp=0
currUdp=0
currSyn=0
currIcmpMax=0
currUdpMax=14
currSynMax=4
[3,0,0,0,0,0]1
ipAddress=3232235842
macAddress=70:14:A6:8B:XX:XX
totalPkts=154566
totalBytes=15116490
currPkts=0
currBytes=0
currIcmp=0
currUdp=0
currSyn=0
currIcmpMax=9
currUdpMax=58
currSynMax=60

次のJSONが必要です。

{"ipAddress" : "3232235848",
"macAddress" : "EC:0E:C4:4F:XX:XX",
"totalPkts" : "201",
"totalBytes" : "22914",
"currPkts" : "0",
"currBytes" : "0",
"currIcmp" : "0",
"currUdp" : "0",
"currSyn" : "0",
"currIcmpMax" : "0",
"currUdpMax" : "15",
"currSynMax" : "0"}
{"ipAddress" : "3232235829", ...

最も効率的な方法を教えてください。可能であればbashスクリプトを好みますか？カールコマンドの最後に "| jq -R -s -c 'split("\n")'" を入れようとしましたが、次のようになります: {"ipAddress=3232235848","macAddress=EC:0E:C4: 4F: XX: XX」...

答え1

sedひびが入る：

sed -E -e 's/\[([0-9],){5}[0-9]\][0-9]+/}{/g; s/([[:alnum:]]+)=([[:alnum:]]+)/"\1" : "\2",/; 
           s/,\n}/}/;  1s/.*/{/; $s/.*/&}/' yourfile | sed -Ez 's/,\n?}/ }\n/g'

出力：

{
"enable" : "1",
"interval" : "10",
"action" : "0" }
{
"ipAddress" : "3232235848",
"macAddress" : "EC",:0E:C4:4F:XX:XX
"totalPkts" : "201",
"totalBytes" : "22914",
"currPkts" : "0",
"currBytes" : "0",
"currIcmp" : "0",
"currUdp" : "0",
"currSyn" : "0",
"currIcmpMax" : "0",
"currUdpMax" : "15",
"currSynMax" : "0" }
{
"ipAddress" : "3232235829",
"macAddress" : "00",:16:E8:22:XX:XX
"totalPkts" : "972",
"totalBytes" : "98730",
"currPkts" : "0",
"currBytes" : "0",
"currIcmp" : "0",
"currUdp" : "0",
"currSyn" : "0",
"currIcmpMax" : "0",
"currUdpMax" : "14",
"currSynMax" : "4" }
{
"ipAddress" : "3232235842",
"macAddress" : "70",:14:A6:8B:XX:XX
"totalPkts" : "154566",
"totalBytes" : "15116490",
"currPkts" : "0",
"currBytes" : "0",
"currIcmp" : "0",
"currUdp" : "0",
"currSyn" : "0",
"currIcmpMax" : "9",
"currUdpMax" : "58",
"currSynMax" : "60" }

答え2

perl -lne 'BEGIN{*1 = sub {print q<{>, join(",\n", splice @A, 0, @A), q<}>}}
   next if $. == 1;
   /^\[(?:\d+,?)+\]\d+$/ and &1,next;
   push @A, join q/ : /, map qq/"$_"/, split /=/;
   eof && &1;
' yourfile

答え3

使用ミラー（mlr）いくつかの簡単な前処理後sed：

sed 's/^\[.*//' file | mlr --irs lflf --ifs lf --ojson cat

これは最初sedに始まる行を消去するために使用されます[。生成された空白行は、Millerのレコード区切り文字として機能します。

その後、Millerはデータをさらに変更せずに入力をJSONに変換します。 Miller がデータを理解できるように、入力レコード区切り文字は二重改行文字で、入力フィールド区切り文字は単一改行文字であることを指定します。

質問のサンプルデータを考慮すると、このコマンドは次の出力を生成します。

[
{
  "enable": 1,
  "interval": 10,
  "action": 0
},
{
  "ipAddress": 3232235848,
  "macAddress": "EC:0E:C4:4F:XX:XX",
  "totalPkts": 201,
  "totalBytes": 22914,
  "currPkts": 0,
  "currBytes": 0,
  "currIcmp": 0,
  "currUdp": 0,
  "currSyn": 0,
  "currIcmpMax": 0,
  "currUdpMax": 15,
  "currSynMax": 0
},
{
  "ipAddress": 3232235829,
  "macAddress": "00:16:E8:22:XX:XX",
  "totalPkts": 972,
  "totalBytes": 98730,
  "currPkts": 0,
  "currBytes": 0,
  "currIcmp": 0,
  "currUdp": 0,
  "currSyn": 0,
  "currIcmpMax": 0,
  "currUdpMax": 14,
  "currSynMax": 4
},
{
  "ipAddress": 3232235842,
  "macAddress": "70:14:A6:8B:XX:XX",
  "totalPkts": 154566,
  "totalBytes": 15116490,
  "currPkts": 0,
  "currBytes": 0,
  "currIcmp": 0,
  "currUdp": 0,
  "currSyn": 0,
  "currIcmpMax": 9,
  "currUdpMax": 58,
  "currSynMax": 60
}
]

結果の配列の最初のオブジェクトを避けるには、最初のレコードの出力を防ぐタスクにcatタスクを変更します。filter

sed 's/^\[.*//' file | mlr --irs lflf --ifs lf --ojson filter 'NR > 1'

まだしますか？いいえ結果JSONオブジェクトを配列にラップし、Millerを使用します--no-jlistwrap。

sed 's/^\[.*//' file | mlr --irs lflf --ifs lf --ojson --no-jlistwrap filter 'NR > 1'

--ojson...または次に変更して、1行あたり1つのオブジェクトJSON出力形式に変更します--ojsonl。

sed 's/^\[.*//' file | mlr --irs lflf --ifs lf --ojsonl filter 'NR > 1'

...結果は

{"ipAddress": 3232235848, "macAddress": "EC:0E:C4:4F:XX:XX", "totalPkts": 201, "totalBytes": 22914, "currPkts": 0, "currBytes": 0, "currIcmp": 0, "currUdp": 0, "currSyn": 0, "currIcmpMax": 0, "currUdpMax": 15, "currSynMax": 0}
{"ipAddress": 3232235829, "macAddress": "00:16:E8:22:XX:XX", "totalPkts": 972, "totalBytes": 98730, "currPkts": 0, "currBytes": 0, "currIcmp": 0, "currUdp": 0, "currSyn": 0, "currIcmpMax": 0, "currUdpMax": 14, "currSynMax": 4}
{"ipAddress": 3232235842, "macAddress": "70:14:A6:8B:XX:XX", "totalPkts": 154566, "totalBytes": 15116490, "currPkts": 0, "currBytes": 0, "currIcmp": 0, "currUdp": 0, "currSyn": 0, "currIcmpMax": 9, "currUdpMax": 58, "currSynMax": 60}

関連情報