JSON文字列からデータを抽出する

Question 1

これは新しく改良された答えです。以前の答えは、最後の区切り記号の後ろにあります。

データの問題は、.frame.frames.lps.lp.characters一意でないキー（characater）を持つオブジェクトが含まれていることです。すでに存在するキーに値を割り当てるたびに、以前の値は失われます。

jqユーティリティの「ストリーム」入力（）を使用してこの問題を解決できます--stream。

$ jq -r -n --stream 'fromstream(1|truncate_stream(5|truncate_stream(inputs)|select(.[0][0] == "characater"))) | [.code_ascii, .confidence] | @tsv' test.json
1       97
5       89
4       97
5       97
1       77
B       97
B       94
L       34

入力ストリームは最初に深さ5（パスの長さ.frame.frames.lps.lp.characters）で切り取られ、次に問題のキーで始まるすべてのサブパスを抽出しますcharacater。これが内部truncate_stream()と外部がselect()することです。その後、各サブパスの最上位レベルが切り捨てられ、残りはオブジェクトストリームに再構成されます。それがtruncate_stream()外部がそれを包む呼び出しにすることですfromstream()。

処理中に修正された文書は次のとおりです（質問の例を提供）。

{"poly":{"p":{"x":"1094","y":"667"}},"bkcolor":"16777215","color":"0","code":"49","code_ascii":"1","confidence":"97"}
{"poly":{"p":{"x":"1102","y":"667"}},"bkcolor":"16777215","color":"0","code":"53","code_ascii":"5","confidence":"89"}
{"poly":{"p":{"x":"1112","y":"666"}},"bkcolor":"16777215","color":"0","code":"52","code_ascii":"4","confidence":"97"}
{"poly":{"p":{"x":"1123","y":"665"}},"bkcolor":"16777215","color":"0","code":"53","code_ascii":"5","confidence":"97"}
{"poly":{"p":{"x":"1133","y":"664"}},"bkcolor":"16777215","color":"0","code":"49","code_ascii":"1","confidence":"77"}
{"poly":{"p":{"x":"1153","y":"663"}},"bkcolor":"16777215","color":"0","code":"66","code_ascii":"B","confidence":"97"}
{"poly":{"p":{"x":"1163","y":"663"}},"bkcolor":"16777215","color":"0","code":"66","code_ascii":"B","confidence":"94"}
{"poly":{"p":{"x":"1190","y":"661"}},"bkcolor":"16777215","color":"0","code":"76","code_ascii":"L","confidence":"34"}

の各オブジェクトについて、fromstreamデータは出力形式の配列に抽出され、@tsv上記のタブで区切られた出力を提供します。

2018年の古い回答：

あなたの配列は適切なJSON配列ではないのでcharacters（各キーに対して同じ名前を持つハッシュである）、最後の値のみを使用できます。

データを前処理して、nowというオブジェクトごとに一意のキーを生成することで、この問題を解決できますcharacater。

awk '/"characater"/ { sub("\"characater\"", "\"char" ++n "\"", $0) } 1' file.json

これはそれぞれ等characaterに置き換えられます。char1char2

たとえば、次のようにその中のすべての値にアクセスできます。

jq -r '.frames.frame.lps.lp|.characters[]|[.code_ascii,.confidence]|@tsv'

フルパイプライン：

awk '/"characater"/ { sub("\"characater\"", "\"char" ++n "\"", $0) } 1' file.json |
jq -r '.frames.frame.lps.lp|.characters[]|[.code_ascii,.confidence]|@tsv'

結果（質問のデータ提供）：

JSONドキュメントの生成を制御する場合は、オブジェクトをcharacters適切な配列に変換することを検討する必要があります。

Answer

これは新しく改良された答えです。以前の答えは、最後の区切り記号の後ろにあります。

データの問題は、.frame.frames.lps.lp.characters一意でないキー（characater）を持つオブジェクトが含まれていることです。すでに存在するキーに値を割り当てるたびに、以前の値は失われます。

jqユーティリティの「ストリーム」入力（）を使用してこの問題を解決できます--stream。

$ jq -r -n --stream 'fromstream(1|truncate_stream(5|truncate_stream(inputs)|select(.[0][0] == "characater"))) | [.code_ascii, .confidence] | @tsv' test.json
1       97
5       89
4       97
5       97
1       77
B       97
B       94
L       34

入力ストリームは最初に深さ5（パスの長さ.frame.frames.lps.lp.characters）で切り取られ、次に問題のキーで始まるすべてのサブパスを抽出しますcharacater。これが内部truncate_stream()と外部がselect()することです。その後、各サブパスの最上位レベルが切り捨てられ、残りはオブジェクトストリームに再構成されます。それがtruncate_stream()外部がそれを包む呼び出しにすることですfromstream()。

処理中に修正された文書は次のとおりです（質問の例を提供）。

{"poly":{"p":{"x":"1094","y":"667"}},"bkcolor":"16777215","color":"0","code":"49","code_ascii":"1","confidence":"97"}
{"poly":{"p":{"x":"1102","y":"667"}},"bkcolor":"16777215","color":"0","code":"53","code_ascii":"5","confidence":"89"}
{"poly":{"p":{"x":"1112","y":"666"}},"bkcolor":"16777215","color":"0","code":"52","code_ascii":"4","confidence":"97"}
{"poly":{"p":{"x":"1123","y":"665"}},"bkcolor":"16777215","color":"0","code":"53","code_ascii":"5","confidence":"97"}
{"poly":{"p":{"x":"1133","y":"664"}},"bkcolor":"16777215","color":"0","code":"49","code_ascii":"1","confidence":"77"}
{"poly":{"p":{"x":"1153","y":"663"}},"bkcolor":"16777215","color":"0","code":"66","code_ascii":"B","confidence":"97"}
{"poly":{"p":{"x":"1163","y":"663"}},"bkcolor":"16777215","color":"0","code":"66","code_ascii":"B","confidence":"94"}
{"poly":{"p":{"x":"1190","y":"661"}},"bkcolor":"16777215","color":"0","code":"76","code_ascii":"L","confidence":"34"}

の各オブジェクトについて、fromstreamデータは出力形式の配列に抽出され、@tsv上記のタブで区切られた出力を提供します。

2018年の古い回答：

あなたの配列は適切なJSON配列ではないのでcharacters（各キーに対して同じ名前を持つハッシュである）、最後の値のみを使用できます。

データを前処理して、nowというオブジェクトごとに一意のキーを生成することで、この問題を解決できますcharacater。

awk '/"characater"/ { sub("\"characater\"", "\"char" ++n "\"", $0) } 1' file.json

これはそれぞれ等characaterに置き換えられます。char1char2

たとえば、次のようにその中のすべての値にアクセスできます。

jq -r '.frames.frame.lps.lp|.characters[]|[.code_ascii,.confidence]|@tsv'

フルパイプライン：

awk '/"characater"/ { sub("\"characater\"", "\"char" ++n "\"", $0) } 1' file.json |
jq -r '.frames.frame.lps.lp|.characters[]|[.code_ascii,.confidence]|@tsv'

結果（質問のデータ提供）：

JSONドキュメントの生成を制御する場合は、オブジェクトをcharacters適切な配列に変換することを検討する必要があります。

Question 2

sed入力が有効なJSONでない場合は、awkタイプソリューションを使用する必要がありますgrep。これを行うには、次のように、単一の文字列で「縮小された」入力を処理できます。

$ grep -oP '"code_ascii":"\w+","confidence":"\w+"' <FILE> | grep -oP '(?<=:)"\w+"' | paste - -

はい

$ grep -oP '"code_ascii":"\w+","confidence":"\w+"' b.json | grep -oP '(?<=:)"\w+"' | paste - -
"1", "97"
"5", "89"
"4", "97"
"5", "97"
"1", "77"
"B", "97"
"B", "94"
"L", "34"
"J", "57"
"J", "57"
"4", "7"
"1", "97"
"5", "89"
"4", "97"
"5", "97"
"1", "77"
"B", "97"
"B", "94"
"L", "34"

代替

メモ:複数行の入力データで作業します。

sed+貼り付け

$ sed -n '/code_ascii/,/confidence/p' a.json | sed 's/.*: [^"]*//' | paste - -

sed, awk, 貼り付け

$ sed -n '/code_ascii/,/confidence/p' a.json | awk -F': ' '{print $2}' | paste -d" " - -

sed, grep, 貼り付け

$ sed -n '/code_ascii/,/confidence/p' a.json | grep -oP '(?<=: ).*$' | paste - -

grep+貼り付け

$ grep -oP '"code_ascii":"\w+","confidence":"\w+"' b.json | grep -oP '(?<=:)"\w+"' | paste - -

Answer

sed入力が有効なJSONでない場合は、awkタイプソリューションを使用する必要がありますgrep。これを行うには、次のように、単一の文字列で「縮小された」入力を処理できます。

$ grep -oP '"code_ascii":"\w+","confidence":"\w+"' <FILE> | grep -oP '(?<=:)"\w+"' | paste - -

はい

$ grep -oP '"code_ascii":"\w+","confidence":"\w+"' b.json | grep -oP '(?<=:)"\w+"' | paste - -
"1", "97"
"5", "89"
"4", "97"
"5", "97"
"1", "77"
"B", "97"
"B", "94"
"L", "34"
"J", "57"
"J", "57"
"4", "7"
"1", "97"
"5", "89"
"4", "97"
"5", "97"
"1", "77"
"B", "97"
"B", "94"
"L", "34"

代替

メモ:複数行の入力データで作業します。

sed+貼り付け

$ sed -n '/code_ascii/,/confidence/p' a.json | sed 's/.*: [^"]*//' | paste - -

sed, awk, 貼り付け

$ sed -n '/code_ascii/,/confidence/p' a.json | awk -F': ' '{print $2}' | paste -d" " - -

sed, grep, 貼り付け

$ sed -n '/code_ascii/,/confidence/p' a.json | grep -oP '(?<=: ).*$' | paste - -

grep+貼り付け

$ grep -oP '"code_ascii":"\w+","confidence":"\w+"' b.json | grep -oP '(?<=:)"\w+"' | paste - -

Question 3

grep + sed + tr:

grep -e code_ascii -e confidence <file> |  sed 's/.*: "\(.*\)"/\1/;' | tr "\n" ' '

返品：

20, 1, 97 5, 89 4, 97 5, 97 1, 77 B, 97 B, 94 L, 34 J, 57 J, 57 4, 7 1, 97 5, 89 4, 97 5, 97 1, 77 B, 97 B, 94 L, 34

このコマンドは code_ascii + 信頼ペアのみを返します。

 grep -e code_ascii -e confidence <file> | sed -n 's/.*code_ascii": "\(.*\)"/\1/;T;h;n;s/.*"confidence": "\(.*\)"/\1/;T;H;g;p' | tr "\n" " "

返品：

 1, 97 5, 89 4, 97 5, 97 1, 77 B, 97 B, 94 L, 34 J, 57 J, 57 4, 7 1, 97 5, 89 4, 97 5, 97 1, 77 B, 97 B, 94 L, 34

上記のKusalalanandaの投稿をご覧ください。ちょうどsed + tr：

sed -i 's/},/},\n/g' <tempfile>
sed -n 's/characater//;T;:z;n;s/.*code_ascii": "\(.*\)"/\1/;Tz;:zz;h;n;s/.*"confidence": "\(.*\)"/\1/;Tzz;H;s/$//;Tz;g;p' <tempfile> | tr "\n" " "

返品：

1, 97 5, 89 4, 97 5, 97 1, 77 B, 97 B, 94 L, 34

Answer

grep + sed + tr:

grep -e code_ascii -e confidence <file> |  sed 's/.*: "\(.*\)"/\1/;' | tr "\n" ' '

返品：

20, 1, 97 5, 89 4, 97 5, 97 1, 77 B, 97 B, 94 L, 34 J, 57 J, 57 4, 7 1, 97 5, 89 4, 97 5, 97 1, 77 B, 97 B, 94 L, 34

このコマンドは code_ascii + 信頼ペアのみを返します。

 grep -e code_ascii -e confidence <file> | sed -n 's/.*code_ascii": "\(.*\)"/\1/;T;h;n;s/.*"confidence": "\(.*\)"/\1/;T;H;g;p' | tr "\n" " "

返品：

 1, 97 5, 89 4, 97 5, 97 1, 77 B, 97 B, 94 L, 34 J, 57 J, 57 4, 7 1, 97 5, 89 4, 97 5, 97 1, 77 B, 97 B, 94 L, 34

上記のKusalalanandaの投稿をご覧ください。ちょうどsed + tr：

sed -i 's/},/},\n/g' <tempfile>
sed -n 's/characater//;T;:z;n;s/.*code_ascii": "\(.*\)"/\1/;Tz;:zz;h;n;s/.*"confidence": "\(.*\)"/\1/;Tzz;H;s/$//;Tz;g;p' <tempfile> | tr "\n" " "

返品：

1, 97 5, 89 4, 97 5, 97 1, 77 B, 97 B, 94 L, 34

JSON文字列からデータを抽出する

質問

出力

コピーして貼り付ける

協会

答え1

答え2

はい

代替

答え3

関連情報