キャリッジリターンを削除し、タイムスタンプを追加し、ライブMQTTソースの一部のデータを無視する方法

Question 1

はい、かなり混乱しています。とにかく...アプリケーションの出力からの出力はと
mosquitto_sub -d -t +/# 2> >(grep PUBLISH)
両方に行くようです（そうでなければ、出力から一致する行だけを取得する必要があります）。デバッグメッセージ（および）をに印刷し、実際のデータ（）をに印刷します。 stderrstdoutPUBLISHSending...Received...stderr810,5440995,6143...stdout

明らかにカンマ区切りの値が必要なので、行のタイムスタンプを一致させる必要がある場合は、次のことを試すことができますPUBLISH。

mosquitto_sub -d -t +/# 2>&1 | xargs -d$'\n' -L1 sh -c 'date "+%s,$0"' | \
sed -n "/PUBLISH/{N;s|[ /]|,|g;s|^\([^,]*,\)[^']*'\([^']*\)',.*\n[^,]*,\(.*\)|\1\2,\3|;p}"

または、次の行のタイムスタンプが必要な場合：

mosquitto_sub -d -t +/# 2>&1 | xargs -d$'\n' -L1 sh -c 'date "+%s,$0"' | \
sed -n "/PUBLISH/{N;s|[ /]|,|g;s|^[^,]*,[^']*'\([^']*\)',.*\n\([^,]*,\)\(.*\)|\2\1,\3|;p}"

2>&1stderrにリダイレクトstdoutしてから出力にパイプし、xargs各行を次のコマンドの引数として渡しますsh -c 'date "+%s,$0"'。これにより、各行の前にタイムスタンプ+カンマが付きます。例:

[timestamp],Sending PINGREQ
[timestamp],Received PINGRESP
[timestamp],Received PUBLISH (d0, q0, r0, m0, 'm/NWRL/TMX/098/d/status', ... (39 bytes))
[timestamp],871,40114,4536 4536 323

その後、パイプを介してsed自動印刷（-n）を抑制します。
一致する各行に追加の行をPUBLISH追加し、各スペースをコンマで置き換えてから、最初または2番目のタイムスタンプ、引用符の間の値、および2番目のタイムスタンプの後の値のみを保持してグループ化し、最後に結果を印刷します。N/

[timestamp],m,NWRL,TMX,098,d,status,871,40114,4536,4536,323

Answer

はい、かなり混乱しています。とにかく...アプリケーションの出力からの出力はと
mosquitto_sub -d -t +/# 2> >(grep PUBLISH)
両方に行くようです（そうでなければ、出力から一致する行だけを取得する必要があります）。デバッグメッセージ（および）をに印刷し、実際のデータ（）をに印刷します。 stderrstdoutPUBLISHSending...Received...stderr810,5440995,6143...stdout

明らかにカンマ区切りの値が必要なので、行のタイムスタンプを一致させる必要がある場合は、次のことを試すことができますPUBLISH。

mosquitto_sub -d -t +/# 2>&1 | xargs -d$'\n' -L1 sh -c 'date "+%s,$0"' | \
sed -n "/PUBLISH/{N;s|[ /]|,|g;s|^\([^,]*,\)[^']*'\([^']*\)',.*\n[^,]*,\(.*\)|\1\2,\3|;p}"

または、次の行のタイムスタンプが必要な場合：

mosquitto_sub -d -t +/# 2>&1 | xargs -d$'\n' -L1 sh -c 'date "+%s,$0"' | \
sed -n "/PUBLISH/{N;s|[ /]|,|g;s|^[^,]*,[^']*'\([^']*\)',.*\n\([^,]*,\)\(.*\)|\2\1,\3|;p}"

2>&1stderrにリダイレクトstdoutしてから出力にパイプし、xargs各行を次のコマンドの引数として渡しますsh -c 'date "+%s,$0"'。これにより、各行の前にタイムスタンプ+カンマが付きます。例:

[timestamp],Sending PINGREQ
[timestamp],Received PINGRESP
[timestamp],Received PUBLISH (d0, q0, r0, m0, 'm/NWRL/TMX/098/d/status', ... (39 bytes))
[timestamp],871,40114,4536 4536 323

その後、パイプを介してsed自動印刷（-n）を抑制します。
一致する各行に追加の行をPUBLISH追加し、各スペースをコンマで置き換えてから、最初または2番目のタイムスタンプ、引用符の間の値、および2番目のタイムスタンプの後の値のみを保持してグループ化し、最後に結果を印刷します。N/

[timestamp],m,NWRL,TMX,098,d,status,871,40114,4536,4536,323

Question 2

bash / ksh環境で蚊をシミュレートした結果、次のことがわかりました。

stub_mosquitto | 
   sed -e 's/.*m0, //' -e 's/, .*bytes))//' | while read line; do
      if [[ "${line}" = \'* ]]; then
         echo -n "${line}, "
      else
         echo "${line}, $(date)"
      fi
   done

ここでは興味深い部分を切り取るためにsedを使用しています。
私は2行を連結して日付を追加する簡単な方法でwhile read行を使用しています。これはsedまたはtrを使用して可能ですが、少しの作業が必要になる場合があります（sedの他のバージョン）。

mosquitto_subへの呼び出しを完全に理解していないため、文字列がパイプされている場合にのみソリューションを表示します。

そこで何をすべきですか#？
引用符がない場合は、コメントの先頭にする必要があります。
文字列を見つけるときに数字を含む行を取得するには？
この数字はstderrに記録されますか？ grepを使用して標準出力にリダイレクトした後はスキップします2>&1。

Answer

bash / ksh環境で蚊をシミュレートした結果、次のことがわかりました。

stub_mosquitto | 
   sed -e 's/.*m0, //' -e 's/, .*bytes))//' | while read line; do
      if [[ "${line}" = \'* ]]; then
         echo -n "${line}, "
      else
         echo "${line}, $(date)"
      fi
   done

ここでは興味深い部分を切り取るためにsedを使用しています。
私は2行を連結して日付を追加する簡単な方法でwhile read行を使用しています。これはsedまたはtrを使用して可能ですが、少しの作業が必要になる場合があります（sedの他のバージョン）。

mosquitto_subへの呼び出しを完全に理解していないため、文字列がパイプされている場合にのみソリューションを表示します。

そこで何をすべきですか#？
引用符がない場合は、コメントの先頭にする必要があります。
文字列を見つけるときに数字を含む行を取得するには？
この数字はstderrに記録されますか？ grepを使用して標準出力にリダイレクトした後はスキップします2>&1。

キャリッジリターンを削除し、タイムスタンプを追加し、ライブMQTTソースの一部のデータを無視する方法

答え1

答え2

関連情報