sedコマンドとcurlコマンドを使用してWeb URLから特定の文字列を抽出する方法

Question 1

@Nikhil、あなたの元の質問にはXML形式は記載されておらず、生のコンテンツのみがありました。データがXMLに含まれていることがわかっているので、より信頼性の高いアプローチは、xmlstarletを提案する他の答えの1つ、またはこれに関連するツールのアドバイスに従うことです。

もしあなたなら確信するフォーマットは変更されず、これに対して迅速で汚いことをしたいのですが、awkを使用したいですか？これは効果がありますか？

awk -F"." '{print $5}' | sort --unique

以下は、このコードへのリンクと質問のいくつかのサンプルデータです。オンラインでお試しください！

Answer

@Nikhil、あなたの元の質問にはXML形式は記載されておらず、生のコンテンツのみがありました。データがXMLに含まれていることがわかっているので、より信頼性の高いアプローチは、xmlstarletを提案する他の答えの1つ、またはこれに関連するツールのアドバイスに従うことです。

もしあなたなら確信するフォーマットは変更されず、これに対して迅速で汚いことをしたいのですが、awkを使用したいですか？これは効果がありますか？

awk -F"." '{print $5}' | sort --unique

以下は、このコードへのリンクと質問のいくつかのサンプルデータです。オンラインでお試しください！

Question 2

curl "URL" | grep -E -o 'AP[[:digit:]]+' | sort -u

これにより、データを取得してすべてのAP番号を抽出し、重複エントリを削除しながらソートします。

これは、AP番号が表示されるデータにのみ表示され、他の無関係な場所には表示されないと仮定します（表示されているXML文書は最後が切り捨てられます）。

XMLをより安全に解析するには、次のようにしますxmlstarlet。

curl "URL" |
xmlstarlet sel -t -v '/timeSeries/series/@parentPath[contains(.,"AP")]' |
grep -E -o 'AP[[:digit:]]+' | sort -u

これは、属性のすべての長い値を解析してandparentPathに渡します。grepsort

それでこのすべてのことをするxmlstarletことも可能です。ここでは、文字列を含む属性値に対応するすべてのAP番号が必要であると仮定しますcredit。

curl "URL" |
xmlstarlet sel -t \
    -m '/timeSeries/series/@parentPath[contains(., "credit")]' \
    -v 'concat("AP", substring-before(substring-after(., "AP"), "."))' -nl

文字列を検索するだけでcredit一部のAP番号が失われる場合は、すべて抽出してsort -u以前のように結果リストを一意に作成します。

curl "URL" |
xmlstarlet sel -t \
    -m '/timeSeries/series/@parentPath' \
    -v 'concat("AP", substring-before(substring-after(., "AP"), "."))' -nl |
sort -u

Answer

curl "URL" | grep -E -o 'AP[[:digit:]]+' | sort -u