sitemap.xmlで乾燥しますか?

sitemap.xmlで乾燥しますか?

URLリストをカーリングしたいです(例:https://example.com/sitemap.xml

この目標に最も近いもの

xargs curl --referer https://mywebsite.ca --user-agent "It me yo" < listofurls.txt > /dev/null

うまく機能し、必要なURLにアクセスできますが、ローカルファイル以外のものは利用できないようです。また、すでに存在し、独自に維持されているリスト(sitemap.xml)を利用したいと思います。

答え1

使いたいですか?XSLTsitemap.xml1行に1つずつURLリストに変更します。コマンドラインでこれを行うには、次のものを使用できます。xsltプロセス、これは以下の一部ですライブラリファイル。だからあなたは次のようにします:

curl https://example.com/sitemap.xml | xsltproc stylesheet | xargs curl --blah --blah

XSLTスタイルシートの作成は、読者の練習課題として残されます。

関連情報