APIとカールを使用してフォーラムをクロールしたいです。
アプリケーションプログラミングインターフェース:
初期リンクは次のとおりです。
望ましい結果:
いつも4,240個できるはずです
ご覧のとおり、変更される唯一の整数は点の後ろの整数です。
答え1
Curlは、それを使用してURLにアクセスしたい場合は、スコープ付きURLをサポートしています。
curl ... 'https://bitcointalk.org/index.php?topic=840124.[0-4240]'
...
使用したい他のオプションはどこにありますか?
範囲構文を使用すると、1 以外の増分単位に移動することもできます。たとえば、20番目のURLごとにインポートするには、次のようにします。
curl ... 'https://bitcointalk.org/index.php?topic=840124.[0-4240:20]'
詳しくはcurl
マニュアルをご覧ください。
URLリストの生成分離または、他のプログラム処理のcurl
場合は、中括弧拡張の使用を検討してください(シェルがそれをサポートしている場合)。
printf '%s\n' 'https://bitcointalk.org/index.php?topic=840124.'{0..4240}
他のいくつかのシェルの場合bash
と同様に、増分を使用できます'...URL...'{0..4240..20}
。
その後、このリストは、たとえばURLをパラメータとして使用してユーザーを呼び出すことができるxargs
プログラムまたは他のプログラムにパイプすることができます。curl