私は自宅のRaspberry Piからいくつかのローカルデータを収集しており、できるだけ早くWebサーバーにあるREST API(私が持っている)にデータを送信したいと思います。
ローカルに収集されたデータは、1秒あたり最大100レコードに転送できます。
ループでカールコマンドを実行すると、データが転送されます。 200応答を待ってから、次のレコードを処理します。内部データフローよりはるかに遅いです。
Stackoverflowでいくつかのヒントを見つけて調整しましたが、カールコマンドを並列に送信しません。
私のコードが最もきれいではないことを知っていて(特にmycurl関数の使用に関して)、提案を受け入れる準備ができています。
#!/bin/bash
host="localhost"
port="********"
mycurl() {
data="field1=${1}&field2=${2}&field3=${3}&field4=${4}&field5=${5}&field6=${6}&field7=${7}&field8=${8}&field9=${9}&field10=${10}"
curl --output /dev/null -d $data --silent -X POST https://myapi/myendpoint;
}
export -f mycurl
#----------------------LOOP starts------------------------
while true;
do
nc -d $host $port | while IFS="," read -r f1 f2 f3 f4 f5 f6 f7 f8 f9 f10 f11 f12 f13 f14 f15 f16 f17 f18 f19 f20 f21 f22
do
if [ "$f15" != "" ]; then
seq 1000 | parallel --no-notice --joblog log -j0 mycurl ::: ${f5} ::: ${f7} ::: ${f8} ::: ${f15} ::: ${f16} ::: ${17} ::: ${18} ::: ${19} ::: ${20} ::: ${21};
fi
done
done
答え1
GNU Parallelには、1ジョブあたり2〜5ミリ秒のオーバーヘッドがあり、これは1秒あたり100項目に近いです。これを軽減するには、parallel --pipe
100コアシステムで毎秒約25,000のジョブを並列に実行する必要があります。
#!/bin/bash
host="localhost"
port="********"
mycurl() {
if [ "${15}" != "" ]; then
# The numbering here should probably be adjusted
data="field1=${1}&field2=${2}&field3=${3}&field4=${4}&field5=${5}&field6=${6}&field7=${7}&field8=${8}&field9=${9}&field10=${10}"
curl --output /dev/null -d $data --silent -X POST https://myapi/myendpoint;
fi
}
export -f mycurl
#----------------------LOOP starts------------------------
while true;
do
nc -d $host $port
done |
parallel -j100 --pipe --block 100k parallel --colsep , -j0 mycurl
答え2
curl
各呼び出しをバックグラウンドで分岐してみてはいかがでしょうか。curl
... &
。シェルコマンドの最後に & 記号を追加することは、;
プロセスをバックグラウンドに分岐する点を除いて、セミコロンを使用するのと同じです。