☰

semを使用してforループでシェルコマンドを並列に実行するには？

tag-icon • tag-icon bash gnu-parallel
semを使用してforループでシェルコマンドを並列に実行するには？

これは私には何もスピードを上げません。

domains=()

for i in `seq 1 100`; do
    echo $i
    word=`sem "xidel -s 'https://www.thisworddoesnotexist.com/' -e '//div[@id="definition-word"]/text()'"`
    len=${#word}
    if [ "$len" -lt "8" ]; then
        word=`echo $word | sed 's/[^a-z A-Z]//g'`
        domains+=(${word}.com)
    fi
done
sem --wait

printf '%s\n' "${domains[@]}"

forループ本体を並列に実行しようとしていますsem。

答え1

あなたが探しているものparset：

myfunc() {
    word=$(xidel -s 'https://www.thisworddoesnotexist.com/' -e '//div[@id="definition-word"]/text()')
    len=${#word}
    if [ "$len" -lt "8" ]; then
        word=`echo $word | sed 's/[^a-z A-Z]//g'`
        echo ${word}.com
    fi
}
export -f myfunc

parset domains -j 30 myfunc ::: {1..100}
printf '%s\n' "${domains[@]}"

parsetGNU Parallelの一部です。

答え2

sem適切なパラメーターを指定して、並列に実行したいジョブの数を知らせる必要があります。- 働くフラグ、デフォルトは 1 です。

--jobs N
-j N
--max-procs N
-P N
    Run up to N commands in parallel. Default is 1 thus acting like a mutex.

ただし、semのデータは返されませんxidel。最も簡単な方法は、ループ本体を独自のスクリプトに抽出し、出力をファイルに書き込んで実行することです。

domains=()

for i in $(seq 1 100); do
    echo $i
    sem --jobs=<N> script.sh "$i"
done
sem --wait
cat <some directory>/script_output_*

あなたの要求が許可されている場合。

関連情報