parallelism
pigz（パラレルgzip）アーカイブコンテンツのサイズを確認するには？ [コピー]
この質問にはすでに答えがあります。: ...
![pigz（パラレルgzip）アーカイブコンテンツのサイズを確認するには？ [コピー]](https://linux33.com/image/228610/pigz%EF%BC%88%E3%83%91%E3%83%A9%E3%83%AC%E3%83%ABgzip%EF%BC%89%E3%82%A2%E3%83%BC%E3%82%AB%E3%82%A4%E3%83%96%E3%82%B3%E3%83%B3%E3%83%86%E3%83%B3%E3%83%84%E3%81%AE%E3%82%B5%E3%82%A4%E3%82%BA%E3%82%92%E7%A2%BA%E8%AA%8D%E3%81%99%E3%82%8B%E3%81%AB%E3%81%AF%EF%BC%9F%20%5B%E3%82%B3%E3%83%94%E3%83%BC%5D.png)
parallelism
parallelism
CPU計算に関連する奇妙なlscpu出力
私はlscpu出力を理解しようとしましたが、CPU、物理コア、およびスレッド化コンセプト専用の複数のスレッドを見つけました。このスレッドによると、CPU（論理デバイス）の総数を取得するには、次のようにします。Thread(s) per corex Core(s) per socketx Socket(s)。 以下に示すマイコンピュータの部分出力を考えると、CPU(s)28台を期待していましたが、20台と表示されています。 Architecture: x86_64 CPU op-mode(s): 32-bit, 64-b...
parallelism
別のオペレーティングシステムを起動して他のシステムと並列に実行
したがって、職場には、すべてのシステムと同じ独自のハードウェアで実行されるシステムがあります。ハードウェアの1つに障害が発生すると、実行中のシステムの1つが障害が発生したシステムに代わって起動し、両方のシステムの操作を完了します。どちらもLinuxとIntelのCPUに基づいています。 あるオペレーティングシステムに別のオペレーティングシステムを起動して一緒に実行させる方法は？単にプログラムを実行するのではなく、プログラム全体を実行します。 Windowsでは、他のOSが並列コンピューティングにCPUの1つのコアを使用するようにする方法などの話を聞きました。...
parallelism
Bashコードの並列バージョン作成の問題
サンプルBashスクリプトを並列化しようとしていて、&などのコマンドを試しましたwait。並列化する効率的な方法を教えてください。 私の現在のコードはreg2変数の制限された項目としてうまく機能します。しかし、reg2変数には何百万ものエントリがあります。だから私は最も外側のループが平行になりたいと思います。コードを並列化した後は、同じ出力（たとえば、0,1,2,:,3,4,:,5,6）を取得します。 #!/bin/bash # array1=$1 # array2=($2) # reg2=($3) array1=('bam1' 'bam2' '...
parallelism
`$（nproc）`× `openssl dhparam`の並列インスタンスを実行する方法と、最初のインスタンスが `0`で終了した場合、別のインスタンスを終了しますか？
私はそれを実行しておりopenssl dhparam -out dhparam4096.pem 4096、作業中にシングルコアを100％に固定します（一部のプロセッサではかなり大きくなる可能性があります）。基本的にアイドル状態の追加コアが1つ以上ありますが、これを使用したいと思います。 $(nproc)このコマンドのインスタンスを実行したいと思います。違いは、すべてのインスタンスを完了する必要はないということです。最初のインスタンスを終了するだけです。 「勝者」インスタンスが完了すると、0残りのプロセスは「d」または類似している必要があります。エレガント。S...
parallelism
両方のスクリプトが同じファイルに書き込むと、競合状態は発生しません。
同じファイルにエコーされる2つのスクリプトが並列に実行されています。あるスクリプトは+++++++++++++++ファイルをエコーし、もう一方のスクリプトはファイルを===========エコーします。 以下は最初のスクリプトです。 #!/bin/bash while [ 1==1 ]; do echo "+++++++++++++++" >> log.txt # commands done 2番目のスクリプトは次のとおりです。 #!/bin/bash while [ 1==1 ]; do echo "=====...
parallelism
シェル並列最適化の使用
optipngシェルを使用して8スレッドCPUと並列に実行したいと思います。 私はプログラム自体がマルチコアに最適化されておらず、これを行う唯一の方法は8つのファイルを実行することです。 私のホームディレクトリには500以上のPNG画像があり、できるだけ早くこれを完了したいと思います。 回答されたが見つからない質問をすることもできます。 重要な場合は、このプログラムのエイリアスを定義しました。 alias optipng='optipng -o7 -zm1-9 -strip all -fix -preserve' これが当てはまりますように。アドバイスして...
parallelism
httpを介して大容量ファイルを並列に取得するには？
質問： HTTPはオフセットでの再開をサポートしているため、複数のスレッドを起動して異なるファイルオフセットから複数の要求と同時にファイルを取得できるツール（またはwgetやカールなどのコマンドの既存のオプション）はありますか？これは、各ソケットのパフォーマンスを個別に制限するのに役立ちます。 これを行うプログラムを書くことができますが、そのツールがすでに存在するかどうかを知りたいです。 背景： 最近大容量ISOをダウンロードしたいです。しかし！...サーバーとインターネットプロバイダの間のどこかで転送速度は100kbに制限されています！しかし、最初の5...
parallelism
多くのPythonプロセスを実行すると、端末は自動的に閉じます。
時間を節約するために、複数の機械学習実験を同時に実行しようとしています。私のオペレーティングシステムはFedora 36で、emacsを使用しています。私が使った実験を自動化するためにruns.py import subprocess subprocess.run("python train.py python train.py python train.py python train.py", shell=True) train.pyニューラルネットワークを訓練するために異なるシードを使用します。 その後、emacsで複数のシェルを開き、各シェル内で実...
parallelism
Bashで並列に変数を埋める
find複数のハードドライブ上のファイルにアクセスするコマンドを高速化するために、並列化を利用しようとしています。残念ながら、並列化は無視されたり、変数が埋められたりしません。 found=""; IFS=$'\n' for hdd in "${hdd_list[@]}" do found+=$'\n'$(find "$hdd" -name "*filter*" -type f &) # ignores parellelization found+=$'\n'$(find "$hdd" -name "*filter*" -type ...
parallelism
並行性の制限により特定のプロジェクトを調べることはできませんか？
私のコンピュータには約400個のGitリポジトリがあります。 以下は、状態を包括的に見つけるために使用するスクリプトです。 function Check() { gitFolder="$1" parent=$(dirname $gitFolder); Status=$(git -C $parent status) if [[ $Status == *Changes* ]] || [[ $Status == *Untracked* ]]; then Info $parent; git -C $p...
parallelism
bash forループを並列化し、ファイルIOに反復変数を使用する方法
次のようなbashスクリプトがあります。 N=32 for i in $(seq -f "%06g" 0 ${LAST_NUM}) # LAST_NUM is an env variable do ((j=j%N)); ((j++==0)) && wait # Wait for all processes in batch to finish python foo1.py $i & python foo2.py "foo1_output${i}.file_extension" & python foo3.py ...
parallelism
-j -Nを使用したGNUパラレルは依然として1つのCPUを使用します。
リソースを飽和させずにマルチコアノードで合理的な並列化を取得する方法は？他の多くの同様の質問と同様に、問題は合理的なパフォーマンスのためにGNU Parallelを調整する方法を学ぶ方法です。 次の例では、リソースが飽和しておらず、プロセスを並列に実行できないか、-j -N特定のオプションを使用した後、すべてが1つのCPUで実行されるように見えます。 マルチコアシステムで実行される Bash スクリプト内では、次のループが GNU Parallel に渡されます。 for BAND in $(seq 1 "$BANDS") ;do echo ...
parallelism
Bash：サブシェルが失敗したことをどうやって確認しますか？
次のコードを検討してください。 job() { local id=$1 sleep $id } do_job_in_parallel() { local pids=() # run subshells for id in $(seq 4) do job $id & pids=("${pids[@]}" $!) done # wait subshells for ((i=0; i<${#pids[@]}; ++i)) do local pid=${pids[$i]} wa...
parallelism
max_parallel_downloads インクリメントは yum コマンドには影響しません。
Red Hat または CentOS システムにすべてのアップデートをインストールするには、次のコマンドを使用します。 yum -y update --skip-broken --nobest 我々は、アップデートインストールの完全な実行時間を減らす方法を探しています。 yumドキュメントによるとyum.conf(5) - Linux のマニュアルページ(man7.org)max_parallel_downloads、同時にダウンロードされたパッケージ数を設定するために使用できるパラメータがあります。このパラメータを更新してテストしてみましたが、このパラメ...