次のコマンドを使用して Sun Grid Engine (SGE) にバッチジョブの送信を実行しています。Python drmaaバインディング。 バッチジョブの送信の場合は、パラメータを受け入れ、shebangを介してコマンドラインから実行可能なPythonスクリプトを送信します。タスクバッチ送信を適切にパラメータ化するために、optionsを介してPythonスクリプトに伝播するように環境変数を設定しました-v。ジョブの送信中にエクスポートされたSGE /環境変数に基づいて$TASK_IDzsh環境で間接変数拡張を実行しようとしています。$SGE_TAS...
それぞれ12の物理コアを備えた2台のコンピュータがあります。 コンピュータAはタスクを受け入れ、それをAとBに割り当てる必要があります。 コンピュータAとBを設定したいです。 AはSSHを介して作業を受け入れ、それをAとBに（ややインテリジェントに）配布します。 可能であれば、「個人的なニーズ」に従って、各システムで4つのコアをブロックしたいと思います。 タスクはPythonスクリプトまたはC ++で書かれた実行可能ファイルでなければなりません（mpiコードを含めることができます）。 私はslurmとSun Grid Engineについて読んでいますが、...
qsubログインノードを使用した後、大学クラスタにMatlabジョブを送信していますssh。 ジョブにメモリが不足しています。問題を解決するために私が受けたアドバイスは次のとおりです。」考えられる解決策は、より大きなシステムで実行するか、より多くのRAMを購入することです。」。 これは私のbashファイルに実際に何を意味しますか？ bashファイルのどの行がマシンまたはRAMのサイズを制御しますか？現在、私のbashファイル（以下を参照）にvmemこれtmemのRAMがありますか？ #$ -S /bin/bash #$ -l h_vmem=18G #$ -l...
qsub私たちの大学のHPCを使って、次のアレイ作業をしたいと思います。サム仕事。 各タスクは、複数の要素を利用するソルバー（MOSEK）を使用するMatlabコードを実行します。糸最適化の問題を解決するため。パラメーターは、ソルバーが使用するスレッド数を制御します。許可されるスレッドの最大数はコア数を超えることはできません。 ソルバーが使用したいとしましょう。スレッド4。したがって、少なくとも4つの空きコアを持つシステムに各タスクを割り当てる必要があります。 Bashファイルからどのように要求しますか？メモリ使用量をどのように計算する必要がありますか？ 現...
私はbashスクリプトを使用してグリッドエンジンにタスクを送信しています。 スケジューラが割り当てたジョブIDをスクリプトに通知する方法はありますか？ ...
複数のソケットを持つコンピューティングノードで実行されている各タスクには、起動時にスロットIDが明示的に割り当てられます。 ジョブIDを表示するには、$JOB_ID送信スクリプトで環境変数を使用できます。スロット番号はどうですか？ スロット情報の検索を使用しますqstat -j <job number>が、ジョブに関する情報には、ジョブが使用しているスロットに関する情報は含まれていません。スロット番号に関連付けられた整数変数を持ちたいです。 編集：通常、並列化すると、ジョブに複数のスロットが割り当てられる可能性があるため、この場合はスロ...
私は1つのヘッドノード（ilmn-qm.ilmn）と2つのコンピューティングノード（compute-00-00とCompute-00-01とも呼ばれます）の3つのシステムを持つグリッドでRED HAT 5.9 OSを使用しています。 問題は、両方のコンピューティングノードデバイスでSSHを使用できないことです。 私は試した: 1) SSH FROMとTOヘッドノードが正常に動作します。 2) ヘッドノードからコンピューティングノードまでの SSH が有効です。 ３）逆に、コンピューティングノードからヘッドノードへのＳＳＨも動作する。 4) ヘッド...
クラスターに似たものから多くの計算を行う必要がありますが、ハードウェアとOSは同じですが（OSはUbuntu）、中央管理ソフトウェアやグリッドエンジンはインストールされていません。ウェブ検索の結果は、ほとんどの場合、古い、または独自のソフトウェアのためです。 私の質問があまりにも一般的ではないことを願っています。しかし、Debianとその派生製品のクラスタ管理と作業スケジュールのオプションは何ですか？ クラスタの一般的な管理にはcsshを使用しますが、この方法はジョブのスケジュールと監視にはあまり効率的ではありません。私は長い間確立されたSun Grid...
並列化のためにMPIを使用するプログラムがあります。実際には、複数のコアでのみ正常に実行できますが（CentOS 6.6）ベースのHPCグリッドの複数のノードで実行できると思います。同じコンピューティングノードの。 たとえば、qsubグリッドから20個のコアを要求し、グリッドエンジンがそれを2つの異なるノードに分割することを決定すると、プログラムは失敗します。ただし、使用可能なコアが20個のノードがあり、グリッドエンジンがコアをすべてそのノードに送信すると、プログラムは正常に実行されます。 qsubスクリプトには、#$ -pe mpi 20コア数を選択する...
HPC クラスターで qstat コマンドを頻繁にgridengine使用しますが、クラスターで実行されているジョブが多いため、出力が長すぎて画面に表示されなくなり、画面の上半分を見ようとスクロールが多くなります。出力。私のターミナルには2つの列のための十分なスペースがあるので、出力が列に流れて並んで表示されることができれば良いでしょう。 単純なデータファイルを使用した例： 明らかに、これはすべての画面出力に共通でなければならないので、以下はより簡単な例です。 私のファイルにはdata1.txt100行が含まれています"This is a test"。 ...
LinuxクラスタでGrid Engineを使用しています。私はさまざまなプログラムとさまざまな入力ファイルを使用して多くのタスクを実行しています。各プログラムと入力ファイルのペアに対して複数の特定のジョブスクリプトを作成したくありません。代わりに、プログラム名と入力ファイルのみを指定できるようにしたいですqsub。 したがって、私は使用することができますqsub job.sh <programNameAndLocation> <inputFileName> 2つのパラメータが必要job.shです。これは素晴らしい作品です。しかし...
複数のジョブを送信するためにbashスクリプトを実行しています。ジョブはまだ実行されていない場合にのみ送信されます。 bashスクリプトでifステートメントを使用して、「job123」がすでに実行中かキューに入っているかを簡単に確認したいと思います。 qstatとqstatusに対して別のオプションを試しましたが、ジョブ名で解決できないようです。この情報を検索するには？また、これらの出力は単なる文字列であるため、grepを使ったことはありませんが、特定のコマンドが必要であると思います。 ...
複数のファイルに対して特定のタスクを実行するためのタスク配列スクリプトを作成しようとしています。開始できる fastq ファイルが 2 つしかないとしましょう。名前: abc.fastq、def.fastq #!/bin/bash file=$(ls -1 *.fastq | tail -n +${SGE_TASK_ID}| head -1) filename=${file%.fastq} awk 'NR % 2 == 0{print substr($1,7,100)};NR % 2 ==1' $file > ${filen...
リモートでプログラムをコンパイルして実行しようとしています。しかし、私はこれを画面で実行したいと思い、SSHの後にグリッドエンジンを使用して他のノードでそれを実行したいと思います。現在私は以下を持っています： ssh me@server screen -R session 'qlogin; cd path; mvn options program' デフォルトでは機能しますが、端末に接続する必要があるというメッセージが表示されます。この記事を読んで、sshに-tオプションを追加しました。これは私のコマンドを中断します。 SSH経由でログインし、画面が起...
以下を介して学校サーバー（HPC）にジョブを送信しようとします。 #!/bin/bash #$ -S /bin/bash #$ -cwd #$ -o ./out_$JOB_ID.txt #$ -e ./err_$JOB_ID.txt #$ -notify #$ -pe orte 1 date pwd ################################## RESULT_DIR=~/Results SCRIPT_FILE=sample_job ################################## . /etc/prof...