入力パラメータ(getoptsを使用)に依存する大規模スクリプトがあります。これらのパラメータの1つは、ファイル(すべて* bamという名前)を含むディレクトリです。スクリプトは2つの部分で構成されています。
- パート1:入力* bamファイルに基づいて特定の数値を計算します。明確に言えば、結果はファイルごとの数ではなく数字です。
- パート2:パート1で見つけた数値を使用して、各bamファイルに対して一連の操作を実行します。
今、計算的な観点から見ると、パート1は最初は非常に高速です。だから私の設定は次のようになります
- 端末でスクリプトを実行する:bash script.sh
- script.shのパート2は、各ファイルに対してHPCジョブを送信します。
しかし、今は元の計画よりも多くのファイルを分析する必要があるので、パート1も計算集約的であることに気づきました。したがって、HPCでも実行する必要があります。
だから私の質問は次のようになります
- ジョブが送信されたHPCジョブを送信できますか?
- つまり、script.sh をジョブとしてサブミットして、そのジョブをパート 2 にサブミットすることはできますか?
明確に言えば、以下は私のスクリプトの例です。
#!/usr/bin/bash
# PART 0: accept all input arguments
USAGE() { echo "Usage: bash $0 [-b <in-bam-files-dir>] [-o <out-dir>] [-c <chromlen>]" 1>&2; exit 1; }
if (($# == 0)); then
USAGE
fi
# Use getopts to accept each argument
while getopts ":b:o:c:h" opt
do
case $opt in
b ) BAMFILES=$OPTARG
;;
o ) OUTDIR=$OPTARG
;;
c ) CHROMLEN=$OPTARG
;;
h ) USAGE
;;
\? ) echo "Invalid option: -$OPTARG exiting" >&2
exit
;;
: ) echo "Option -$OPTARG requires an argument" >&2
exit
;;
esac
done
# PART1: calculate this unique number
NUMBER=0
for i in $(ls $BAMFILES/*.bam)
do
make some calculations on each file to obtain a number ...
keep only the smallest found number and assign its value to $NUMBER
done
echo "Final number is ${NUMBER} "
# PART2: Using $NUMBER that we found above, submit a job for each *bam file
for i in $(ls $BAMFILES/*bam)
do
if [ ! -f ${OUTDIR}/${SAMPLE}.bw ];
then
command=" command -options -b $NUMBER $i"
echo $command | qsub -V -cwd -o $OUTDIR -e $OUTDIR -l tmem=6G -l h_vmem=6G -l h_rt=3600 -N result_${SAMPLE}
fi
done
答え1
答えは「状況によって異なる」です。実行ノードがジョブを送信できるようにHPCクラスタを設定できますが、必須ではありません。現地のHPC管理者に簡単な質問をすると、明確な回答が得られるようです。あるいは、2番目のタスクを送信して機能していることを確認する以外に、何もしないクイックスクリプトを試すこともできます。