並列処理のためのxargsのワイルドカード変数

2024-6-4 • tag-icon

質問

この関数がbash呼び出し内にあるとき、VAR関数（例えば、wilcard）でwilcardで入力変数を使用するのにls問題があります。*xargs

このxargs関数は、ファイル名プレフィックスリストの各メンバーに対して繰り返されますInfilePrefix_List.csv。

入力変数はVAR次の形式の文字列ですVAR="dir/sub_dir/SharedPrefix_InfilePrefix"。

ls ${VAR}*VARディレクトリが見つからないというエラーが発生します*。

解決策

最後に、入力リストは.csvファイルとして保存され、xargsは各リストエントリの後に追加された「\ r」を読み取ります。 .csvファイルを修正した後、機能がスムーズに実行されました。ここで同じ質問を確認してください。https://www.unix.com/unix-for-dummies-questions-and-answers/124289-xargs-appending-r.html

乾杯

単純化された例と並列コンピューティング

実際に私が使用する関数はでlsはなく: です。cdo ensmean infiles*.nc outfile.ncこれは、複数の複製された気候データファイルの集合を意味します。

ただし、この記事では使用されている例をお勧めしls infiles*.ncます。オプションで提供される並列コンピューティングのパフォーマンスをxargs利用する必要があるため、forループの代替は使用しません。xargs --max-procs 44

Bashスクリプトの例

#!/bin/bash
more /dir/subdir/File_Prefix_List.csv |  xargs -I {} bash -c "
echo 'arg is '{};
VAR=\$(echo /dir/subdir/SharedPrefix_{});
echo 'var is '\$VAR;
ls \${VAR}*.nc;
exit 1;"

ノート

行2 - {}は特定のInfilePrefix文字列を表します。

3,5行 - VARが正しいことを確認するためにエコーされます。

行6 - サンプル関数は、名前に含まれるすべてのファイルを一覧ls表示することです。SharedPrefix_InfilePrefix

デバッグ編集

要求に応じて、以下はこれらの変更が適用されたサンプルbashスクリプトの出力です。head -n 1 ...<my specific directories>... xargs -I {} bash -vxc " ...

私の特定のケースでは、例と私が実行したコードの違いは次のとおりです。（1）/dir/subdir = /nobackup/b9035080/NCdata_RealsPalau。（二/SharedPrefix_ = /Reals_Palau_tos_Oday_十三）{} = ACCESS-CM2_historical。

出力：行1と行2：xargs引数（{} = ACCESS-CM2_historical）とディレクトリ変数（VAR = /nobackup/b9035080/NCdata_RealsPalau/Reals_Palau_tos_Oday_ACCESS-CM2_historical）が正しいです。行3：ワイルドカードの読み込み中にエラーが発生しました。

セクション1の出力の終わりには、関連性があると考えられるエラーメッセージが表示されます。

;cho 'arg is 'ACCESS-CM2_historical
' echo 'arg is ACCESS-CM2_historical
arg is ACCESS-CM2_historical
);R=$(echo /nobackup/b9035080/NCdata_RealsPalau/Reals_Palau_tos_Oday_ACCESS-CM2_historical
++ echo $'/nobackup/b9035080/NCdata_RealsPalau/Reals_Palau_tos_Oday_ACCESS-CM2_historical\r'
+ VAR=$'/nobackup/b9035080/NCdata_RealsPalau/Reals_Palau_tos_Oday_ACCESS-CM2_historical\r'
echo 'var is '$VAR;
' echo 'var is /nobackup/b9035080/NCdata_RealsPalau/Reals_Palau_tos_Oday_ACCESS-CM2_historical
var is /nobackup/b9035080/NCdata_RealsPalau/Reals_Palau_tos_Oday_ACCESS-CM2_historical
ls ${VAR}*.nc;
*.nc''/nobackup/b9035080/NCdata_RealsPalau/Reals_Palau_tos_Oday_ACCESS-CM2_historical
*.nc: No such file or directory35080/NCdata_RealsPalau/Reals_Palau_tos_Oday_ACCESS-CM2_historical
exit 1;
+ exit 1

パート2 - フル出力、一部は理解していません。すべて関係しているかどうかはわかりません。申し訳ありません。私はUnixに初めて触れます！

module () {  eval $($LMOD_CMD bash "$@");
 [ $? = 0 ] && eval $(${LMOD_SETTARG_CMD:-:} -s sh)
}
ml () {  eval $($LMOD_DIR/ml_cmd "$@")
}
# -*- shell-script -*-
if [[ ${-/x} != $- ]]; then
   echo "Start of Lmod init/bash script to define the module command"
fi
+ [[ hvBc != hvxBc ]]
+ echo 'Start of Lmod init/bash script to define the module command'
Start of Lmod init/bash script to define the module command


LMOD_PKG=/usr/share/lmod/lmod
+ LMOD_PKG=/usr/share/lmod/lmod
LMOD_DIR=/usr/share/lmod/lmod/libexec
+ LMOD_DIR=/usr/share/lmod/lmod/libexec
LMOD_CMD=/usr/share/lmod/lmod/libexec/lmod
+ LMOD_CMD=/usr/share/lmod/lmod/libexec/lmod
MODULESHOME=/usr/share/lmod/lmod
+ MODULESHOME=/usr/share/lmod/lmod
export LMOD_PKG
+ export LMOD_PKG
export LMOD_CMD
+ export LMOD_CMD
export LMOD_DIR
+ export LMOD_DIR
export MODULESHOME
+ export MODULESHOME

########################################################################
#  Define the module command:  The first line runs the "lmod" command
#  to generate text:
#      export PATH="..."
#  then the "eval" converts the text into changes in the current shell.
#
#  The second command is the settarg command.  Normally LMOD_SETTARG_CMD
#  is undefined or is ":".  Either way the eval does nothing.  When the
#  settarg module is loaded, it defines LMOD_SETTARG_CMD.  The settarg
#  command knows how to read the ModuleTable that Lmod maintains and
#  generates a series of env. vars that describe the current state of
#  loaded modules.  So if one is on a x86_64 linux computer with gcc/4.7.2
#  and openmpi/1.6.3 loaded, then settarg will assign:
#
#     TARG=_x86_64_gcc-4.7.2_openmpi-1.6.3
#     TARG_COMPILER=gcc-4.7.2
#     TARG_COMPILER_FAMILY=gcc
#     TARG_MACH=x86_64
#     TARG_MPI=openmpi-1.6.3
#     TARG_MPI_FAMILY=openmpi
#     TARG_SUMMARY=x86_64_gcc-4.7.2_openmpi-1.6.3
#     TARG_TITLE_BAR=gcc-4.7.2 O-1.6.3
#     TARG_TITLE_BAR_PAREN=(gcc-4.7.2 O-1.6.3)
#
#  unloading openmpi/1.6.3 automatically changes these vars to be:
#
#     TARG=_x86_64_gcc-4.6.3
#     TARG_COMPILER=gcc-4.6.3
#     TARG_COMPILER_FAMILY=gcc
#     TARG_MACH=x86_64
#     TARG_SUMMARY=x86_64_gcc-4.6.3
#     TARG_TITLE_BAR=gcc-4.6.3
#     TARG_TITLE_BAR_PAREN=(gcc-4.6.3)
#
# See Lmod web site for more details.

module()
{
  eval $($LMOD_CMD bash "$@")
  [ $? = 0 ] && eval $(${LMOD_SETTARG_CMD:-:} -s sh)
}

LMOD_VERSION="6.5.1"
+ LMOD_VERSION=6.5.1
export LMOD_VERSION
+ export LMOD_VERSION

if [ "${LMOD_SETTARG_CMD:-:}" != ":" ]; then
  settarg () {
    eval $(${LMOD_SETTARG_CMD:-:} -s sh "$@" )
  }
fi
+ '[' : '!=' : ']'


########################################################################
#  ml is a shorthand tool for people who can't type moduel, err, module
#  It is also a combination command:
#     ml            -> module list
#     ml gcc        -> module load gcc
#     ml -gcc intel -> module unload gcc; module load intel
#  It does much more do: "ml --help" for more information.


unalias ml 2> /dev/null || true
+ unalias ml
+ true
ml()
{
  eval $($LMOD_DIR/ml_cmd "$@")
}

export_module=$(echo "YES" | /usr/bin/tr '[:upper:]' '[:lower:]')
++ echo YES
++ /usr/bin/tr '[:upper:]' '[:lower:]'
+ export_module=yes
if [ -n "${BASH_VERSION:-}" -a "$export_module" != no ]; then
  export -f module
  export -f ml
fi
+ '[' -n '4.2.46(2)-release' -a yes '!=' no ']'
+ export -f module
+ export -f ml
unset export_module
+ unset export_module

########################################################################
#  clearMT removes the ModuleTable from your environment.  It is rarely
#  needed but it useful sometimes.

clearMT()
{
  eval $($LMOD_DIR/clearMT_cmd bash)
}

########################################################################
#  The following make the action of the settarg available to the titlebar
#  for both xterm's and screen but only for interactive shells.
if [ -n "${PS1:-}" ]; then
  if [ -n "${LMOD_FULL_SETTARG_SUPPORT:-}" -a "$LMOD_FULL_SETTARG_SUPPORT" != no ]; then
    xSetTitleLmod()
    {
      builtin echo -n -e "\033]2;$1\007";
    }
    SET_TITLE_BAR=:

    case "$TERM" in
      xterm*)
        SET_TITLE_BAR=xSetTitleLmod
        ;;
    esac

    SHOST=${SHOST-${HOSTNAME%%.*}}
    precmd()
    {
      eval $(${LMOD_SETTARG_CMD:-:} -s bash)
      ${SET_TITLE_BAR:-:} "${TARG_TITLE_BAR_PAREN}${USER}@${SHOST}:${PWD/#$HOME/~}"
      ${USER_PROMPT_CMD:-:}
    }

    # define the PROMPT_COMMAND to be precmd iff it isn't defined already.
    : ${PROMPT_COMMAND:=precmd}
  fi
fi
+ '[' -n '' ']'

########################################################################
#  Make tab completions available to bash users.

if [ ${BASH_VERSINFO:-0} -ge 3 ] && [ -r  /usr/share/lmod/lmod/init/lmod_bash_completions ] && [ -n "${PS1:-}" ]; then
 . /usr/share/lmod/lmod/init/lmod_bash_completions
fi
+ '[' 4 -ge 3 ']'
+ '[' -r /usr/share/lmod/lmod/init/lmod_bash_completions ']'
+ '[' -n '' ']'

if [[ ${-/x} != $- ]]; then
   echo "End of Lmod init/bash script to define the module command"
fi
+ [[ hvBc != hvxBc ]]
+ echo 'End of Lmod init/bash script to define the module command'
End of Lmod init/bash script to define the module command

;cho 'arg is 'ACCESS-CM2_historical
' echo 'arg is ACCESS-CM2_historical
arg is ACCESS-CM2_historical
);R=$(echo /nobackup/b9035080/NCdata_RealsPalau/Reals_Palau_tos_Oday_ACCESS-CM2_historical
++ echo $'/nobackup/b9035080/NCdata_RealsPalau/Reals_Palau_tos_Oday_ACCESS-CM2_historical\r'
+ VAR=$'/nobackup/b9035080/NCdata_RealsPalau/Reals_Palau_tos_Oday_ACCESS-CM2_historical\r'
echo 'var is '$VAR;
' echo 'var is /nobackup/b9035080/NCdata_RealsPalau/Reals_Palau_tos_Oday_ACCESS-CM2_historical
var is /nobackup/b9035080/NCdata_RealsPalau/Reals_Palau_tos_Oday_ACCESS-CM2_historical
ls ${VAR}*.nc;
*.nc''/nobackup/b9035080/NCdata_RealsPalau/Reals_Palau_tos_Oday_ACCESS-CM2_historical
*.nc: No such file or directory35080/NCdata_RealsPalau/Reals_Palau_tos_Oday_ACCESS-CM2_historical
exit 1;
+ exit 1

答え1

bash -vx出力ラインに見られるように

+ VAR=$'/nobackup/b9035080/NCdata_RealsPalau/Reals_Palau_tos_Oday_ACCESS-CM2_historical\r'

\r入力行の末尾にキャリッジリターン（CR、）があります。もちろん、Unix改行文字（LF、\n）が削除されず、文字列の一部にならない限り、ファイルシステムのパスと一致しなくなりました。

質問

解決策

単純化された例と並列コンピューティング

Bashスクリプトの例

ノート

デバッグ編集

答え1

関連情報