☰

複数の異なるファイルからコピーするファイルを読み取り、並列にファイルをコピーします。

tag-icon • tag-icon linux bash shell sed scp
複数の異なるファイルからコピーするファイルを読み取り、並列にファイルをコピーします。

私は最初に少し複雑なシェルスクリプトを書いています。

  • clientid起動中にファイルを見て、私が持っているものが何であるかを見つけましたhost-mapping.txt。ホスト名が見つからない場合は、clientidゼロ以外のステータスコードでシェルスクリプトを終了し、エラーメッセージを記録する必要があります。
  • これで有効なファイルがある場合は、ファイルから抽出し、ファイルから有効なファイルを抽出しますclientid。何らかの理由でファイルのプライマリファイルまたはセカンダリファイルが見つからない場合は、シェルスクリプトを終了してエラーメッセージを記録します。primary filesprimary-mappings.txtsecondary filessecondary-mappings.txtclientidclientid
  • これで、有効なプライマリファイルとセカンダリファイルがある場合は、clientidfromを使用してこれらのファイルの並列コピーを開始します。すべてのプライマリファイルはフォルダに移動し、すべてのセカンダリファイルはフォルダに移動します。ファイルがリモートサーバー上のフォルダにない場合は、そのフォルダに存在する必要があります。gnu-parallellocal_serverprimarysecondaryhold1hold2
  • すべてのファイルがコピーされたら、最後にすべてのプライマリファイルとセカンダリファイルがこれら2つのフォルダにあることを確認します。clientidしかし、何らかの理由でファイルが見つからない場合は、メッセージと共にシェルスクリプトを終了したいと思います。どのファイルが欠落しているかを教えてくれます。

以下は私のスクリプトです。このスクリプトはそのタスクを実行しますが、上記のタスクを実行するより良い効率的な方法があるかどうかを確認したかったのです。小さく複雑なスクリプトを書くのは今回が初めてなので確認してみたかったです。これまでは、スクリプトやprimaryファイルが見つからない場合はsecondaryシェルスクリプトを終了するメカニズムはなく、clientid確認段階で一部のファイルが欠落している場合はシェルスクリプトを終了するメカニズムもありません。

#!/bin/bash
path=/home/goldy/scripts
mapfiles=(primary-mappings.txt secondary-mappings.txt)
hostfile=host-mapping.txt
machines=(machine1769.abc.host.com proctek5461.def.host.com letyrs87541.pqr.host.com)
# folders on local box where to copy files
primary=/data01/primary
secondary=/data02/secondary
# folders on remote servers from where to copy files
export hold1=/data/snapshot/$1
export hold2=/data/snapshot/$2

date1=$(date +"%s")
# this will tell me what's my clientid given my current hostname
getProperty () {
   prop_value=$(hostname -f)
   prop_key=`cat $path/$hostfile | grep "$prop_value" | cut -d'=' -f1`
   echo $(echo $prop_key | tr -dc '0-9')
}
# if I can't find clientid for my hostname, then I will log a message 
# and exit out of shell script with non zero status code
clientid=$(getProperty)
[ -z "$clientid" ] && { echo "cannot find clientid for $(hostname -f)"; exit 1; }

# now once I have valid clientid, then I will get primary and secondary mapping
# from the "host-mapping.txt" file
declare -a arr
mappingsByClientID () {
  id=$1 # 1 to 5
  file=$path/${mapfiles[$2]} # 0 to 1
  arr=($(sed -r "s/.*\b${id}=\[([^]\]+).*/\1/; s/,/ /g" $file))
  echo "${arr[@]}"
}

# assign output of function to an array
pri=($(mappingsByClientID $clientid 0))
snd=($(mappingsByClientID $clientid 1))

echo "primary files: ${pri[@]}"
echo "secondary files: ${snd[@]}"

# figure out which machine you want to use to start copying files from
case $(hostname -f) in
    *abc.host.com)
        local_server=("${machines[0]}")
        ;;
    *def.host.com)
        local_server=("${machines[1]}")
        ;;
    *pqr.host.com)
        local_server=("${machines[2]}")
        ;;
    *) echo "unknown host: $(hostname -f), exiting." && exit 1 ;;
    # ?
esac
export local="$local_server"

# deleting files before we start copying
find "$primary" -maxdepth 1 -type f -exec rm -fv {} \;
find "$secondary" -maxdepth 1 -type f -exec rm -fv {} \;

do_copy() {
  el=$1
  primsec=$2
  (scp -C -o StrictHostKeyChecking=no goldy@"$local":"$hold1"/hello_monthly_"$el"_999_1.data "$primsec"/. > /dev/null 2>&1) || (scp -C -o StrictHostKeyChecking=no goldy@"$local":"$hold2"/hello_monthly_"$el"_999_1.data "$primsec"/. > /dev/null 2>&1)
}
export -f do_copy
# copy files in parallel
parallel -j "$3" do_copy {} $primary ::: ${pri[@]} &
parallel -j "$3" do_copy {} $secondary ::: ${snd[@]} &
wait
echo "all files copied"

# this is for verification to see all files got copied or not
# in primary and secondary folder
set -- "$primary" "$secondary"
typeset -n array
for array in pri snd; do
    for num in "${array[@]}"; do
        name="hello_monthly_${num}_999_1.data"
        if [ ! -f "$1/$name" ]; then
            { echo "$name" not found in "$1" >&2 && exit 1; }
        fi
    done
    shift
done

date2=$(date +"%s")
diff=$(($date2-$date1))
echo "Total Time Taken - $(($diff / 3600)) hours and $(((diff/60) % 60)) minutes and $(($diff % 60)) seconds elapsed."

以下は私のhost-mapping.txtファイルです。その中にもっと多くの項目があるでしょう。ここの値は有効なホスト名であり、キーは文字列「k」の後にマッピングファイルに含める必要がある数値になります。

k1=machineA.abc.com
k2=machineB.abc.com
k3=machineC.def.com
k4=machineD.pqr.com
k5=machineO.abc.com

以下はサンプルマッピングファイルです。

Primary_mappings.txt

{1=[343, 0, 686, 1372, 882, 196], 2=[687, 1, 1373, 883, 197, 736, 1030, 1569], 3=[1374, 2, 884, 737, 198, 1570], 4=[1375, 1032, 1424, 3, 885, 1228], 5=[1033, 1425, 4, 200, 886]}

セカンダリ_マッピング.txt

{1=[1152, 816, 1488, 336, 1008], 2=[1153, 0, 817, 337, 1489, 1009, 1297], 3=[1, 1154, 1490, 338], 4=[1155, 2, 339, 1491, 819, 1299, 1635], 5=[820, 1492, 340, 3, 1156]}

例：1プライマリファイルとセカンダリファイルclientidがあります。他のすべての人にも同じです。343, 0, 686, 1372, 882, 1961152, 816, 1488, 336, 1008clientids

答え1

いくつかの提案があり、答えを書く必要があると思いました。

  1. primary_mappings.txtとに関する矛盾があり、スクリプトでは、と呼ばれsecondary_mappings.txtますprimary-mappings.txt 。secondary-mappings.txtもちろん、このファイルの名前を変更する必要があります（またはスクリプトの名前を変更する必要があります）。

  2. STDERRのロギングとプログラムの終了を処理する2つの関数を作成します。これはより読みやすく、エラーが少なくなるという利点があり、関数呼び出しを終了させることができます。シェルスクリプトを終了するメカニズムはありません。):

    trap "exit 1" TERM
export TOP_PID=$$
log_error () {
   echo "$1">&2;
}
log_error_and_exit () {
   echo "$1">&2;
   kill -s TERM $TOP_PID
}

  3. STDERRにエラーを記録したいようですが、時にはSTDOUTに書き込むこともあります。何かを忘れたと仮定すると、>&2新しく作成された関数を使用して簡単に正規化できます。

    ㅏ。

    [ -z "$clientid" ] && { echo "cannot find clientid for $(hostname -f)"; exit 1; }

    になる:

    [ -z "$clientid" ] && { log_error_and_exit "Cannot find ClientID for $(hostname -f)"; }

    雨。

    *) echo "unknown host: $(hostname -f), exiting." && exit 1 ;;

    になる:

    *) log_error_and_exit "Unknown host: $(hostname -f), exiting." ;;

  4. これを忘れてしまったようです。

    何らかの理由でそのクライアント ID のプライマリファイルまたはセカンダリファイルが見つからない場合は、シェルスクリプトを終了してエラーメッセージを記録します。

    mappingsByClientID () {
  id=$1 # 1 to 5
  file=$path/${mapfiles[$2]} # 0 to 1
  if [[ $(< $file) != *" $1="* ]]; then
      log_error_and_exit "ClientID $1 out of range for $file";
  fi
  arr=($(sed -r "s/.*\b${id}=\[([^]\]+).*/\1/; s/,/ /g" $file))
  echo "${arr[@]}"
}

  5. 現時点では、次のことは行いません。

    何らかの理由でファイルが見つからない場合は、どのファイルが欠落しているかを知らせるメッセージでシェルスクリプトを終了したいと思います。

    exitファイルが見つからない場合は、複数のファイルに関するレポートを受信できないからです。回避策は、エラー状態を追跡し、検証の最後にチェックする変数を作成することです。

    # this is for verification to see all files got copied or not
# in primary and secondary folder
set -- "$primary" "$secondary"
typeset -n array
errors=false
for array in pri snd; do
    for num in "${array[@]}"; do
        name="hello_monthly_${num}_999_1.data"
        if [ ! -f "$1/$name" ]; then
            {  log_error "$name not found in $1" && errors=true; }
        fi
    done
    shift
done
if [ "$errors" = true ]; then
    exit 1
fi

関連情報