☰

スピード

tag-icon • tag-icon text-processing files split
スピード

sourcefile.txt10000行（毎日増加）を含むファイルを30個の同じファイルに分割したいと思います。呼び出されたディレクトリがあり、prog1分割されprog30たファイルを同じファイル名でこのディレクトリに保存したいと思います。例えば。/prog1/myfile.txt​/prog2/myfile.txt ​ /prog30/myfile.txt

divide.shこれはディレクトリで実行と呼ばれるbashスクリプトです。prog

#!/bin/bash
programpath=/home/mywebsite/project/a1/
array=/prog1/
totalline=$(wc -l < ./sourcefile.txt)   
divide="$(( $totalline / 30 ))"   
split --lines=$divide $./prog1/myfile.txt    
exit 1
fi

答え1

#!/bin/bash

# assuming the file is in the same folder as the script
INPUT=large_file.txt
# assuming the folder called "output" is in the same folder
# as the script and there are folders that have the patter
# prog01 prog02 ... prog30
# create that with mkdir output/prog{01..30} 
OUTPUT_FOLDER=output

OUTPUT_FILE_FORMAT=myfile

# split 
# -n -> 30 files
# $OUTPUT_FILE_FORMAT -> should start with this pattern
# --numeric-suffixes=1 -> end of file name should start from 01 
split -n 30 $INPUT $OUTPUT_FILE_FORMAT --numeric-suffixes=1

# move all files to their repective directories
for i in {01..30} 
do
    mv $OUTPUT_FILE_FORMAT$i $OUTPUT_FOLDER/prog$i/myfile.txt
done

echo "done :)"

exit

これには分割コマンドで十分です。ただし、ここの解決策では、フォルダ名をprog01次から始める必要があります。prog1

答え2

唯一のawk解決策（窒素ここでは30個のファイルと同じです）：

awk 'BEGIN{ cmd="wc -l <sourcefile.txt"; cmd|getline l; l=int((l+29)/30); close(cmd) } 
    NR%l==1{trgt=sprintf("prog%d",((++c)))}{print >trgt"/myfile.txt"}' sourcefile.txt

または、シェルを実行して行数を返します。ソースファイル.txtawk提案どおりに配信されました。ゼチル。

awk 'NR%l==1{trgt=sprintf("prog%d",((++c)))}{print >trgt"/myfile.txt"}' 
    l=$(( ($(wc -l <sourcefile.txt)+29)/30 )) sourcefile.txt

答え3

split+bash解決策：

lines=$(echo "t=$(wc -l ./sourcefile.txt | cut -d' ' -f1); d=30; if(t%d) t/d+1 else t/d" | bc)
split -l $lines ./sourcefile.txt "myfile.txt" --numeric-suffixes=1

for f in myfile.txt[0-9]*; do 
    dir_n="prog"$(printf "%d" "${f#*txt}")  # constructing directory name
    mv "$f" "$dir_n/myfile.txt"
done

あなたが持っていると仮定prog1〜prog30というフォルダがあります。（あなたが言及したように）

  • lines- 各出力ファイルの整数行数を含みます。

    • t- ファイルの総行数./sourcefile.txt
    • d=30区切り記号

  • --numeric-suffixes=1-分ける次に始まる数値サフィックスを使用するように指示するオプション1

答え4

スピード

  1. ファイルの行数を数えて30で割ります。 lines = cat ${file} | wc -l

  2. 必要なファイル数を取得します(bashはこれを整数に丸めます) numOfFiles = ${lines} / 30

  3. 分割を使用したファイルの分割 split -l ${lines} -d --additional-suffix=-filename.extension ${file}

予想される結果

x01 - ファイル名、拡張子、x02 - ファイル名、拡張子... xN - ファイル名、拡張子

複数のファイルを一度に処理するには、forループでラップします。

#!/bin/bash    
for FILE in $(find ${pathToWorkingDir} -type f -name "filename.extension")
do
    split -l ${lines} -d --additional-suffix=-filename.extension ${file}
    if [ $? -eq 0 ]; then
        echo "${file} splitted file correctly"
    else
        echo "there was a problem splitting ${file}"
        exit 1 #we exit with an error code
    fi
done
exit 0 #if all processed fine we exit with a success code

関連情報