並列性を使用して、多くのディレクトリをサブディレクトリに分割するか、このタスクを並列化します。

Question 1

問題は、シェル拡張後にコマンドラインが占めるバイト数に上限があることです。この制限はシステムの制限によって異なります。

getconf ARG_MAX

mv {}したがって、最大制限に達する限り、入力ファイル名の長さによってパラメーターの数が異なります。

並列性の使用を放棄せずにこれらの制限を回避する解決策は、タスクを2つの段階に分けることです。

ls -tr | parallel -N 100000 --pipe -k "mkdir dir_{#}; parallel -X mv -t dir_{#}"

説明する

最初のステップでは、オプションを使用して--pipe標準入力を決定された数に分割します。より小さい標準入力、各行にはオプションで指定されたn行が含まれています-N。この例を使用して効果を確認できます
```
seq 1000000 | parallel -N 100000 --pipe wc -l
```
100000で正確なセグメンテーションを提供します。
```
100000
100000
100000
...
```
第２段階では、内部並列が実行される。より小さい標準入力実行ジョブへの新しい標準入力として、この-Xオプションはコマンドラインの長さが許可するだけの数の引数を挿入します。
```
mkdir dir_{#}; parallel -X mv -t dir_{#}
```

Answer

問題は、シェル拡張後にコマンドラインが占めるバイト数に上限があることです。この制限はシステムの制限によって異なります。

getconf ARG_MAX

mv {}したがって、最大制限に達する限り、入力ファイル名の長さによってパラメーターの数が異なります。

並列性の使用を放棄せずにこれらの制限を回避する解決策は、タスクを2つの段階に分けることです。

ls -tr | parallel -N 100000 --pipe -k "mkdir dir_{#}; parallel -X mv -t dir_{#}"

説明する

最初のステップでは、オプションを使用して--pipe標準入力を決定された数に分割します。より小さい標準入力、各行にはオプションで指定されたn行が含まれています-N。この例を使用して効果を確認できます
```
seq 1000000 | parallel -N 100000 --pipe wc -l
```
100000で正確なセグメンテーションを提供します。
```
100000
100000
100000
...
```
第２段階では、内部並列が実行される。より小さい標準入力実行ジョブへの新しい標準入力として、この-Xオプションはコマンドラインの長さが許可するだけの数の引数を挿入します。
```
mkdir dir_{#}; parallel -X mv -t dir_{#}
```

Question 2

この問題には多くのIOが含まれます。parallelこの場合、これが実際に役に立つかどうか疑われます。

とにかく「伝統的な」アプローチを考えてみてください。

 mkdir dir_{1..10}
 ls -tr | nl | \
    awk '$2 !~ /^dir_/ {i=1+int($1/100000); print $2 | "xargs mv -t dir_"i}'

どこ

可能であれば、それぞれの時間も比較してみてください。（time ....そして結果を私たちと共有してください☺）

Answer

この問題には多くのIOが含まれます。parallelこの場合、これが実際に役に立つかどうか疑われます。

とにかく「伝統的な」アプローチを考えてみてください。

 mkdir dir_{1..10}
 ls -tr | nl | \
    awk '$2 !~ /^dir_/ {i=1+int($1/100000); print $2 | "xargs mv -t dir_"i}'

どこ

可能であれば、それぞれの時間も比較してみてください。（time ....そして結果を私たちと共有してください☺）

関連情報