同じヘッダーを持つ複数のCSVファイルを複数のグループファイルにマージする

Question

重複ヘッダーは隣接するファイルにのみ見つかりますか？この答えでは、これが真でない場合は処理したいと思います。

#!/bin/bash

# Declare header_list[] to be an associative array
declare -A header_list

# Read the first line from every *.csv file in $1
# Each filename is added to the appropriate entry in header_list[]
for f in "${1:?}"/*.csv; do
  echo "### Reading header from $f"
  header_list[$(head -1 "$f")]+="${IFS}$f"
done

# Handle the list of files for each entry in header_list[]
group_id=1
for key in "${!header_list[@]}"; do
  value="${header_list[$key]}"
  groupfile="${2:?}/GROUP-${group_id}.csv"
  echo "### Header: ${key}"
  echo "### Group File: ${groupfile}"
  
  # Echo the header as the first line of $groupfile
  echo "${key}" > "${groupfile}"
  
  # Skip the first line, but echo every other line from each file with this header
  for file in ${value}; do
  echo "# File: ${file}"
    tail --lines=+2 "$file" >> "${groupfile}"
  done
  
  # Increment group_id
  (( group_id++ ))
done

ファイルに保存し、ソースファイルを含むディレクトリと出力ディレクトリの2つのパラメータを使用して実行します。

いくつかの注意：

出力ディレクトリが必要です。
$ IFSに文字を含むファイル名は正しく処理されません。

Answer 1

重複ヘッダーは隣接するファイルにのみ見つかりますか？この答えでは、これが真でない場合は処理したいと思います。

#!/bin/bash

# Declare header_list[] to be an associative array
declare -A header_list

# Read the first line from every *.csv file in $1
# Each filename is added to the appropriate entry in header_list[]
for f in "${1:?}"/*.csv; do
  echo "### Reading header from $f"
  header_list[$(head -1 "$f")]+="${IFS}$f"
done

# Handle the list of files for each entry in header_list[]
group_id=1
for key in "${!header_list[@]}"; do
  value="${header_list[$key]}"
  groupfile="${2:?}/GROUP-${group_id}.csv"
  echo "### Header: ${key}"
  echo "### Group File: ${groupfile}"
  
  # Echo the header as the first line of $groupfile
  echo "${key}" > "${groupfile}"
  
  # Skip the first line, but echo every other line from each file with this header
  for file in ${value}; do
  echo "# File: ${file}"
    tail --lines=+2 "$file" >> "${groupfile}"
  done
  
  # Increment group_id
  (( group_id++ ))
done

ファイルに保存し、ソースファイルを含むディレクトリと出力ディレクトリの2つのパラメータを使用して実行します。

いくつかの注意：

出力ディレクトリが必要です。
$ IFSに文字を含むファイル名は正しく処理されません。

同じヘッダーを持つ複数のCSVファイルを複数のグループファイルにマージする

答え1

関連情報