シェルパイプラインを介してCSVデータをSQLiteテーブルに挿入するには？

Question 1

それでも使用するより簡単な解決策を見つけました。sqlite3 .importただし、これは読み取りまたは一時的に名前付きパイプを読み取りません/dev/stdin。むしろこれと.import関連がある。パイプラインオペレータ呼び出しはcat -標準入力から直接読み取られます。

#!/bin/bash

function csv_to_sqlite() {
  local database_file_name="$1"
  local table_name="$2"
  sqlite3 -csv $database_file_name ".import '|cat -' $table_name"
}

database_file_name=$1
table_name=$2

csv_to_sqlite "$database_file_name" "$table_name"

これは、Windowsコマンドシェルでは機能しません。

Answer

それでも使用するより簡単な解決策を見つけました。sqlite3 .importただし、これは読み取りまたは一時的に名前付きパイプを読み取りません/dev/stdin。むしろこれと.import関連がある。パイプラインオペレータ呼び出しはcat -標準入力から直接読み取られます。

#!/bin/bash

function csv_to_sqlite() {
  local database_file_name="$1"
  local table_name="$2"
  sqlite3 -csv $database_file_name ".import '|cat -' $table_name"
}

database_file_name=$1
table_name=$2

csv_to_sqlite "$database_file_name" "$table_name"

これは、Windowsコマンドシェルでは機能しません。

Question 2

2つの方法：

サンプルtest.csvファイル：

GroupName,Groupcode,GroupOwner,GroupCategoryID 
System Administrators,sysadmin,13456,100
Independence High Teachers,HS Teachers,,101
John Glenn Middle Teachers,MS Teachers,13458,102
Liberty Elementary Teachers,Elem Teachers,13559,103
1st Grade Teachers,1stgrade,,104
2nd Grade Teachers,2nsgrade,13561,105
3rd Grade Teachers,3rdgrade,13562,106
Guidance Department,guidance,,107

1）とcsvkit（CSV変換および操作用のコマンドラインツールセット）

輸入するSQLite3データベース:

csvsql --db sqlite:///test_db --tables test_tbl --insert test.csv

入力csvファイルが指定されていない場合、stdinはcsvデータを受け入れます。

... | csvsql --db sqlite:///test_db --tables test_tbl --insert

データ抽出SQLiteデータベース:

sql2csv --db sqlite:///test_db --query 'select * from test_tbl limit 3'

出力：

GroupName,Groupcode,GroupOwner,GroupCategoryID 
System Administrators,sysadmin,13456,100
Independence High Teachers,HS Teachers,,101
John Glenn Middle Teachers,MS Teachers,13458,102

2）とSQLite3コマンドラインツール（ユーザーはSQL文を手動で入力して実行できます）SQLiteデータベース）

" .import"コマンドを使用して、CSV（カンマ区切り値）データをSQLiteテーブルにインポートします。 " .import"コマンドには、2つのパラメータ、つまりCSVデータを読み取るディスクファイル名と、CSVデータを挿入するSQLiteテーブル名があります。

コマンドを実行する前に、モードをcsvに設定することが重要です.import。これは、コマンドラインシェルが入力ファイルのテキストを別の形式に解釈するのを防ぐために必要です。

$ sqlite3
sqlite> .mode csv
sqlite> .import test.csv test_tbl
sqlite> select GroupName,Groupcode from test_tbl limit 5;
"System Administrators",sysadmin
"Independence High Teachers","HS Teachers"
"John Glenn Middle Teachers","MS Teachers"
"Liberty Elementary Teachers","Elem Teachers"
"1st Grade Teachers",1stgrade
sqlite>

Answer