大容量CSVファイルの分割

大容量CSVファイルの分割

game_data.csv百万行を超えるファイル(70 MBサイズ)があります。私はCSVでいくつかの処理を実行し、CSVデータをデータベースに書き込むアプリケーションを作成しています。

アプリケーションを開発するときは、より小さなCSVを使用したいと思います。 CSVの最初の1500行をインポートして別のCSVファイルに入れるには、どのLinuxコマンドを実行できますかsubset_game_data.csv

私はManjaro Linuxを使用しています(利用可能な場合)。

答え1

データに改行文字が含まれていない場合は、を使用して簡単に実行できますhead -n 1500 game_data.csv > subset_game_data.csv

データならする改行文字が含まれている場合は正しく解析する必要があります。 Libreoffice CalcやPythonスクリプトなどのツールを使用してください。csvkitこの問題は、次の方法を使用して解決できます。

csvsql --query "select * from data limit 1500" game_data.csv > subset_game_data.csv

関連情報