コンテンツにスキップ

大きな CSV・Parquet ファイルを開く

大きな表をスクロールし、並べ替え・絞り込み・範囲の合計を、表計算ソフトの感覚で使いたいときに vastgrid を使えます。無料の MIT ライセンスのツールです。

100 万行を今すぐ試す — 登録・インストール・ファイルのアップロードは不要です。

やりたいこと はじめかた データを扱う場所
インストールせずに中身を確かめる ブラウザーで開く ブラウザー内。アップロードなし
ブラウザーのメモリに収まらないファイルを扱う npx vastgrid-cli sales.parquet 手元のコンピューターの DuckDB
エディターの中で使う VS Code 拡張機能を入れる 拡張機能の中の DuckDB
自分のアプリに表を組み込む React ではじめる ブラウザーかサーバーを選べる

ブラウザーは TSV・JSON Lines・Excel(.xlsx、.xlsm)も読めます。DuckDB のデータベースは CLI・VS Code などの DuckDB を使うアプリで開きます。形式と保存機能の比較も参照してください。

まずはブラウザーのサンプルで試す

Section titled “まずはブラウザーのサンプルで試す”
  1. サンプルを開き、ステータスバーが 1,000,000 行になるまで待ちます。
  2. unit_price 列のメニュー(▾)から、降順で並べ替えます。
  3. 価格の範囲をドラッグで選ぶと、ステータスバーに個数・合計・平均が出ます。
  4. 別のファイルを開くから、手元の CSV や Parquet も試せます。

サンプルは Web Worker の中で CSV を生成し、メモリエンジンの vastgrid-js で読みます。 100 万行のデータをダウンロードするわけではありません。編集・グループ化・数式を試すには 20 万行の注文デモも使えます。

開いたファイルはアップロードしません。編集はページの中に保持し、閉じたり再読み込みしたりすると失われます。 残したい場合はツールバーから CSV・TSV・JSON・Excel に書き出してください。元のファイルは上書きしません。

大きなローカルファイルをコマンド 1 つで開く

Section titled “大きなローカルファイルをコマンド 1 つで開く”

Node.js 22.18 以降を入れた環境で実行します。

ターミナルウィンドウ
npx vastgrid-cli sales.parquet

sales.parquet を手元のファイルのパスに置き換えてください。CSV なら次のように使えます。

ターミナルウィンドウ
npx vastgrid-cli ./data/orders.csv

手元の DuckDB がファイルを読み、ブラウザーにグリッドを開きます。ファイル名に空白がある場合はパスを引用符で囲みます。 オプション・書き出し・CSV/TSV の保存は CLI ガイドにあります。

VS Code を使っている場合は、vastgrid 拡張機能を入れて、グリッドのエディターでファイルを開けます。

どこまで大きなファイルを扱えるか

Section titled “どこまで大きなファイルを扱えるか”

エンジンによって制限が違います。

  • ブラウザー: メモリや処理時間は、ファイル・列・端末・ブラウザーによって変わります。Parquet は必要な行グループを 読みますが、並べ替えやグループ化には表示より多くのメモリが必要になることがあります。上限を超える場合は CLI や VS Code を使ってください。ブラウザーエンジンの制限に詳しく書いています。
  • DuckDB: 大きな処理では一時ディスクを使えます。公開している M2 Pro の計測では、1 億行の Parquet(1.38 GB)を 並べ替えた最初の行が 953 ms で返り、残りのビューはさらに 3 秒で構築されました。 HTTP 通信や画面描画を含まないエンジンの時間で、どのファイル・端末でも同じ速さを保証するものではありません。

100 万行のブラウザーサンプルと、1 億行の DuckDB の計測は別の条件です。 性能と再現方法で両方のエンジンを確認できます。

次のデータ作業にも役立ちそうなら、GitHub でスターを付けて、あとで見つけやすくできます。 開けないファイルがあれば、形式・サイズ・エラーを報告してください。 非公開のデータは添付せず、小さな架空のデータで再現できると助かります。