CSV から SQL へのデータインポート：データベース移行の境界線

CSV ファイルは型指定されていません。セルには 30 が含まれており、インポーターはこれが整数か、文字列か、小数か、または何かを判断する必要があります。別のデータベースシステムは異なる方法で解析し、この境界での間違いは以下を引き起こします：

1. 型の不一致エラー — 整数列が文字列データを受け取る
2. 無言のデータ損失 — 数値精度が切り詰められる
3. エンコーディングの問題 — 特殊文字がインポート中に破損する
4. 方言固有のエラー — MySQL で動作する SQL が PostgreSQL で破壊される
5. エスケープシーケンスエラー — シングルクォートまたはバックスラッシュが解析エラーを引き起こす

CSV から SQL への境界は、データ構造に関する仮定がデータベース要件と衝突する場所です。

CSV 境界での型検出は、ヒューリスティックベースです。コンバーターはサンプル行を検査し、教育的な推測を行います：

検出ルール：

• 整数：123、-45、0
• 小数：12.34、3.14159
• 日付：2024-01-15、2024/01/15（ISO フォーマット認識）
• ブール値：true、false、yes、no
• テキスト：その他すべて

方言固有のマッピング：

同じ論理型は複数の SQL 型にマッピングされます：

• MySQL：INT、VARCHAR(255)、TEXT
• PostgreSQL：INTEGER、VARCHAR、TEXT
• SQLite：INTEGER、TEXT（すべての値が TEXT）
• T-SQL：INT、NVARCHAR(255)、NVARCHAR(MAX)

このツールは自動的に検出してマップします。しかし、検出が不確実な場合（1 つの列に混合型）、手動確認が重要です。

特殊文字（クォート、バックスラッシュ、改行）を含む CSV 値は、SQL 解析エラーや注入脆弱性を防ぐために適切にエスケープする必要があります。

一般的なエスケープミス：

-- ❌ 誤り：エスケープされていないシングルクォート
INSERT INTO users (name) VALUES ('John O'Brien');

-- ✅ 正しい：エスケープされたクォート
INSERT INTO users (name) VALUES ('John O''Brien');

-- ❌ 誤り：スペース付きのクォートなし値
INSERT INTO users (city) VALUES (New York);

-- ✅ 正しい：スペース付きクォート値
INSERT INTO users (city) VALUES ('New York');

このツールは自動的に以下を処理します：

• シングルクォートのエスケープ（ダブル化）
• スペース付き文字列の値のクォーテーション
• 改行とタブ文字
• NULL 処理
• SQL インジェクション防止

しかし、ツールが何をするかを理解することで、誤った設定を防ぎます。

同じ CSV を MySQL vs. PostgreSQL にインポートするには、異なる SQL 構文が必要です：

識別子のクォーテーション：

• MySQL：バックティック — INSERT INTO \users` (`name`) VALUES (...)`
• PostgreSQL：ダブルクォート — INSERT INTO "users" ("name") VALUES (...)
• SQL Server：角括弧 — INSERT INTO [users] ([name]) VALUES (...)

データ型：

• MySQL：文字列用 VARCHAR(255)、整数用 INT
• PostgreSQL：VARCHAR または TEXT、INTEGER
• SQLite：すべてに TEXT を推奨（すべての型がテキストを強制）

NULL 処理：

• ほとんどの方言：欠落値の場合は NULL
• 一部のツール：空の文字列またはリテラル NULL 文字列

このツールは各方言に SQL 生成を自動的に適応させます。

1. インポート前に検証 — CSV から SQL へのコンバーターを使用して、実行前に生成された SQL をプレビューします。

2. 明示的な型指定 — 自動検出だけに依存しないでください。推測された型を確認し、必要に応じて修正します。

3. 開発環境でまずテスト — テストデータベースにインポートし、レコード数とサンプル値を確認してから本番環境に昇格させます。

4. 大規模インポート前にバックアップ — 常に大量インポート前にデータベースバックアップを取得します。

5. エッジケースを明示的に処理 — 空の文字列、特殊文字、混合型は手動レビューが必要です。

6. 可能な場合は CREATE TABLE を使用 — 既存テーブルに追加するより、新しく作成されたテーブルにインサートする方が安全です。

7. インポート後に検証 — 行数をカウント、NULL 不一致をチェック、インポート完了後にサンプル値をスポットチェック。

CSV から SQL への境界は、人的監視とツール自動化が協力する必要がある場所です。